Gambaran Peranan:

Jurutera Data bertanggungjawab untuk mereka bentuk, membangunkan, dan mengekalkan paip data dan infrastruktur yang boleh diskala, dengan fokus pada memanfaatkan teknologi Databricks dan Data Lake. Peranan ini bekerjasama dengan saintis data, penganalisis, dan pasukan perniagaan untuk memastikan pemprosesan, penyimpanan, dan aksesibiliti data yang efisien untuk analitik. Jurutera Data akan memainkan peranan penting dalam mengubah data mentah menjadi format yang berharga dan tersusun serta mengoptimumkan aliran kerja data untuk menyokong keputusan berasaskan data di seluruh organisasi.

Tanggungjawab Utama:

Rancang, laksanakan, dan urus paip data yang boleh diskala untuk pengambilan, pemprosesan, dan penyimpanan, menggunakan teknologi Databricks dan Data Lake.

Partner dengan saintis data, penganalisis, dan pemegang saham perniagaan untuk memahami keperluan data dan memastikan penyelesaian memenuhi keperluan analitik.

Integrasikan pelbagai sumber data (cth, pangkalan data, API, penyimpanan awan) ke dalam repositori pusat seperti Data Lake, memastikan data mudah diakses dan dioptimumkan untuk prestasi.

Membangun dan mengautomasikan proses ETL (Ekstrak, Transformasi, Muat) menggunakan Databricks dan alat big data lain.

Merekabentuk dan mengoptimumkan infrastruktur Data Lake untuk penyimpanan dan pemprosesan data terstruktur dan tidak terstruktur.

Menerapkan proses pengesahan data, transformasi, dan pembersihan untuk memastikan data yang konsisten dan berkualiti tinggi di seluruh paip.

Mengautomasikan aliran kerja data untuk memastikan pemprosesan data yang lancar dan akses cepat untuk analitik dan pembelajaran mesin.

Bekerja dengan platform awan seperti AWS, Google Cloud, dan Azure untuk membina penyelesaian data berasaskan awan yang boleh diskala.

Memastikan pematuhan dengan piawaian privasi data, keselamatan, dan peraturan dalam pengendalian dan pemprosesan data.

Menyelesaikan masalah, memantau, dan mengoptimumkan paip data untuk ketersediaan tinggi, prestasi, dan penyelesaian kesilapan.

Mendokumentasikan seni bina paip data, amalan terbaik, dan proses untuk mendorong perkongsian pengetahuan dan kerjasama antara pasukan.

Kompetensi Teras:

Kepakaran Databricks: Pengalaman yang kukuh menggunakan Databricks untuk membina paip data, mengoptimumkan prestasi pemprosesan, dan bekerja dengan Spark untuk pemprosesan data berskala besar.

Pengetahuan Data Lake: Pemahaman yang kuat tentang seni bina Data Lake dan amalan terbaik untuk menguruskan data terstruktur dan tidak terstruktur.

Kemahiran Pengaturcaraan: Mahir dalam Python, Java, atau Scala untuk membina dan mengautomasikan aliran kerja data.

Pengalaman Platform Awan: Terampil dalam bekerja dengan platform awan (AWS, Azure, Google Cloud).

Automasi ETL: Kepakaran dalam mengautomasikan proses ETL menggunakan platform seperti Apache Airflow dan aliran kerja Databricks.

Integrasi Data: Kebolehan untuk mengintegrasi dan menyelaraskan data dari pelbagai sumber ke dalam paip yang koheren untuk analitik.

Kemahiran Pengurusan Manusia: Keupayaan terbukti untuk memimpin, memotivasikan, dan membangunkan pasukan secara berkesan. Ini termasuk menetapkan matlamat yang jelas, memberi maklum balas yang membina, menyelesaikan konflik, dan mendorong persekitaran kerja yang positif

Kemahiran Kerjasama: Pemain pasukan yang kuat dengan kemampuan untuk menyampaikan konsep teknikal yang kompleks kepada pemegang saham teknikal dan bukan teknikal.

Kemahiran yang Diperlukan:

Pengalaman terbukti sebagai Jurutera Data, khususnya dengan teknologi Databricks dan Data Lake.

Kepakaran dalam SQL untuk mengurus dan menjalankan pertanyaan pada dataset besar.

Pengalaman langsung dengan Databricks, Apache Spark, dan alat big data berkaitan.

Kefahaman dalam platform awan (AWS, Azure, Google Cloud).

Pengenalan kepada alat automasi ETL seperti Apache Airflow dan aliran kerja Databricks.

Kemahiran pengaturcaraan yang kuat dalam Python, Java, atau Scala untuk pemprosesan data dan pembangunan paip.

Kemahiran penyelesaian masalah yang cemerlang, dengan kemampuan untuk menyelesaikan masalah dan menyelesaikan cabaran kejuruteraan data yang kompleks.

Sila rujuk kepada deskripsi kerja.