Butiran Utama

Jenis Masa: Sepenuh masa

Jenis Pekerja: Pekerja

Tanggungjawab Utama:

• Mereka bentuk, membangunkan, dan mengoptimumkan pipedata dan aliran kerja dalam Azure Databricks menggunakan Python untuk pemprosesan data dan automasi.
• Berkerjasama dengan pasukan platform untuk memastikan bahawa infrastruktur asas menyokong keperluan kebolehubahan, prestasi, dan keselamatan beban kerja Databricks.
• Menyelelenggara dan meningkatkan pipedata ETL, memastikan ianya cekap, boleh dipercayai, dan memenuhi keperluan perniagaan.
• Membetulkan dan menyelesaikan isu berkaitan pemprosesan data, kegagalan pipedata, dan faktor bottleneck prestasi dalam Databricks.
• Membangun dan melaksanakan strategi untuk mengoptimumkan pipedata untuk kelajuan, keberkesanan kos, dan prestasi, memastikan selari dengan objektif perniagaan.
• Menyumbang kepada penambahbaikan seni bina data, model data, dan keseluruhan infrastruktur dalam ekosistem Azure.
• Mengetuai usaha untuk memantau, menyelenggara, dan membesarkan aliran kerja data dan penyelesaian penyimpanan data dalam Azure Databricks.
• Berkerjasama dengan jurutera data, saintis data, dan penganalisis lain untuk memastikan integriti data dan aliran lancar merentasi sistem.
• Melakukan penyelidikan mengenai tren industri terbaru, alat, dan amalan terbaik dalam kejuruteraan data dan teknologi awan.

Keperluan:

• Pengalaman 3+ tahun sebagai jurutera data dengan kepakaran dalam membina dan mengoptimumkan pipedata dalam persekitaran berasaskan awan, khususnya Azure.
• Kepakaran dalam Azure Databricks dan Python untuk membangunkan skrip pemprosesan data dan mengoptimumkan aliran kerja.
• Pengalaman dengan proses ETL, reka bentuk pipedata, automasi, dan penyelesaian masalah.
• Pengalaman secara langsung dengan Apache Spark dalam Databricks, termasuk penalaan prestasi dan pengoptimuman.
• Pengetahuan tentang Azure Data Lake, Azure SQL, dan perkhidmatan penyimpanan dan pemprosesan data lain yang berasaskan Azure.
• Pemahaman yang kuat mengenai platform data awan, termasuk rangkaian, penyimpanan, keselamatan, dan pertimbangan prestasi dalam Azure.
• Kemampuan untuk bekerja secara berkesan dalam pasukan rentas fungsi untuk menyelaraskan dan memberikan penyelesaian data berkualiti tinggi.
• Kemahiran penyelesaian masalah dan analisis yang cemerlang, dengan kemampuan untuk mengenal pasti dan menyelesaikan isu berkaitan aliran kerja data.
• Kemahiran komunikasi yang kuat, baik teknikal mahupun bukan teknikal, dengan kemampuan untuk berkolaborasi secara efektif dengan pelbagai pasukan.

Kelayakan yang Dikehendaki:

• Pengalaman dengan Azure Synapse Analytics, Azure Data Factory, atau alat integrasi data serupa.
• Kefahaman tentang amalan CI/CD dan sistem kawalan versi seperti Git.
• Pengalaman dalam metodologi Agile dan alat pengurusan projek (mis., Jira, Trello).
• Kefahaman tentang prinsip tadbir urus data dan amalan terbaik dalam memastikan kualiti dan keselamatan data.

Kemahiran:

Adaptasi,Pembangunan Aplikasi Agile,Komunikasi,Pemikiran Kritis,Perkhidmatan Pelanggan,GitLab CI/CD,Kollaborasi yang Sengar, Pengurusan Prestasi,Peningkatan Proses,Pengurusan Risiko,Ujian Kebolehan Skala,Pembangunan Perisian,Metodologi Kitaran Hidup Pembangunan Perisian (SDLC),Pengurusan Pihak Berkepentingan,Pengurusan Pasukan

Cara Memohon:

Untuk menghantar permohonan anda, klik "Mohon" dan ikuti proses langkah demi langkah.

Peluang Pekerjaan yang Sama:

QBE adalah majikan yang memberikan peluang yang sama dan diwajibkan untuk mematuhi perundangan pemberian peluang pekerjaan yang sama di setiap bidang kuasa yang ia beroperasi.

Sila rujuk kepada deskripsi pekerjaan.