Anda akan bertanggungjawab untuk merekabentuk, melaksanakan, dan menyelenggara saluran data dan proses ETL yang kukuh. Dengan kepakaran anda dalam Spark, Talend, Airflow, Python, dan SQL, anda akan memastikan aliran dan transformasi data yang cekap merentasi sistem kami.

Tanggungjawab Utama:

• Pembangunan Saluran Data: Reka bentuk dan bangunkan saluran data yang boleh diskala menggunakan Apache Spark, memastikan pemprosesan dan transformasi data yang cekap.
• Proses ETL: Cipta dan urus aliran kerja ETL (Extract, Transform, Load) untuk mengintegrasikan data dari pelbagai sumber ke dalam sistem data kami.
• Integrasi Data: Gunakan Talend untuk tugas integrasi data, termasuk pembersihan data, transformasi, dan memuatkan.
• Automasi Aliran Kerja: Melaksanakan dan mengurus aliran kerja data menggunakan Apache Airflow untuk mengautomasikan dan mengoptimumkan tugas pemprosesan data.
• Pengaturcaraan: Manfaatkan Python untuk menulis skrip bagi manipulasi, transformasi, dan analisis data.
• Pengurusan Pangkalan Data: Memajukan dan mengoptimumkan pertanyaan SQL untuk pengambilan dan analisis data yang cekap dalam pangkalan data relational.
• Kerjasama: Bekerjasama rapat dengan saintis data, penganalisis, dan pemegang kepentingan lain untuk memahami keperluan data dan menghasilkan penyelesaian yang berkesan.
• Kualiti Data: Memastikan ketepatan, konsistensi, dan kualiti data melalui proses pengesahan dan pemantauan yang ketat.
• Dokumen: Membuat dan menyelenggara dokumentasi terperinci untuk proses data, saluran, dan aliran kerja integrasi.

Kemahiran dan Kelayakan Diperlukan:

• Kemahiran dalam Apache Spark untuk pemprosesan dan analitik data berskala besar.
• Pengalaman dengan proses dan alat ETL, termasuk Talend.
• Kefahaman tentang Apache Airflow untuk mengurus aliran kerja data dan automasi.
• Kemahiran pengaturcaraan yang kukuh dalam Python untuk tugas kejuruteraan data.
• Kemahiran SQL lanjutan untuk pertanyaan dan pengurusan pangkalan data relational.

Sila rujuk kepada deskripsi pekerjaan.