Peranan Pekerjaan: Jurusan Data (Databricks, Apache Spark, dan Delta Lake, GenAI atau integrasi AI/ML).

Lokasi: Manila.

Tempoh: Kontrak 6+ bulan.

Penerangan Pekerjaan:

Skop Kerja/Tanggungjawab

1. Pembangunan Saluran Data:

• Reka bentuk, laksanakan, dan optimakan saluran data akhir-ke-akhir menggunakan Databricks dan teknologi berkaitan.
• Bina aliran kerja untuk mengendalikan pengambilan data berskala besar, transformasi, dan penyimpanan.

2. Penyediaan Data untuk LLMs:

• Pra-proses, bersihkan, dan struktur dataset pelbagai (teks, berstruktur, dan tidak berstruktur) untuk latihan LLM dan penyesuaian.
• Laksanakan teknik kejuruteraan ciri, tokenisasi, dan vektorisasi untuk menyokong model NLP.

3. Pengoptimuman Prestasi:

• Gunakan ciri-ciri Databricks, termasuk Delta Lake dan MLflow, untuk melancarkan aliran data.
• Optimakan infrastruktur data untuk ketersediaan tinggi, skala, dan efisiensi kos.

4. Kerjasama dengan Pasukan:

• Bekerjasama rapat dengan saintis data, jurutera ML, dan pemegang kepentingan lain untuk memahami keperluan data bagi keperluan teknologi LLM.
• Pastikan keselarasan antara saluran kejuruteraan dan matlamat pembelajaran mesin.

5. Kualiti Data & Tadbir Urus:

• Laksanakan proses untuk memastikan kualiti data, konsistensi, dan pematuhan dengan dasar tadbir urus.
• Pantau dan kekalkan integriti data sepanjang kitaran hayat saluran.

6. Penerimaan Teknologi Berkembang:

• Kekalkan kemaskini tentang kemajuan dalam Databricks, AI generatif, dan teknologi LLM.
• Sumbang kepada penerimaan alat dan amalan inovatif untuk meningkatkan aliran kerja.

Keperluan dan Kelayakan (Pendidikan & Pengalaman Kerja)

Pengalaman:

• 7+ tahun pengalaman dalam peranan kejuruteraan data, dengan sekurang-kurangnya 2 tahun dalam peranan kepimpinan dan projek yang melibatkan Databricks.
• Kepakaran terbukti dalam saluran data, kejuruteraan ciri, dan penyediaan dataset untuk pembelajaran mesin, khususnya LLM.
• Pengalaman membina aplikasi bertaraf perusahaan dengan integrasi GenAI atau AI/ML.

Kemahiran Teknikal:

• Kepakaran dalam Databricks, Apache Spark, dan Delta Lake.
• Kemahiran pengaturcaraan yang kuat dalam Python dan SQL; pengetahuan mengenai perpustakaan seperti pandas, NumPy, atau PyTorch adalah satu kelebihan.
• Memahami perpustakaan pengurusan keadaan seperti Redux, Recoil, atau Zustand. Cypress), dan kawalan versi (Git).
• Memahami prinsip keselamatan web dan keperluan pematuhan untuk aplikasi perusahaan.

Kemahiran Lembut:

• Kebolehan menyelesaikan masalah dan membuat keputusan yang luar biasa.
• Kemahiran komunikasi dan kepimpinan yang luar biasa, dengan kemampuan untuk memandu perbincangan teknikal dan membimbing anggota pasukan.
• Fokus yang kuat pada penyampaian kualiti.

Sila rujuk kepada penerangan pekerjaan.