Segera memerlukan 2 orang - Jurutera Perayap

Gaji: 30K-55K (tidak termasuk bonus projek, berbincang untuk yang berkemampuan tinggi)

Waktu kerja: 10 cuti 4 (12:00-24:00 terdapat 2 jam rehat, waktu makan)

Tempoh percubaan: 1 bulan

Projek syarikat: Pengalaman pembangunan IM

Lokasi kerja: Bermula secara jauh kemudian ke lokasi (Thailand/Bangkok kerja dari rumah)

1. Bertanggungjawab untuk pembangunan dan penyelenggaraan pengambilan data daripada laman web bagi arah perniagaan utama

2. Merancang dan mengoptimumkan program perayap yang stabil dan berkesan, mengendalikan strategi anti-perayapan (seperti CAPTCHA, kekeliruan JS, sekatan IP, dan lain-lain)

3. Membangun dan menyelenggara sistem perayap teragih, untuk mencapai pengumpulan data secara serentak dalam skala besar

4. Membersihkan, menyusun, dan memproses data yang diperoleh, bagi memastikan kualiti data

5. Memantau status operasi sistem, menangani kecemasan dengan segera, serta meningkatkan kecekapan dan kestabilan pengambilan data

6. Membantu pasukan data dalam menyelesaikan kerja-kerja pengintegrasian data dan pengambilan label

1. Ijazah sarjana muda atau lebih tinggi dalam bidang komputer, kejuruteraan perisian atau bidang berkaitan, dengan pengalaman sebenar dalam pembangunan pemprograman web selama 2-3 tahun atau lebih

2. Mahir dalam Python, biasa dengan kerangka pemprograman web utama seperti Scrapy, Requests, Selenium, Playwright

3. Menguasai teknik penguraian halaman seperti HTML / XPath / CSS Selector / ungkapan biasa

4. Memahami mekanisme anti-scraping yang biasa dan strategi penanganannya, seperti kolam proksi, kolam UA, pengenalan kod keselamatan, penyahsulitan JS, pemuatan halaman dinamik dan lain-lain

5. Mempunyai pengalaman dalam menggunakan penyimpanan data seperti Redis, MongoDB, MySQL

6. Memahami pengaturcaraan berbilang benang/asinkron, dengan struktur kod yang baik dan tabiat pembangunan yang positif

7. Mempunyai kemahiran asas dalam operasi Linux, mampu menyebarkan dan menyelenggara skrip pengumpulan secara bebas

8. Mempunyai rasa tanggungjawab, pemikiran yang jelas, tahan tekanan, dan semangat kerjasama dalam pasukan yang baik

️️Keutamaan:

1. Mempunyai pengalaman dalam projek pemprograman web teragih menggunakan Scrapy-Redis

2. Memahami kerangka tugas asinkron seperti Kafka/Celery

3. Diutamakan yang mempunyai pengalaman dalam menangani kod keselamatan imej atau kod keselamatan gelongsor

4. Memahami strategi dan penyelesaian anti-penipuan yang biasa digunakan

5. Mempunyai pengalaman dalam projek pemprograman web untuk laman berwarna