職責和責任

• 開發、優化和維護ETL/ELT管道，以實現高效的數據攝取、處理和存儲。
• 處理來自各種來源的結構化和非結構化數據，確保數據的質量和完整性。
• 實施和管理數據倉庫、數據湖及其他存儲解決方案。
• 與數據科學家、分析師和業務團隊合作，理解數據需求並開發適當的解決方案。
• 編寫乾淨、高效、可擴展的Python代碼，用於數據轉換和自動化。
• 優化查詢性能，並排除與數據相關的問題。
• 確保數據安全、隱私和符合相關法規。
• 記錄數據工程流程、工作流程和最佳實踐。

• 具有2年以上數據工程經驗。
• 精通Python進行數據處理和自動化。
• 具有SQL及PostgreSQL、MySQL或SQL Server等關聯數據庫的經驗。

請參閱職位描述。