Função: Analista de Dados (Databricks, Apache Spark e Delta Lake, GenAI ou integrações AI/ML).

Localização: Manila.

Duração: Contrato de 6+ Meses.

Descrição do Trabalho:

Escopo de Trabalho/Responsabilidades

1. Desenvolvimento de Pipeline de Dados:

• Projetar, implementar e otimizar pipelines de dados de ponta a ponta usando Databricks e tecnologias relacionadas.
• Construir fluxos de trabalho para lidar com ingestão, transformação e armazenamento de dados em grande escala.

2. Preparação de Dados para LLMs:

• Pré-processar, limpar e estruturar conjuntos de dados diversos (texto, estruturados e não estruturados) para treinamento e ajuste fino de LLM.
• Implementar engenharia de recursos, tokenização e técnicas de vetorização para suportar modelos de NLP.

3. Otimização de Desempenho:

• Utilizar recursos do Databricks, incluindo Delta Lake e MLflow, para otimizar fluxos de trabalho de dados.
• Otimizar a infraestrutura de dados para alta disponibilidade, escalabilidade e custo-eficiência.

4. Colaboração com Equipas:

• Trabalhar em estreita colaboração com cientistas de dados, engenheiros de ML e outras partes interessadas para entender os requisitos de dados para tecnologias LLM.
• Garantir alinhamento entre pipelines de engenharia e metas de aprendizado de máquina.

5. Qualidade dos Dados e Governança:

• Implementar processos para garantir a qualidade dos dados, consistência e conformidade com políticas de governança.
• Monitorar e manter a integridade dos dados ao longo do ciclo de vida do pipeline.

6. Adoção de Tecnologias Emergentes:

• Manter-se atualizado sobre os avanços em Databricks, AI generativa e tecnologias LLM.
• Contribuir para a adoção de ferramentas e práticas inovadoras para melhorar fluxos de trabalho.

Requisitos e Qualificações (Educação e Experiência de Trabalho)

Experiência:

• 7+ anos de experiência em funções de engenharia de dados, com pelo menos 2 anos em uma função de liderança e projetos envolvendo Databricks.
• Comprovada expertise em pipelines de dados, engenharia de recursos e preparação de conjuntos de dados para machine learning, especificamente LLMs.
• Experiência na construção de aplicações de nível empresarial com integrações de GenAI ou AI/ML.

Habilidades Técnicas:

• Expertise em Databricks, Apache Spark e Delta Lake.
• Fortes habilidades de programação em Python e SQL; conhecimento de bibliotecas como pandas, NumPy ou PyTorch é um diferencial.
• Compreensão de bibliotecas de gerenciamento de estado como Redux, Recoil ou Zustand. Cypress), e controle de versão (Git).
• Compreensão dos princípios de segurança na web e requisitos de conformidade para aplicações empresariais.

Habilidades Interpessoais:

• Habilidades excepcionais de resolução de problemas e tomada de decisão.
• Excelentes habilidades de comunicação e liderança, com a capacidade de conduzir discussões técnicas e orientar membros da equipe.
• Foco forte na entrega de qualidade.

Por favor, consulte a descrição do trabalho.