EMPREGO ENGENHEIRO DADOS SPARK PYTHON

Principais responsabilidades: • criar dags de integração via api e/ou manipulação de dados no airflow em python com manutenção contínua...

Conhecimento em técnicas e ferramentas de mineração de dados... qualificação certificação microsoft certified: azure data engineer associate; experiência mínimo...

Criar modelos de dados que representem as estruturas de dados e as relações entre elas... projetar esquemas de banco de dados eficientes e otimizados para diferentes...

Conhecimentos em armazenamento e gerenciamento de dados data lake e armazenamento de dados: experiência na criação e otimização de azure data lake e em estruturas...

Experiência mínimo de 3 anos de experiência em engenharia de dados, análise de dados ou áreas relacionadas; experiência comprovada com ferramentas e tecnologias...

Experiência com spark structured streaming ou outras soluções de streaming de dados... experiência com python para engenharia de dados (pandas, pyspark, automação...

Garantir a integridade, qualidade e segurança dos dados através de práticas de desenvolvimento e operações de dados...  responsabilidades e atribuiçãoprojetar, desenvolver...

•    definição de arquiteturas de dados... •    integração de diversas fontes de dados... as tecnologias utilizadas incluem airflow, dbt, duckdb, python, r, scala...

Experiência mínimo de 1 ano de experiência em engenharia de dados, análise de dados ou áreas relacionadas; experiência comprovada com ferramentas e tecnologias...

Conhecimento das ferramentas de desenvolvimento python, spark e airflow... ingestão de dados: implementar processos de ingestão de dados para garantir que os dados...

Experiência em dbt experiência desejável com databricks e spark... responsabilidades y asignaciones desenvolver e manter pipelines de dados robustos e escaláveis...

Requirements: domínio em python para manipulação, transformação e integração de dados... noções de modelagem de dados e boas práticas em engenharia de dados...

Diferenciais: experiência em python ou r para manipulação de dados e integração com ferramentas de bi... conhecimento em processos de etl/elt e pipelines de dados...

Modelagem e transformação de dados: • utilizar principalmente python para modelar e transformar dados... • desenvolver scripts e soluções em python para manipulação...

Fornecer suporte técnico para resolver problemas relacionados à integração de dados e assegurar a disponibilidade contínua dos sistemas de dados...

Habilidades e experiência necessárias: experiência mínima de 5 anos como engenheiro de dados... garantir a qualidade, segurança e integridade dos dados...

Vivência com plataformas de datalake e arquitetura de dados... habilidade para resolver problemas complexos e otimizar processos de dados...   o perfil que buscamos:experiência...

); - experiência em linguagens de programação voltadas para dados, como python, sql ou scala; - conhecimento em bancos de dados relacionais e não relacionais (postgresql...

Estamos formando um  banco de talentos  para a posição de  engenheiro de dados... noções de criação de apis para disponibilização de dados...