EMPREGO ENGENHEIRO DADOS SPARK

• criar pipelines e dar manutenção no azure data factory para ingestão de dados no repositório... missão do cargo: • integrar dados de...

Conhecimento em técnicas e ferramentas de mineração de dados... qualificação certificação microsoft certified: azure data engineer associate; experiência mínimo...

Apache hadoop); ferramentas de integração de dados (ex... descrição geral dos serviços para a realização deste serviço a contratada deverá alocar profissionais...

Criar modelos de dados que representem as estruturas de dados e as relações entre elas... projetar esquemas de banco de dados eficientes e otimizados para diferentes...

Conhecimentos em armazenamento e gerenciamento de dados data lake e armazenamento de dados: experiência na criação e otimização de azure data lake e em estruturas...

Descrição geral dos serviços para a realização deste serviço a contratada deverá alocar profissionais com o perfil de engenheiro de dados júnior; este serviço compreende...

Experiência mínimo de 3 anos de experiência em engenharia de dados, análise de dados ou áreas relacionadas; experiência comprovada com ferramentas e tecnologias...

Conhecimento em arquiteturas de dados em nuvem e boas práticas de segurança de dados... proficiência em pyspark para processamento distribuído de dados...

Experiência com spark structured streaming ou outras soluções de streaming de dados... 2+ anos com apache spark para processamento distribuído...

•    definição de arquiteturas de dados... •    integração de diversas fontes de dados... as tecnologias utilizadas incluem airflow, dbt, duckdb, python, r, scala...

Experiência mínimo de 1 ano de experiência em engenharia de dados, análise de dados ou áreas relacionadas; experiência comprovada com ferramentas e tecnologias...

Conhecimento das ferramentas de desenvolvimento python, spark e airflow... ingestão de dados: implementar processos de ingestão de dados para garantir que os dados...

Conhecimento em processos de etl/elt e pipelines de dados... sólido conhecimento em sql para modelagem e consultas de dados... conhecimento em metodologias ágeis...

Fornecer suporte técnico para resolver problemas relacionados à integração de dados e assegurar a disponibilidade contínua dos sistemas de dados...

Habilidades e experiência necessárias: experiência mínima de 5 anos como engenheiro de dados... garantir a qualidade, segurança e integridade dos dados...

Noções de modelagem de dados e boas práticas em engenharia de dados... js, garantindo a eficiência na manipulação de dados... • criar e gerenciar integrações entre...

); - experiência em linguagens de programação voltadas para dados, como python, sql ou scala; - conhecimento em bancos de dados relacionais e não relacionais (postgresql...

• automatizar o fluxo de dados entre sistemas diferentes e garantir a integridade e qualidade dos dados... experiência em python, com capacidade para desenvolver...

Desenvolver modelos de dados que descrevem como os dados são organizados e relacionados entre si... nesses processos, você lidará com dados de consumidores com informações...

Conhecimento de segurança e governança de dados... capacidade de traduzir dados complexos em insights acionáveis... aplicar boas práticas de versionamento, governança...