ENGENHARIA DE DADOS

O que buscamos: Profissional que atue como Engenharia de Dados , necessário conhecimento em YAML e que possua disponibilidade para atuação hibrida (2x por semana presencial) no Itaim Bibi – Faria Lima (São Paulo/SP). Responsabilidades: Planejar, projetar e implementar arquiteturas de data lake, com foco em armazenamento escalável, segurança e acessibilidade dos dados. Configurar pipelines de dados utilizando AWS Glue, garantindo a extração, transformação e carregamento (ETL) dos dados de forma otimizada. Desenvolver e manter templates em YAML para a configuração e automatização de deploys, promovendo a padronização de infraestrutura. Utilizar AWS CloudFormation para criar e gerenciar stacks de infraestrutura como código (IaC), garantindo configurações consistentes e automatizadas. Implementar e gerenciar funções AWS Lambda para processamento em tempo real e execução de tarefas de ETL e ELT de forma serverless. Configurar e gerenciar SNS (Simple Notification Service) e SQS (Simple Queue Service) para orquestração e notificação de eventos, promovendo a comunicação eficiente entre sistemas. Configurar Firehose para a entrega de dados em tempo real para o data lake e outros serviços de armazenamento e processamento. Colaborar com equipes de desenvolvimento e analytics para assegurar o armazenamento e estruturação dos dados de forma acessível e escalável. Requisitos e Qualificações: Experiência sólida em arquitetura de data lakes e infraestrutura em nuvem AWS. Proficiência com AWS Glue para a criação e otimização de pipelines ETL. Conhecimento em YAML para configuração de deploys e automatização de templates de infraestrutura. Experiência com CloudFormation para automação de infraestrutura como código. Experiência com AWS Lambda para execução de funções serverless e automação de tarefas de ETL. Conhecimento em SNS e SQS para orquestração de eventos e comunicação assíncrona entre sistemas. Familiaridade com Firehose para streaming de dados em tempo real para o data lake. Habilidade de troubleshooting e otimização de performance em processos de ETL e data pipelines. Desejável: Experiência com arquitetura Lake House, integrando data lakes com data warehouses para uma solução de dados unificada e flexível. Certificações AWS ou experiência com outras ferramentas e serviços de dados. Iceberg spark. Experiência em metodologias ágeis e boas práticas de desenvolvimento. Ter experiência na implementação de uma arquitetura de lake house, incluindo integração de data lakes com data warehouses, para proporcionar maior flexibilidade e análise unificada de dados. Descrição comportamental: Procuramos uma pessoa que: Goste de trabalhar em equipe e seja colaborativa em suas atribuições. Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento. Transforme ideias em soluções criativas e busque qualidade em toda sua rotina. Tenha habilidades de resolução de problemas. Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo. Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico. Big enough to deliver – small enough to care. #VempraGFT #VamosVoarJuntos #ProudToBeGFT.Formação Acadêmica:Não informadoSalário:A combinarCargo:Engenheiro de DadosEmpresa:Gft BrasilServiços de TI.Ramo:Informática/ Tecnologia (CF)