Professional - Data Engineering

O que a pessoa que possui a badge aprendeu:

A pessoa que detém esta badge possui conhecimento técnico aprofundado sobre Big Data, como:
• Criação e manutenção de scripts ETL/ELT e workflow para processamento de dados;
• Construção e modelagem de produtos de dados nas camadas brutas e harmonizadas (SoR, SoT e Espec) a partir de grandes volumes de dados;
• Garantir a confiabilidade dos processos de ingestão de dados de acordo com princípio de governança acordados pela organização;
• Contribuir na definição de arquitetura de dados;
• Atuar como multiplicador de conhecimento sobre melhores práticas de engenharia e governança de dados;
• Identificar as tarefas de automação e melhorias processuais que alavanquem as soluções e produtos de dados de forma estruturante;
• Avaliar necessidades de equipes parceiras para a implantação de soluções de dados que tragam maior valor ao cliente;
• Padronizar e orientar as definições de dados, modelos de dados, códigos e pipelines para equipes multifuncionais.

Qual o nível de conhecimento que a pessoa possui:

A pessoa que detém esta badge tem conhecimentos aplicados e teóricos sobre Engenharia de Dados em um nível avançado, sendo capaz de aplicar, entender e avaliar as principais técnicas utilizadas na área para resolução de problemas.

Conceitos Aprendidos:
• Ferramentas open-source e AWS voltadas para Big Data (e.g. Hive, Spark, Presto/Athena, Hudi, Kafka, Parquet, Avro, Glue Jobs, RedShift);
• Modelagem Conceitual, Lógica e Física de Dados Estruturados e Não-Estruturados;
• Conhecimentos básicos sobre arquitetura de soluções AWS (e.g. IAM, EC2, Roles, S3, Security groups);
• Conhecimentos específicos sobre os elementos de Analytics utilizados na arquitetura de soluções AWS para a construção e sustentação de pipeline de dados (ETL/ELT), incluindo EMR, Glue, Athena e RedShift;
• Boas práticas de Engenharia de software para esteiras de CI/CD, envolvendo design patterns, testes automatizados e SRE;
• Linguagem de manipulação de dados SQL;
• Linguagens de Programação (e.g. Python e PySpark) e Shell Script (Linux/Unix);
• Conhecimentos sobre Governança de Dados (e.g. LGPD e Privacidade)

O que é necessário para conquistar este badge

O que é necessário para conquistar essa badge:

A pessoa precisa realizar a prova de ingresso na carreira e obter uma pontuação maior do que 50, que vai de 0 a 100 e ser aprovada em um Bate Papo Técnico com ao menos uma dupla de Engenheiro de nível superior.