Offer summary

Qualifications:

Proficient in Python and Spark for data processing., Experience with Airflow for orchestration of data pipelines., Familiarity with AWS and EMR for cloud data management., Knowledge of Kafka and Scala is desirable..

Key responsibilities:

Translate code into Spark using Python and Scala.

Build and optimize data pipelines and Airflow DAGs.

Ensure efficient resource usage in EMR jobs and optimize code.

Conduct database validation and unit testing coverage.

Job description

Company Description

A Serasa Experian é a primeira e a maior Datatech do Brasil. Líder em soluções de inteligência para análise de riscos e oportunidades, com foco nas jornadas de crédito, autenticação e prevenção à fraude. Com tecnologia de ponta, inovação e os melhores talentos, transforma a incerteza do risco na melhor decisão, ajudando pessoas a realizarem seus sonhos e empresas de todos os portes e segmentos a prosperarem.

Temos 22.000 pessoas operando em 32 países e a cada dia estamos investindo em novas tecnologias, profissionais talentosos e inovação para ajudar todos os clientes a maximizarem cada oportunidade. Com sede corporativa em Dublin, Irlanda, a Experian está listada na Bolsa de Valores de Londres (EXPN) e compõe o índice FTSE 100.

Job Description

Nossa equipe é responsável pelo processamento de features para machine learning, que alimenta os principais produtos e modelos de score da companhia. Trabalhamos com volumes de dados na escala de petabytes, processando o maior banco de dados da América Latina. Buscamos um profissional dedicado e apaixonado por tecnologia para se juntar a nós nessa jornada de inovação.

Sua atuação inicial será no projeto de Open Finance, atuará construindo pipelines de movimentação de dados na nuvem e categorização de transações, aplicando ferramentas proprietárias de NLP para tratamento dos dados, com o objetivo de alimentar produtos e ajudar milhões de pessoas a melhorar seus Scores.

Nessa posição, você atuará principalmente com Spark, rodando em EMR e orquestrado via Airflow. Esteja disposto a aprender, pois o Serasa tem um mundo à parte de conceitos e produtos. Buscamos uma pessoa que consiga rapidamente entender os padrões de arquitetura e propor soluções performáticas, nos ajudando a tornar produtos realidade.

Dia a dia:

Tradução de código para Spark (Python e Scala)
Construção de pipelines de dados
Construção de Dags Airflow
Otimização do uso de recursos do EMR por job
Otimização de Código
Homologação de bases de dados
Cobertura de testes unitários
Acompanhamento e defesa dos projetos em comitês de arquitetura.

Qualifications

Python
Spark
Airflow
AWS
EMR
Kafka (desejável)
Scala (desejável)

Additional Information

A Serasa Experian é muito mais do que você imagina. Com o propósito de criar um futuro melhor, ampliando oportunidades para pessoas e empresas, no Brasil somos mais de 4 mil pessoas que atuam em diversos times e especialidades. Aqui, cada conhecimento e diversidade se complementa e você pode trabalhar no que mais ama, estamos comprometidos a construir uma cultura inclusiva e um ambiente no qual pessoas possam equilibrar a carreira com seus compromissos e interesses pessoais, prezando pelo bem-estar.

A gente se dedica muito em ser uma das melhores e mais inovadoras empresas para se trabalhar do país, possibilitando experiências e carreiras incríveis para nossas pessoas. Nossa forte abordagem de pessoas em primeiro lugar é reconhecida externamente por meio de diversas certificações de mercado: fomos premiados pelo Great Place To Work™ em 24 países e pela certificação internacional Top Employers, além de sermos reconhecidos como uma das melhores empresas para jovens profissionais e contarmos com uma avaliação de 4,6 no Glassdoor. Cada reconhecimento nos indica que estamos no caminho certo, proporcionando um ambiente de trabalho cada vez melhor para nossos talentos.

Experian Careers - Creating a better tomorrow together

Find out what its like to work for Experian by clicking here

Required profile