Curso prático de Data Analytics com AWS

Aprenda de forma prática e rápida conceitos infraestrutura e desenvolvimento criando um sistema de Data analytics com recursos da AWS.

Aulas remotas para pequenos grupos

Neste curso você aprenderá a:

  • Criar a infra de Serviços e Dados na AWS
  • Desenvolver uma aplicação completa para entender os conceitos e funcionamento dos componentes utilizados
  • Desenvolver a programação básica usando nodejs, shell script e python.

Descrição detalhada:

O sistema consiste de um registro da situação de empresas com base em cnpj e estado.

  1. Os dados de entrada foram extraídos da base pública da receita federal.
  2. Uma aplicação Web, móvel ou script são as interfaces de entrada do usuário.
  3. O envio de dados é centralizado por meio de uma api desenvolvida em NodeJs com o seguinte endpoint: /empresa
  4. O servidor nodejs envia o dados recebido para um tópico no SNS e para o redis no ElastiCache
  5. O SNS encaminha a mensagem para a fila SQS
  6. Ao chegar na Fila SQS é disparado um trigger que roda uma função Lambda
  7. O lambda realiza uma chamada Http para registro de log no mongo e realiza o put no kinesis
  8. Ao receber o registro, um data stream gera um arquivo para o S3 com os últimos dados recebidos.
  9. O glue recebe e processa os arquivos do s3 e atualiza a base da dados
  10. A consulta é realizada no Athenas e gera um arquivo de saida no S3.
  11. Baixar o arquivo de S3 para abrir no Excel
  12. Uma aplicação nodejs que exibe uma tabela com a ultima informação do arquivo e uma tela que exibe os últimos registros cadastrados.

Requisitos:

  • Conhecimento em Cloud Services
  • Infraestrutura de servidores
  • Linguagem de programação
  • Uma conta na AWS com crédito para uso de recursos pagos

Contato

Mais informações e valores, entrem em contato.

leonardo@lymtec.com.br

(11) 99692-7283