Detalhes do Projeto

Projeto Integrador 4 Semestre, aprendendo cloud no GCP.

Informações

  • Categoria: Cloud
  • Funções: Cloud, ETL, ML
  • Data: Julho , 2024
  • URL: GitHub

ETL e Análise de Dados com GCP

Este projeto tem como objetivo simular um banco de dados de e-commerce para análise e geração de insights estratégicos. Utilizamos um processo completo de ETL (Extração, Transformação e Carga) para coletar, processar e armazenar dados de maneira eficiente, garantindo sua integridade e escalabilidade.

Tecnologias Utilizadas

  • Google Cloud Platform (GCP) – Infraestrutura em nuvem
  • Google Cloud Storage – Armazenamento de dados
  • Google Dataproc – Processamento distribuído
  • Google Colab – Execução de análises interativas
  • Pandas e Python – Manipulação e transformação de dados
  • Machine Learning no GCP – Análises preditivas

Metodologia

O fluxo de dados inicia com a coleta e armazenamento no Google Cloud Storage, seguido pelo processamento em Google Dataproc, onde os dados passam por limpeza e transformação. As análises são desenvolvidas no Google Colab utilizando Pandas e Python. Além disso, aplicamos Machine Learning para prever padrões e tendências.

Resultados e Aplicação

O projeto demonstra a importância da análise de dados no varejo, permitindo decisões baseadas em insights reais. Com uma infraestrutura escalável e automação do processo ETL, tornamos a análise mais ágil e acessível, gerando valor estratégico para operações de e-commerce.