Detalhes do Projeto
Projeto Integrador 4 Semestre, aprendendo cloud no GCP.
Informações
- Categoria: Cloud
- Funções: Cloud, ETL, ML
- Data: Julho , 2024
- URL: GitHub
ETL e Análise de Dados com GCP
Este projeto tem como objetivo simular um banco de dados de e-commerce para análise e geração de insights estratégicos. Utilizamos um processo completo de ETL (Extração, Transformação e Carga) para coletar, processar e armazenar dados de maneira eficiente, garantindo sua integridade e escalabilidade.
Tecnologias Utilizadas
- Google Cloud Platform (GCP) – Infraestrutura em nuvem
- Google Cloud Storage – Armazenamento de dados
- Google Dataproc – Processamento distribuído
- Google Colab – Execução de análises interativas
- Pandas e Python – Manipulação e transformação de dados
- Machine Learning no GCP – Análises preditivas
Metodologia
O fluxo de dados inicia com a coleta e armazenamento no Google Cloud Storage, seguido pelo processamento em Google Dataproc, onde os dados passam por limpeza e transformação. As análises são desenvolvidas no Google Colab utilizando Pandas e Python. Além disso, aplicamos Machine Learning para prever padrões e tendências.
Resultados e Aplicação
O projeto demonstra a importância da análise de dados no varejo, permitindo decisões baseadas em insights reais. Com uma infraestrutura escalável e automação do processo ETL, tornamos a análise mais ágil e acessível, gerando valor estratégico para operações de e-commerce.