Laboral · anonimizado
Pipeline ETL de carga masiva
Ingesta, transformación y carga de grandes volúmenes de datos con validación de calidad.
Contexto
La plataforma necesitaba incorporar datos de distintas fuentes de forma periódica y confiable.
Problema
Las cargas manuales o parciales generaban inconsistencias y datos duplicados que luego afectaban reportes y procesos del negocio.
Mi rol
Diseño y desarrollo de los procesos ETL y de las validaciones de calidad de datos.
Solución
Pipelines en Python que extraen, normalizan y validan los datos antes de cargarlos, con controles de integridad y consistencia.
Decisiones técnicas
- Validaciones explícitas antes de la carga para detectar errores temprano en lugar de corregirlos después.
- Procesamiento por lotes para manejar volúmenes grandes sin agotar memoria.
Resultado
Cargas confiables y sin duplicados; los reportes y procesos del negocio trabajan con datos validados.