Migración de tecnología Datawarehouse a Databricks

Una empresa de comunicaciones, con un cluster de tecnología columnar MPP de legado con cientos de terabytes de datos en infraestructura on-premise, estaba enfrentando retos de desempeño, flexibilidad de información y costos, por tanto, decidió emprender una migración de su repositorio a analítico a Databricks, tecnología que, en el reporte 2025 del Cuadrante Mágico de Gartner para Data Science y Machine Learning, ha superado a Microsoft, Google y Amazon tanto en habilidad para ejecutar como en completitud de visión del producto.

Retos

La empresa estaba enfrentando diversos retos porque no tenían homologados los procesos de ingesta, porque no había suficiente gobierno de los procesos, ni de los flujos, dentro de su repositorio analítico tipo data warehouse.

Volumen alto de datos.

Falta de documentación y gobierno de procesos actuales.

Falta de procesos de validación de información.

Retos de vencimiento y desactualización tanto de la infraestructura de hardware como de las licencias de software.

Por tanto había que ejecutar el proyecto en el corto plazo.

Solución implementada

Migración de tecnología MPP desplegada en infraestructura on-premise a la nube de Azure con Databricks

Durante la migración había que entender estas estructuras y migrarlas a un entorno más óptimo, en un despliegue en nube, así entonces llevamos a cabo una migración de tecnología MPP, de un cluster de decenas de nodos a Databricks sobre Azure. Incluyó todos los procesos de ingesta, la traducción e implementación de reglas de negocio SQL a tecnología SQL en DBx. Se llevó a cabo optimización de procesos en función de la infraestructura a utilizarse (tipo de cluster y tipo de máquina) para mejoras de desempeño y costo, así como la estandarización de procesos para simplificar la operación.

Logros obtenidos

Una operación más ágil, moderna y eficiente.

Traducción y actualización de programación de reglas de negocio.
Establecimiento de procesos de gobierno a un modo estilo framework reutilizable y homologable.
Métricas de mejoras de desempeño.
Mejoras de costo.
Estandarización de procesos para simplificar la operación.

Con esta migración, la empresa pudo actualizarse a tecnología de última generación, operar en entorno de nube, modernizar procesos y eficientar el gasto.