AWS Glue

Qué es: AWS Glue es un servicio serverless de integración de datos: descubre, prepara y mueve datos entre fuentes, sobre todo con trabajos ETL.

• Trabajos ETL: extraen datos de S3 o de una base de datos, los transforman (limpiar, unir, pasar de CSV a Parquet) y los cargan en el destino. Los diseñas en un editor visual o con código; corren sobre Apache Spark sin que administres servidores, y pagas por el tiempo de ejecución.
• Data Catalog: el inventario central de metadatos: bases, tablas, columnas y en qué carpeta de S3 está cada una. Es el catálogo donde Athena guardaba sus tablas en la Sesión 12. Gratis hasta 1 millón de objetos y 1 millón de solicitudes al mes.
• Rastreadores (crawlers): recorren tus datos, deducen el esquema y crean las tablas del catálogo solos.

Analogía: el ayudante de cocina que lava, corta y ordena los ingredientes antes de que cocinen los chefs, y anota en una libreta qué hay en cada estante. Dónde falla la analogía: el ayudante cobra la jornada entera; Glue solo cobra mientras corre un trabajo. Y la libreta del catálogo describe los datos, no los guarda.

Ejemplo real: Boletos Faro recibe cada noche archivos CSV de 30 taquillas, cada uno con su formato de fecha. Un trabajo de Glue programado los limpia, los une con la tabla de eventos y escribe Parquet en S3. Así Athena escanea menos datos. Es la respuesta a la pregunta 1 del inicio.

Úsalo cuando: debas limpiar, combinar o convertir datos antes de analizarlos, o mantener un catálogo común para Athena, Redshift y otros. No lo uses cuando: solo quieras consultar con SQL datos que ya están listos (Athena) o mostrarlos en gráficos (Quick).