Duración
24 horas
Introducción
En este curso, el alumno aprenderá a implementar y administrar cargas de trabajo de ingeniería de datos en Microsoft Azure, mediante servicios de Azure como Azure Synapse Analytics, Azure Data Lake Storage Gen2, Azure Stream Analytics, Azure Databricks y otros. El curso se centra en tareas comunes de ingeniería de datos, como la orquestación de canalizaciones de transferencia y transformación de datos, el trabajo con archivos de datos en un lago de datos, la creación y carga de almacenes de datos relacionales, la captura y la agregación de flujos de datos en tiempo real y el seguimiento de recursos y linaje de datos.
Objetivos
Una vez finalizado el curso el alumnado podrá:
- Explorar las opciones de procesamiento y almacenamiento para cargas de trabajo de ingeniería de datos en Azure
- Diseñar e implementar la capa de servicio
- Comprender las consideraciones de ingeniería de datos
- Ejecutar consultas interactivas utilizando grupos SQL sin servidor
- Explorar, transformar y cargar datos en el almacén de datos con Apache Spark
- Realizar exploración y transformación de datos en Azure Databricks
- Ingesta y carga datos en el almacén de datos
- Transformar datos con Azure Data Factory o Azure Synapse Pipelines
- Integrar datos de portátiles con Azure Data Factory o Azure Synapse Pipelines
- Optimizar el rendimiento de las consultas con grupos de SQL dedicados en Azure Synapse
- Analizar y optimizar el almacenamiento del almacén de datos
- Admitir el procesamiento analítico transaccional híbrido (HTAP) con Azure Synapse Link
- Realizar la seguridad de un extremo a otro con Azure Synapse Analytics
- Realizar el procesamiento de transmisiones en tiempo real con Stream Analytics
- Crear una solución de procesamiento de transmisión con Event Hubs y Azure Databricks
- Crear informes mediante la integración de Power BI con Azure Synpase Analytics
- Realizar procesos integrados de aprendizaje automático en Azure Synapse Analytics
Temario
- Explorar las opciones de computación y almacenamiento para cargas de trabajo de ingeniería de datos
- Introducción a Azure Synapse Analytics
- Describir Azure Databricks
- Introducción al almacenamiento de Azure Data Lake
- Describir la arquitectura de Delta Lake
- Trabajar con flujos de datos mediante Azure Stream Analytics
- Diseño e implementación de la capa de servicio
- Diseñar un esquema multidimensional para optimizar las cargas de trabajo analíticas
- Transformación sin código a escala con Azure Data Factory
- Rellenar dimensiones que cambian lentamente en las pipelines de Azure Synapse Analytics
- Consideraciones de ingeniería de datos para archivos fuente
- Diseñar un almacén de datos moderno con Azure Synapse Analytics
- Proteger un almacén de datos en Azure Synapse Analytics
- Ejecutar consultas interactivas con grupos de SQL sin servidor de Azure Synapse Analytics
- Explorar las capacidades de los grupos SQL sin servidor de Azure Synapse
- Consultar datos en el lake mediante grupos de SQL sin servidor de Azure Synapse
- Crear objetos de metadatos en grupos SQL sin servidor de Azure Synapse
- Proteger los datos y administrar a los usuarios en los grupos SQL sin servidor de Azure Synapse
- Explorar, transformar y cargar datos en el almacén de datos usando Apache Spark
- Comprender la ingeniería de big data con Apache Spark en Azure Synapse Analytics
- Ingestar datos con los cuadernos de Apache Spark en Azure Synapse Analytics
- Transformar datos con DataFrames en Apache Spark Pools en Azure Synapse Analytics
- Integrar grupos de SQL y Apache Spark en Azure Synapse Analytics
- Exploración y transformación de datos en Azure Databricks
- Describir Azure Databricks
- Leer y escribir datos en Azure Databricks
- Trabajar con DataFrames en Azure Databricks
- Trabajar con métodos avanzados de DataFrames en Azure Databricks
- Ingesta y carga datos en el almacén de datos.
- Utilizar las mejores prácticas de carga de datos en Azure Synapse Analytics
- Ingestión a escala de petabytes con Azure Data Factory
- Transformar datos con Azure Data Factory o Azure Synapse Pipelines
- Integración de datos con Azure Data Factory o Azure Synapse Pipelines
- Transformación sin código a escala con Azure Data Factory o Azure Synapse Pipelines
- Orquestar el movimiento y la transformación de datos en Azure Synapse Pipelines
- Organizar el movimiento y la transformación de datos en Azure Data Factory
- Optimizar el rendimiento de las consultas con grupos de SQL dedicados en Azure Synapse
- Optimizar el rendimiento de las consultas del almacén de datos en Azure Synapse Analytics
- Comprender las características para desarrolladores de almacenamiento de datos de Azure Synapse Analytics
- Analizar y optimizar el almacenamiento del data wharehouse
- Analizar y optimizar el almacenamiento del data wharehouse de datos en Azure Synapse Analytics
- Soporte del procesamiento analítico transaccional híbrido (HTAP) con Azure Synapse Link
- Diseñar procesamiento transaccional y analítico híbrido con Azure Synapse Analytics
- Configurar Azure Synapse Link con Azure Cosmos DB
- Consultar Azure Cosmos DB con grupos de Apache Spark
- Consultar Azure Cosmos DB con grupos de SQL sin servidor
- Seguridad de un extremo a otro con Azure Synapse Analytics
- Proteger un almacén de datos en Azure Synapse Analytics
- Configurar y administrar secretos en Azure Key Vault
- Implementar controles de cumplimiento para datos confidenciales
- Procesamiento de transmisión en tiempo real con Stream Analytics
- Habilitar la mensajería confiable para aplicaciones de Big Data con Azure Event Hubs
- Trabajar con flujos de datos mediante Azure Stream Analytics
- Ingesta flujos de datos con Azure Stream Analytics
- Crear una solución de procesamiento de transmisión con Event Hubs y Azure Databricks
- Procesar datos de streaming con transmisión estructurada de Azure Databricks
- Generar informes mediante la integración de Power BI con Azure Synpase Analytics
- Crear informes con Power BI utilizando su integración con Azure Synapse Analytics
- Realizar procesos integrados de aprendizaje automático en Azure Synapse Analytics
- Utilizar el proceso de aprendizaje automático integrado en Azure Synapse Analytics