DENG-251: Building an Open Data Lakehouse using Apache Iceberg - Italian

Acerca de este curso

Este curso presenta Apache Iceberg, un formato de tabla abierto de alto rendimiento para organizar conjuntos de datos analíticos a escala de petabytes en un sistema de archivos o almacenamiento de objetos, disponible en Cloudera Data Warehouse y Cloudera Data Engineering tanto en cloud pública como privada.. Combinado con Cloudera Data Platform, Iceberg permite a los usuarios construir una arquitectura Data Lakehouse abierta para análisis multifunción y desplegar pipelines end-to-end a gran escala.

Este curso cubre varios aspectos de Apache Iceberg, tales como la arquitectura, operaciones internas, operaciones de lectura y escritura, y funciones avanzadas, al tiempo que se establecen comparaciones con Hive y se aprovechan los conocimientos y la experiencia de los estudiantes.

A quién va dirigido

Objetivos del curso

Este curso enseña a los participantes las siguientes habilidades:

• Obtener un profundo entendimiento de los beneficios de Iceberg, snapshots y sus funcionalidades.
• Ser capaz de construir tablas externas y gestionadas, configurando copy-on-write y merge-on-read para optimizar la gestión de datos.
• Realizar rollbacks y time travel, navegar por la evolución de esquemas y particiones, y utilizar particiones ocultas.
• Crear y fusionar ramas de tablas, dominando el procedimiento de Write-Audit-Publish (WAP) de Iceberg.
• Realizar eficientemente tareas de mantenimiento de tablas y abordar desafíos de migración de datos.

Contenidos

Introducción.

• Apache Hive.
• ¿Por qué Iceberg?
• Data Lakehouses.
• ¿Qué es Iceberg?

Catálogos.

• Revisión de la Configuración del Catálogo Iceberg.

Conceptos de Iceberg.

• Snapshots.
• Capa de Metadatos: Lista de Manifiesto, Archivos de Manifiesto.
• Time Travel.
• Evolución del Esquema.
• Partición Oculta.
• Write-Audit-Publish (WAP).
• Ramas, Etiquetas, Clonación sin copia (Zero-Copy-Clone).

Diseño de Tabla Iceberg.

• Tablas Gestionadas y Externas.
• Revisión de Propiedades de Tabla.
• Copy-On-Write (COW) vs Merge-On-Read (MOR).
• Particiones Ocultas.
• Comparar Diseño de Particiones en Hive vs. Iceberg.
• Metadatos de Tabla
• Mantenimiento de Tablas

Data-As-Code.

• Iceberg Personas
• Write-Audit-Publish (WAP)
• Ramas y Etiquetado

Migración de Tablas de Hive a Iceberg.

• In-place Migration.
• Shallow Migration.