Data Warehousing with BigQuery: Storage Design, Query Optimization and Administration
Acerca de este curso
En este curso, aprenderás sobre los aspectos internos de BigQuery y las recomendaciones para diseñar, optimizar y administrar tu almacén de datos. A través de una combinación de conferencias, demostraciones y laboratorios, conocerás la arquitectura de BigQuery y cómo diseñar un almacenamiento y esquemas óptimos para la ingestión y modificaciones en losdatos. A continuación, aprenderás las técnicas para mejorar el rendimiento de lectura, optimizar las consultas, administrar las cargas de trabajo y utilizar herramientas de registro y monitorización. También aprenderás sobre los diferentes modelos de precios. Finalmente, explorarás varios métodos para asegurar los datos, automatizar cargas de trabajo y construir modelos de aprendizaje automático con BigQuery ML.
A quién va dirigido
Esta clase está destinada a los siguientes roles laborales:
- Analistas de datos, científicos de datos, ingenieros de datos y desarrolladores que realizan trabajos a gran escala que requieren conocimientos avanzados de BigQuery para optimizar el rendimiento.
Para aprovechar al máximo este curso,los participantes deben tener conocimientos previos sobre fundamentos de Big Data y Machine Learning.
Objetivos del curso
Este curso enseña a los participantes las siguientes habilidades:
- Describir los fundamentos de la arquitectura de BigQuery.
- Implementar patrones de almacenamiento y diseño de esquemas para mejorar el rendimiento.
- Utilizar DML y programar transferencias de datos para la ingestión.
- Aplicar las mejores prácticas para mejorar la eficiencia de lectura y optimizar el rendimiento de las consultas.
- Administrar la capacidad y automatizar las cargas de trabajo.
- Comprender los patrones versus anti-patrones para optimizar consultas y mejorar el rendimiento de lectura.
- Utilizar herramientas de registro y monitorización para comprender y optimizar los patrones de uso.
- Aplicar las mejores prácticas de seguridad para gobernar los datos y los recursos.
- Construir e implementar varias categorías de modelos de aprendizaje automático con BigQuery ML.
Contenidos
Módulo 1: Fundamentos de la Arquitectura de BigQuery
- Introducción
- Infraestructura Central de BigQuery
- Almacenamiento de BigQuery
- Procesamiento de Consultas de BigQuery
- Redistribución de Datos de BigQuery
Módulo 2: Optimización de Almacenamiento y Esquemas
- Almacenamiento de BigQuery
- Particionamiento y Agrupación
- Campos Anidados y Repetidos
- Sintaxis ARRAY y STRUCT
- Recomendaciones
Módulo 3: Ingesta de Datos
- Opciones de Ingestión de Datos
- Ingestión por Lotes (Batch)
- Ingestión en Tiempo Real (Streaming)
- API de Ingestión en Tiempo Real anterior (Streaming Legacy)
- API de Escritura de Almacenamiento de BigQuery
- Materialización de Consultas
- Fuentes de Datos Externos de Consulta
- Servicio de Transferencia de Datos
Módulo 4: Cambio de Datos
- Gestión del Cambio en Almacenes de Datos
- Manejo de Dimensiones de Cambio Lento (SCD)
- Sentencias DML
- Recomendaciones y Problemas Comunes de DML
Módulo 5: Mejora del Rendimiento de Lectura
- Caché de BigQuery
- Vistas Materializadas
- Motor BI
- Lecturas de Alto Rendimiento
- API de Lectura de Almacenamiento de BigQuery
Módulo 6: Optimización y Solución de Problemas de Consultas
- Ejecución de Consultas Simples
- SELECTs y Agregaciones
- JOINs y JOINs Desiguales
- Filtrado y Ordenamiento
- Recomendaciones para Funciones
Módulo 7: Administración de Cargas de Trabajo y Precios
- Slots de BigQuery
- Modelos y Estimaciones de Precios
- Reservas de Slots
- Control de Costes
Módulo 8: Registro y Monitorización
- Monitorización dela Nube
- Panel de Administración de BigQuery
- Registros de Auditoría en la Nube
- INFORMATION_SCHEMA
- Ruta de Consulta y Errores Comunes
Módulo 9: Seguridad en BigQuery
- Recursos Seguros con IAM
- Vistas Autorizadas
- Seguridad de Datos con Clasificación
- Cifrado
- Descubrimiento y Gobiernodel Dato
Módulo 10: Automatización de Cargas de Trabajo
- Programación de Consultas
- Scripting
- Procedimientos Almacenados
- Integración con Productos de Big Data
Módulo 11: Aprendizaje Automático en BigQuery
- Introducción a BigQuery ML
- Cómo Hacer Predicciones con BigQuery ML
- Cómo Construir e Implementar un Sistema de Recomendación con BigQuery ML
- Cómo Construir e Implementar una Solución de Pronóstico de Demanda con BigQuery ML
- Modelos de Series Temporales con BigQuery ML
- Explicabilidad de BigQuery ML.
