Advanced Spark Application Performance Tuning

Acerca de este curso

La presente formación ofrece los conceptos clave y la experiencia que los desarrolladores necesitan para mejorar el rendimiento de sus aplicaciones de Apache Spark. Durante el curso, los participantes aprenderán a identificar fuentes comunes de bajo rendimiento en aplicaciones Spark, técnicas para evitarlas o solucionarlas y las mejores prácticas para el monitoreo de aplicaciones Spark.

El curso Apache Spark Application Performance Tuning presenta la arquitectura y los conceptos detrás de Apache Spark y la plataforma de datos subyacente, luego se basa en esta comprensión fundamental al enseñar a los estudiantes cómo ajustar el código de la aplicación Spark. El formato del curso enfatiza las demostraciones dirigidas por el instructor que ilustran tanto los problemas de rendimiento como las técnicas que los abordan, seguidos de ejercicios prácticos que brindan a los estudiantes la oportunidad de practicar lo que han aprendido a través de un entorno interactivo. El curso aplica a Spark 2.4, pero también presenta el marco de ejecución de consultas adaptable Spark 3.0.

PUE, Strategic Partner de Cloudera, está autorizado oficialmente por esta multinacional para impartir formación oficial en tecnologías Cloudera.

PUE está también acreditado y reconocido para realizar servicios de consultoría y mentoring en la implementación de soluciones Cloudera en el ámbito empresarial con el consiguiente valor añadido en el enfoque práctico y de negocio del conocimiento que se traslada en sus cursos oficiales.

A quién va dirigido

Objetivos del curso

Los estudiantes que completen con éxito este curso adquirirán las siguientes habilidades:

• Comprender la arquitectura de Apache Spark, la ejecución de trabajos y cómo las técnicas como la ejecución diferida y la canalización pueden mejorar el rendimiento en tiempo de ejecución.
• Evaluar las características de rendimiento de las estructuras de datos centrales como RDD y DataFrames.
• Seleccionar los formatos de archivo que proporcionarán el mejor rendimiento para su aplicación.
• Identificar y resolver problemas de rendimiento causados por la desviación de datos.
• Utilizar optimizaciones de partición, agrupamiento y unión para mejorar el rendimiento de SparkSQL.
• Comprender la sobrecarga de rendimiento de RDD basados en Python, DataFrames y funciones definidas por el usuario.
• Aprovechar el almacenamiento en caché para un mejor rendimiento de la aplicación.
• Comprender cómo funcionan los optimizadores Catalyst y Tungsten.
• Comprender cómo Workload XM puede ayudar a solucionar problemas y monitorear proactivamente el desempeño de las aplicaciones Spark.
• Conocer las nuevas funciones de Spark 3.0 y, específicamente, cómo el motor Adaptive Query Execution mejora el rendimiento.

Contenidos

Módulo 1: Spark Architecture

• RDDs
• DataFrames and Datasets
• Lazy Evaluation
• Pipelining

Módulo 2: Data Sources and Formats

• Available Formats Overview
• Impact on Performance
• The Small Files Problem

Módulo 3: Inferring Schemas

• The Cost of Inference
• Mitigating Tactics

Módulo 4: Dealing With Skewed Data

• Recognizing Skew
• Mitigating Tactics

Módulo 5: Catalyst and Tungsten Overview

• Catalyst Overview
• Tungsten Overview

Módulo 6: Mitigating Spark Shuffles

• Denormalization
• Broadcast Joins
• Map-Side Operations
• Sort Merge Joins

Módulo 7: Partitioned and Bucketed Tables

• Partitioned Tables
• Bucketed Tables
• Impact on Performance

Módulo 8: Improving Join Performance

• Skewed Joins
• Bucketed Joins
• Incremental Joins

Módulo 9: Pyspark Overhead and UDFs

• Pyspark Overhead
• Scalar UDFs
• Vector UDFs using Apache Arrow
• Scala UDFs

Módulo 10: Caching Data for Reuse

• Caching Options
• Impact on Performance
• Caching Pitfalls

Módulo 11: Workload XM (WXM) Introduction

• WXM Overview
• WXM for Spark Developers

Módulo 12: What's New in Spark 3.0?

• Adaptive Number of Shuffle Partitions
• Skew Joins
• Convert Sort Merge Joins to Broadcast Joins
• Dynamic Partition Pruning
• Dynamic Coalesce Shuffle Partitions