掌握 PySpark 数据工程

MP4 |视频：h264，1920×1080 |音频：AAC、44.1 KHz、2 Ch
级别：专家 |类型： 电子学习 |语言： 英语 |时长：7堂课（1小时20分钟）

你将学到什么

• 掌握 PySpark 基础知识和高级概念
• 了解分布式数据处理和 Spark 架构
• 使用 PySpark 构建实时和批量 ETL 管道
• 使用 DataFrame 和 Spark SQL 执行数据转换
• 使用大数据技术高效处理大型数据集
• 实施数据提取、转换和加载 (ETL/ELT) 工作流程
• 设计和构建端到端数据工程管道
• 使用分区、缓存和性能调整来优化 Spark 作业

用于数据工程的 PySpark | AWS、Azure、GCP 和雪花

您准备好通过掌握 PySpark 和跨多云平台的实际数据管道，成为一名做好就业准备的数据工程师了吗？

本课程旨在引导您从 PySpark 的基础知识到高级概念，同时使用 AWS、Azure、GCP 和 Snowflake 构建端到端数据工程解决方案 – 这正是公司在实际项目中所期望的。

你将学到什么

• 从基础到高级掌握PySpark
• 构建实时和批量数据管道
• 使用大规模分布式数据处理
• 使用 PySpark 执行ETL（提取、转换、加载）

将 PySpark 集成

<李>
• • 亚马逊网络服务（AWS Glue、S3、EMR）
  • Microsoft Azure（数据工厂、Databricks）
  • Google 云平台（Dataproc、BigQuery）
  • Snowflake（云数据仓库）
• 优化 Spark 作业的性能和可扩展性
• 使用真实世界的数据集和场景

包括实时项目

本课程不仅仅是理论 – 您将构建行业级项目，例如：

• 使用 PySpark + AWS Glue 的端到端 ETL 管道
• 使用 Azure 数据工厂 + Databricks 的数据引入管道
• 批量&使用 GCP Dataproc 的流式传输管道
• 使用 Snowflake 的数据仓库解决方案

为什么这门课程与众不同

• 涵盖多云数据工程（AWS + Azure + GCP）
• 专注于实时行业用例
• 专为以工作为导向的学习
• 分步解释和动手实践
• 涵盖性能调整和优化

本课程适合谁

• 有抱负的数据工程师
• Python 开发人员转向大数据
• 想要学习PySpark的 ETL 开发人员
• 准备数据工程面试的专业人士
• 任何想要使用大数据和大数据的人云平台

先决条件

• Python基础知识
• 对SQL有基本了解（推荐但不强制）
• 无需具备 PySpark 经验

本课程结束时

您将能够：

使用 PySpark 构建可扩展的数据管道
处理基于云的实时数据工程项目
自信地处理大数据处理
破解数据工程面试

立即开始您的数据工程之旅！

如果您想在使用 PySpark 和云进行数据工程领域建立强大的职业生涯，本课程就是您的完整路线图。

导师

Akkem Sreenivasa
数据工程专家 | AWS 认证 | 16年以上经验