从头开始构建真正的 PySpark 管道

MP4 |视频：h264，1280×720 |音频：AAC，44.1 KHz
语言：英语 |时长：1小时29米

你将学到什么

• 从头开始构建完整的 PySpark 数据管道。
• 解释并证明核心 PySpark 架构决策的合理性。
• 阅读并解释 Spark UI。
• 了解为什么 Parquet 在分析工作负载方面优于 CSV。

本课程包含人工智能的使用。人工智能工具用于帮助生成输入数据和一些视觉材料，而所有技术内容、代码和教学完全是我自己的。

你被 pandas 困住了吗？

您了解 Python，也使用过 pandas — 但当项目涉及数百万行或工作描述提到 PySpark 时，事情感觉就像是一个不同的世界。不同的心智模型、不同的语法和大多数教程都没有帮助。本课程弥补了这一差距。

您将构建什么

从原始 CSV 文件开始，您将构建一个完整的 PySpark 管道：清理和丰富数据，跨年龄组、性别和应用类别聚合数据，使用窗口函数计算行为进化指数，并编写可用于生产的 Parquet 输出。真实的数据集、真实的问题、真实的流程——这些你可以在明天的技术面试中展示。

有何不同

本课程不仅教您语法，还教您原因。每个技术选择都得到了解释，以便您可以在工作和面试中证明它的合理性。它基于在法国一所工程学校与学生一起测试的实践研讨会。

里面有什么

5个模块涵盖Spark基础知识、模式设计、数据清理和数据挖掘。连接、窗口函数和移动平均线和 Parquet 优化 – 包括测验、入门代码和完整的解决方案。

这是给谁的：

Python 开发人员、数据工程师、数据科学家和数据分析师准备好超越 pandas 进入真正的分布式数据处理。