ZerotoMastery – Apache Airflow 基础知识

MP4 |视频：h264，1920×1080 |音频：AAC、44.1 KHz、2 Ch
级别：中级 |类型： 电子学习 |语言： 英语 |时长：27节课（2小时21分钟）

你将学到什么

• 如何使用 Apache Airflow 构建和安排工作流程
• DAG、任务、运算符和调度的核心概念
• 错误处理、重试并使工作流程具有容错能力
• 确保数据管道的幂等性和稳健性
• 使用传感器等待外部系统或事件
• 在 Airflow 中编排 Apache Spark 作业
• 将 Airflow 与外部数据源连接
• 通过自动化将数据提取到数据湖
• 从 A 点获取数据到 B 点只是工作的一部分。确保它可靠、自动、在正确的时间到达那里？这就是 Apache Airflow 的用武之地。

本课程教您如何将混乱的手动管道转变为干净、精心安排的工作流程。您将从简单的开始 – 通过了解 Airflow 的用途及其工作原理 – 然后逐步了解更高级的技术，例如重试、优雅地处理故障、使用传感器以及使用 Apache Spark。您还将了解如何自动将外部来源的数据提取到数据湖中。

无论您是刚刚进入数据工程还是希望提高编排能力，本课程都为您提供了实用的工具，使您的数据管道可靠且可扩展。