使用 Polars 摄取和写入柱状数据

MP4 |视频：h264，1280×720 |音频：AAC、44.1 KHz、2 Ch
级别：中级 |类型： 电子学习 |语言： 英文+字幕 |时长：1小时4米43秒

你将学到什么

可靠的数据摄取是构建现代数据管道最关键和最具挑战性的方面之一。原始文件通常以不同的格式到达，架构可能会发生变化，设计不当的写入模式可能会破坏下游分析工作流程。
在本课程中，使用 Polars 摄取和写入列式数据，您将能够使用 Polars 设计可靠且可扩展的数据摄取工作流程。
首先，您将探索如何摄取常见的批处理文件格式（例如 CSV、JSON 和 Parquet），同时定义显式架构和验证检查以防止数据质量问题。
接下来，您将发现如何为分区数据集构建可扩展的摄取策略，实现增量文件发现，并将原始输入标准化为一致的列契约以进行可靠的处理。
最后，您将学习如何使用 Parquet 等格式编写管道友好的列式输出，实现安全的写入模式，并验证输出以确保下游系统接收一致的数据集。
完成本课程后，您将具备构建可靠、可扩展和可扩展的数据集所需的基于 Polars 的数据摄取和编写技术的技能和知识。分析就绪的数据管道。