使用 Python 3 和 CUDA 进行 GPU 加速计算

使用 CUDA、Numba 和现代库在 GPU 上加速 Python 代码，更快、更高效地解决实际问题。

主要功能

• 从内核设计到执行和调试，使用 Python 为 CUDA 奠定坚实的基础
• 通过高效内存访问、CUDA 流和多 GPU 扩展来优化 GPU 性能
• 使用 JAX、CuPy、RAPIDS 和 Numba 加速数值计算和机器学习
• 创建实用的 GPU 应用程序，从 PDE 求解器到图像处理和转换器

书籍说明

编写高性能 Python 代码并不一定意味着切换到 C++。本书向您展示如何使用 NVIDIA 的 CUDA 平台以及现代 Python 工具和库生态系统来加速 Python 应用程序。它面向研究人员、工程师和数据科学家，提供对 GPU 编程以及如何充分利用现代 GPU 硬件的实用而深入的理解。

您将从使用 Numba-CUDA 的 Python 中的 CUDA 编程基础知识开始，了解 GPU 的工作原理以及如何编写、执行和调试自定义 GPU 内核。在此基础上，本书探讨了内存访问优化、CUDA 流的异步执行以及使用 Dask-CUDA 的多 GPU 扩展。自始至终都强调使用 NVIDIA Nsight 分析器进行性能分析和调整。

您还将学习使用 JAX、CuPy 和 RAPIDS 等高级 GPU 库，以最少的代码更改来加速数值 Python 工作流程。这些技术应用于现实世界的示例，包括偏微分方程求解器、图像处理、物理模拟和变压器模型。

本实践指南由经验丰富的 GPU 从业者撰写，强调使用 Python 3.10+、CUDA 12.3+ 以及 Pixi 包管理器等工具的可重复工作流程。最后，您将掌握使用 Python 构建可扩展 GPU 应用程序的面向未来的技能。

你将学到什么

• 了解 GPU 执行、并行性和 CUDA 编程模型
• 使用 CUDA 在 Python 中编写、启动和调试自定义 CUDA 内核
• 使用 NVIDIA Nsight 分析 GPU 代码并优化内存访问
• 使用 CUDA 流和异步执行来重叠计算和传输
• 将 JAX、CuPy 和 RAPIDS 应用于数值计算和机器学习
• 使用 Dask 和多 GPU 策略跨设备扩展 GPU 工作负载
• 加速 GPU 上的 PDE 求解器、模拟和图像处理
• 在 GPU 上从头开始构建、训练和运行 Transformer 模型

这本书适合谁

希望在不切换到低级语言的情况下加速数值计算的 Python 开发人员、（数据）科学家、工程师和研究人员。本书非常适合那些具有科学 Python（NumPy、Pandas、SciPy）经验并且对计算基础知识有基本了解、想要更深入地控制 GPU 环境中的性能的人。

目录

1. 为何在 Python 3 中使用 CUDA 进行 GPU 编程？
2. 在本地和云端设置 GPU 编程环境
3. 使用 Numba-CUDA 编写和执行 CUDA 内核
4. 分析和调试 CUDA 代码
5. 优化 CUDA 代码的性能
6. 使用 CUDA 流启用并发
7. 扩展到多个 GPU
8. 通过 CuPy 将 NumPy 和 SciPy 引入 GPU
9. 通过 Rapids 将 pandas 和 scikit-learn 引入 GPU
10. 使用 JAX 解决 GPU 上的优化问题
11. 在 GPU 上求解热方程
12. GPU 上的图像处理和计算机视觉
13. 在 GPU 上模拟原子交互
14. 实现您自己的基于 Transformer 的语言模型
15. 扩展和深化您的 GPU 编程知识