使用 Docker 运行 AI

通过使用适用于云平台的 Docker、MCP 和 Kubernetes 容器化、服务和扩展 LLM、代理和多模型管道，运行生产级 GenAI 工作负载

主要功能

• 使用 Docker Model Runner 和 OpenAI 兼容 API 部署和运行本地且边缘友好的 LLM 推理
• 利用平台团队使用的 Docker Compose 和 Kubernetes 模式来编排多模型和多代理工作负载

书籍说明

这本书将 Docker 和 Kubernetes 基础知识与实用的 AI/ML 部署工作流程相结合，不仅展示了容器的工作原理，还展示了为什么它们对于现代机器学习管道至关重要。其独特的卖点 (USP) 是，它专注于将 Docker 作为中央模型运行程序，展示从构建和容器化模型到编排大规模推理和训练工作负载的端到端示例，所有这些都带有真实的、可重现的演示。

你将学到什么

• 使用 Docker 映像、注册表和基于 Compose 的部署堆栈对 GenAI 服务进行容器化
• 将模型打包并分发为 OCI 工件，以便跨环境进行可重复构建和受控升级
• 选择 GGUF 量化级别以平衡云和混合运行时的成本、延迟和准确性
• 通过 Docker Model Runner 和适合内部平台的 OpenAI 兼容 API 为法学硕士提供服务
• 使用 MCP 和 Docker MCP Gateway 通过最低权限访问模式安全地集成工具和数据

这本书适合谁

需要在云、混合或边缘环境中使用 Docker 和 Kubernetes 部署、操作和扩展 GenAI 工作负载的云工程师、DevOps 工程师、SRE 和平台工程师。您应该熟悉命令行和基本服务操作；之前接触过 Docker 或 Kubernetes 会有帮助，但不是必需的。

目录

1. 人工智能容器化简介
2. 了解 Docker 中的 AI 模型
3. 使用 Docker Model Runner 进行模型服务
4. Docker 卸载
5. 在 Kubernetes 上运行机器学习容器模型
6. 基于协议的 AI 与 MCP 集成
7. 构建自主 AI 代理
8. 多模型和多代理架构
9. 高级代理编排