资源截图
MP4 |视频:h264,2560×1440 |音频:AAC、44.1 KHz、2 Ch
级别:所有级别 |类型: 电子学习 |语言: 英语 |时长:164 场讲座 ( 5h 51m )
你将学到什么
- 使用 Ollama 在本地运行开放权重 Hermes 模型,并通过本机和 OpenAI 兼容端点从 Python 调用它
- 直接读写 ChatML,并使用系统提示来引导模型的行为并交换角色
- 构建一个函数调用代理,用于解析工具调用、运行真实的 API 并将结果反馈给模型
- 通过 Pydantic 架构、验证以及修复和重试通道获得可靠的结构化输出
- 手动实现 ReAct 循环并构建一个多工具代理来规划和完成多步骤任务
- 构建完全本地化的 RAG 管道,回答您自己文档中的问题并引用其来源
- 设计多代理系统,包括作者和评论家循环以及协调研究人员和作者的规划器
- 添加防护栏,以编辑敏感数据、以法学硕士为法官评估代理,并安全处理损坏的输出
注意:本课程使用人工智能。
本课程介绍如何在 NousResearch 的 Hermes 之上构建 AI 代理,Hermes 是您自己运行的开放权重模型,而不是调用托管 API。一切都通过 Hermes 3 8B 上的 Ollama 在本地运行,因此该课程没有 API 成本并且可以离线工作。该代码是带有标准请求和 ollama 调用的纯 Python,而不是包装器框架,这意味着您可以直接使用模型的聊天端点并查看模型实际接收的原始 ChatML。
从运行时开始:安装 Ollama、拉取 Hermes,并调用本机 /api/chat 端点和 OpenAI 兼容的 /v1 路由。您将直接查看 ChatML,包括 <|im_start|>和 <|im_end|>代币、角色轮换以及系统提示如何引导生成。本课程使用 apply_chat_template 而不是手写标记,并解释了两者的不同之处。
函数调用是本课程的核心。您将使用 Hermes 的本机工具格式、 、 和 块以及官方函数调用系统提示符。您构建一个代理,用于解析模型输出,执行真实的 API,并将结果反馈给模型以供模型回答。然后,您将通过 Ollama 的 tools = […] 参数了解更简单的路径,以及 JSON 解析容易中断的地方。
对于结构化输出,您可以使用 Pydantic 定义架构,将 JSON 架构传递到系统提示符中,解析回复,然后反馈验证错误以进行修复。对于代理,您可以直接实现 ReAct 循环、推理、行动、观察和限制迭代,并使用计算器、文件阅读器和获取工具构建多工具版本。 RAG 模块构建了一个本地检索管道,其中包含嵌入模型、对您自己的文档块的余弦相似性搜索以及引用其所使用的段落的接地答案。
多代理部分构建了一个作者和评论家循环以及一个规划器,该规划器将问题分成子问题,将每个子问题发送给研究人员,研究人员从源中检索并回答,并将结果传递给作者。您将添加结合了正则表达式和模型传递的护栏来编辑电子邮件、电话号码和姓名、具有评分模式的 LLM-as-judge 评估器,以及当回复无法解析时回退到受限输出的 safe_json 重试。
最后一部分是微调。您将介绍 LoRA 和 QLoRA,解释为什么 4 位适配器适合 Mac 内存,生成小型 ChatML 训练集,训练适配器,并检查可训练参数计数和跨时期的损失曲线。然后,您导出结果并将其加载回 Ollama 以运行您训练的模型。本课程最后介绍了自托管的 Hermes Agent、其内存和 Markdown 技能文件、cron 调度程序和 Telegram 连接。
本课程适合那些想要了解代理如何在实际提示和实际工具调用解析级别工作的人,而不是通过框架的抽象。最后,您将完全了解现代人工智能代理的实际工作原理。


评分及评论
暂无评分
来评个分数吧