50 个 ML 项目来了解 LLM

大多数书籍都会教您如何从头开始构建 LLM 或通过 API 部署它们。本书确实使用引导式机器学习项目来教您如何理解、可视化和研究 LLM，包括 GPT 和 BERT。

主要功能

• 每个项目都围绕三个学习目标构建：机器学习技术、LLM 机制以及具有数据可视化功能的 Python 编码。
• 这不是一本厚重的理论教科书；它注重实践、实用且面向项目。
• 您将学习如何直接衡量、可视化和操作法学硕士的内部组件。

书籍说明

通过用 Python 解决的 50 个实践指导项目，您将通过将大型语言模型的隐藏状态、注意力模式和嵌入视为要分析的数据来研究大型语言模型的内部机制。您不会将法学硕士视为黑匣子，而是将其打开，检查里面的内容，并进行实验以了解它们为何会这样做。所有项目均基于 Python（使用 NumPy、PyTorch、statsmodels、scikit-learn、Matplotlib、Pandas 和 Seaborn 等库），并附带完整解决方案和部分解决方案笔记本文件，因此您可以练习和提高数据科学、深度学习、数据可视化以及科学和统计编码方面的技能。

你将学到什么

• 令牌化方案及其统计特性
• 嵌入空间：余弦相似度、语义轴和类比向量
• 输出 logits、softmax 分布、困惑度和语言偏差
• 逐层变压器动力学和维度
• 注意力机制：QKV 权重、注意力评分、头部消融和激活修补
• MLP 子块：神经元调整、互信息、子空间分析和基于统计的因果操作
• Logit 透镜、间接对象识别和因果追踪

这本书适合谁

这本书适合那些想要超越对法学硕士的表面理解的数据科学家、机器学习工程师和研究人员。需要有 Python 经验。熟悉机器学习或深度学习会有所帮助，但不是必需的——技术会在项目中出现时进行介绍。

目录

1. 简介
2. 标记化
3. 嵌入
4. 输出日志
5. 变压器输出
6. 注意
7. MLP