从零到精通 – 高级人工智能：用数学解释逻辑学习模型（Transformer、注意力机制等等）

MP4 | 视频：h264，1920×1080 | 音频：AAC，44.1 KHz，2 声道
类型：在线学习 | 语言：英语 |时长：32 节课（4 小时 55 分钟）

您将学到什么

分词如何将文本转换为模型可读数据
Transformer 模型中注意力机制的内部运作
位置编码如何在 AI 模型中保留序列数据
矩阵在语言编码和处理中的作用
使用多维嵌入构建密集词表示
双向语言模型和掩码语言模型的区别
点积和向量数学在 AI 中的实际应用
Transformer 模型如何处理、理解和生成类人文本

什么是变形金刚？
几千年前，汽车人和霸天虎为了争夺赛博坦而战……

哦，等等，抱歉。错误的Transformer模型。

Transformer架构是现代人工智能，特别是自然语言处理（NLP）领域的基础模型。它由Vaswani等人于2017年在开创性论文《Attention Is All You Need》中提出，是催生了如今我们所熟知的大型语言模型（如ChatGPT和Claude）的最重要的技术突破之一。

Transformer的独特之处在于，它不像旧系统（称为循环模型）那样逐字阅读，而是一次性处理整个句子。它使用一种称为注意力机制的技术来确定每个任务中需要关注的重要词语。例如，如果您正在翻译“她打开盒子是因为今天是她的生日”，那么“it”这个词可能需要特别注意，才能理解它指的是“盒子”。

为什么要学习Transformer架构？
1. 它们是现代人工智能应用的基石。Transformer是当今许多人工智能系统的支柱。像 GPT、BERT（谷歌等搜索引擎使用）和 DALL·E（图像生成）这样的模型都基于 Transformer。如果您对这些技术感兴趣，了解 Transformer 将帮助您深入了解它们的工作原理。

2. 它们代表了人工智能的前沿技术。Transformer 彻底改变了人工智能，使其从 RNN（循环神经网络）等旧方法转向了一种全新的信息处理方式。学习它们有助于您理解这种转变发生的原因以及它如何解锁了人工智能能力的新高度。

3. 它们在研究和工业领域得到广泛应用。无论您是想在学术界工作、构建人工智能产品，还是探索机制可解释性（您已表示对此感兴趣），Transformer 通常都是核心技术。理解它们可以为您开启令人兴奋的项目和职业生涯之门。

6. 它们既有趣又富有挑战性。自注意力机制的概念以及 Transformer 如何处理上下文信息既优雅又强大。

了解它们就像解开一个引人入胜的谜题。了解它们的“思维方式”并理解它们为何如此高效，会让你很有成就感。

为什么选择这门Transformer课程？
因为它以清晰有趣的方式教授你高深莫测的知识——这可不是一件容易的事！

当然，我们可能有点偏心。所以，这里列出了这门高级AI课程的内容概要，以便你自己做出决定。

分词简介
学习Transformer如何使用WordPiece算法等技术将原始文本转换为可处理的格式。探索分词在语言理解中的重要性。

Transformer 架构基础
理解键矩阵、查询矩阵和值矩阵在信息编码和促进数据在模型中流动方面的作用。

注意力机制的原理
深入了解多头注意力、注意力掩码以及它们如何使模型专注于相关数据以更好地理解上下文。

位置编码
探索模型如何使用余弦和正弦函数嵌入位置数据，从而保持输入中词的顺序。

双向和掩码语言模型
研究双向 Transformer 模型和掩码模型在语言任务中的区别和应用。

向量数学和嵌入
掌握向量、点积和多维嵌入。

创建对人工智能任务至关重要的密集词表示。

注意力机制和编码的应用
学习注意力机制和位置编码如何协同处理和生成连贯的文本。

人工智能创新核心知识
巩固您对Transformer算法的理解，以便使用最先进的人工智能工具进行开发和创新。