前言

Github：https://github.com/HealerJean

博客：http://blog.healerjean.com

一、初探大模型：起源与发展

1、大模型是什么？它从哪来？

大语言模型（LLM） 的核心： 海量数据 + 巨大参数 + 强大算力 = 会聊天、会写诗、会编程的“数字大脑”

• 以前我们训练 AI 写文章，就像教小孩背课文——要一句一句地喂。
• 而现在的大模型，是让 AI “读了全网所有书”，然后自己学会思考和表达。

关键词：

• 数据量：几十亿甚至万亿字（比如全网网页、书籍、代码）
• 参数量：几百亿到上千亿个“记忆点”（比如 GPT-3 有 1750 亿参数）
• 训练方式：先“自学成才”（预训练），再“针对性辅导”（微调）

2、解码注意力机制

注意力机制 = 让 AI 学会“盯重点”，不再死记硬背，就像你考试时，重点题画圈圈，非重点题轻轻带过 → AI 也在做同样的事！。

为什么 AI 能“理解”一句话？举个例子：“我爱我的猫，因为它很可爱。”

AI 要知道：“它”指的是“猫”，而不是“我”。这靠的是一个叫 注意力机制（Attention） 的“聪明小助手”。

大白话解释 Attention：想象你在读一段话，眼睛会自动聚焦在关键信息上：

• 看到“猫”，你会想起前面的“我爱……”

• 看到“它”，你会回头找“谁”是“它”

` Transformer` 就是这样工作的：

• 它给每个词打分：“这个字重要吗？”
• 重要的词得分高，影响更大；无关的词被忽略
• 这种“动态关注”的能力，就叫 Attention

3、变革里程碑：Transformer 的崛起

2017 年，Google 发布了一篇论文：《Attention Is All You Need》这篇论文说了一句震惊世界的话：“别用 RNN 和 LSTM 了，只需要 Attention 就够了！”

Transformer 出现后：

• 全部单词可以同时处理（并行计算）
• 能一眼看到句子两端的关系（比如“他把书给了她”中的“他”和“她”）
• 训练快得多，效果好得多

4、走向不同：GPT 与 BERT 的选择

同样是 Transformer，为啥有两个派系？它们都是基于 Transformer，但“学习方式”完全不同：

• GPT 更擅长“造句”（写故事、写邮件、写代码）
• BERT 更擅长“答题”（判断对错、回答问题、情感分析）

为什么现在大家很少提 BERT 了？

• BERT 是“理解型”模型，适合做后台任务（比如搜索排序、情感分析）
• GPT 风格模型是“生成型”，能直接和人对话，用户体验更强
• 2022 年 ·ChatGPT· 爆火后，行业重心全面转向“生成式 AI”

5、GPT 模型家族：从始至今

1）为什么 ChatGPT 一上线就火遍全球？

虽然它用的是 GPT-3.5，但它不是简单地“复制粘贴”答案，而是做了三件大事：

a、 对话式交互（Chat Interface）

不再是输入问题→输出答案，而是像和真人聊天一样：这种体验前所未有！

• 用户：“帮我写一封辞职信。”
• AI：“好的，请告诉我你的职位、公司名称和原因。”
• 用户补充后，AI 输出完整信件。

b、人类反馈强化学习（RLHF）

让真人去评价 AI 回答的好坏，然后教 AI “怎么说话更像人”。

• 好的回答得高分，差的被纠正
• 经过多次训练，AI 学会了“礼貌、准确、有逻辑”

场景设定：你想让 AI 帮你写一封 辞职信。

没有 RLHF 的 AI（原始 GPT）可能这样回答：

• “老板，我不干了。这破公司天天加班，工资还低，老子受够了！明天我就走人。”

• 虽然“表达了辞职”，但语气粗鲁、不专业、容易惹麻烦。

经过 RLHF 训练后的 AI（比如 ChatGPT）会这样回答：

• 尊敬的[领导姓名]： 感谢您在过去一年中给予我的信任与支持。经过慎重考虑，我决定辞去目前在公司担任的[职位]一职，最后工作日预计为[日期]。 这个决定并不轻松，但我希望在未来追求新的职业发展方向。我会全力配合交接工作，确保平稳过渡。 再次感谢您的理解与栽培！

RLHF 是怎么做到的？

1. 第一步：收集人类反馈
   • 真人看到两个回答：“粗鲁版” vs “礼貌版”
   • 他们给“礼貌版”打高分，给“粗鲁版”打低分
2. 第二步：训练一个“打分模型”（Reward Model）
   • 这个模型学会判断：“什么样的回答更像人、更得体”
3. 第三步：用强化学习优化 AI
   • AI 不断生成回答 → 打分模型给分 → 高分行为被保留，低分被惩罚
   • 最终，AI 自动“学会做人”

c、提示工程（Prompt Engineering）

教用户如何“提问”才能得到更好结果： 这种“引导式使用”让用户更容易上手

• 不要说：“写个故事”
• 要说：“写一个关于太空旅行的科幻短篇，主角是机器人，结尾要有反转”

2）GPT-4：一个新的开始

• 在 SAT 考试中成绩超过 90% 的考生
• 在编程竞赛中击败大多数人类选手
• 能写剧本、写小说、写代码、做数据分析……

3）大模型的未来在哪？

• AI 成为每个人的“数字大脑”
• 从“工具”变为“伙伴”
• 普通人也能用 AI 创造价值

二、大模型核心架构与前沿趋势

1、Transformer 架构的诞生与应用

Transformer 是一种深度学习模型架构，它让 AI 不再靠顺序一步步读句子，而是像人一样“一眼看全篇”。于 2017 年由 Google 团队在论文《Attention Is All You Need》中首次提出。它彻底改变了自然语言处理（NLP）领域，并成为当今大语言模型（如 GPT、BERT、Qwen、LLaMA 等）的核心基础架构。

核心特点：

• 完全基于注意力机制（Attention），不再依赖 RNN 或 CNN。

• 能有效捕捉长距离依赖关系（比如一句话开头和结尾的词之间的联系）。

• 支持高度并行计算，训练速度远超传统序列模型。

1）注意力模型（Attention Model）：捕捉长距离依赖

注意力解决了 “长距离依赖”问题 —— 即使两个词相隔很远，也能建立联系。

• 传统 RNN/LSTM：必须按顺序读完前面所有词才能知道“它”指谁 → 慢，且容易“忘事”
• 注意力机制：直接计算每个词和其他词的相关性 → 一步到位！

类比：

• RNN = 一个慢吞吞的老师，逐字讲解课文
• Attention = 一个聪明的学生，一眼看出“猫”和“它”的关系

举个例子：输入：我 喜欢 吃 苹果。

• “吃” 和 “苹果” 很相关 → 给高权重
• “我” 和 “喜欢” 也很相关 → 给高权重
• “我” 和 “苹果” 关系弱 → 权重低

→ 模型就知道：“吃”后面应该是“食物”，不是“书”。

2）自注意力机制（Self-Attention）：语义理解的钥匙

自注意力 = 让模型真正“理解语义”，而不仅仅是记忆模式。

什么是自注意力？所有词都参与“互相打分”，决定彼此的重要性。

工作流程（简化版）：

• 对每个词，计算它与其他所有词的“相关度”（Attention Score）

• 用这些分数加权求和，得到该词的“新表示”

举个例子：句子：“我喜欢你。——> ” 三个词：我、喜欢、你

类比总结：自注意力像什么？

3）多头注意力（Multi-Head Attention）：并行计算不同子空间的特征

多头注意力 = 并行思考，提升表达能力

为什么需要“多头”？因为一个词可能在多个角度上有意义。比如“银行”：

• 金融意义上的“银行”
• 河边的“河岸”（bank）

多头注意力做了什么？

• 把输入分成多个“子空间”（head），每个 head 学不同的关系
• 比如：
  • Head 1：学习语法结构
  • Head 2：学习实体关系
  • Head 3：学习情感倾向

类比： 一个团队有 8 个成员，每人负责一个方向分析问题 → 整体判断更全面。

举个例子：句子：“他去了北京。”

• 一个 head 可能关注“他”和“北京”之间的地理关系
• 另一个 head 关注“去”这个动作的时间顺序
• 第三个 head 关注“北京”是否是城市名

→ 多头一起工作，模型理解更丰富。

4）位置编码（Positional Encoding）：引入序列位置信息

Transformer 本身是“无序”的，位置编码就是给每个词贴上“我在第几位”的标签，让模型知道顺序！

解决方案：位置编码

• 给每个词加上一个“位置标签”（如第1位、第2位……）
• 这些标签是数学生成的（正弦/余弦函数），能让模型感知顺序

具体怎么做？假设奶茶店有个智能系统，只认“数字配方卡”。

• 第一步：把词翻译成“味道代码”（词向量）

  • “我” → [0.2, -0.1, 0.5] （代表“人称”）

  • “不” → [-0.8, 0.9, -0.3] （代表“否定”）

  • “吃” → [0.6, 0.4, -0.2] （代表“动作”）

  • “香菜” → [0.1, -0.7, 0.8] （代表“食材”）

• 第二步：给每个位置生成“顺序密码”（位置编码）

  • 第1位（“我”） → [0.0, 1.0, 0.0]

  • 第2位（“不”） → [0.5, 0.9, 0.1]

  • 第3位（“吃”） → [0.8, 0.6, 0.3]

  • 第4位（“香菜”）→ [1.0, 0.1, 0.5]

• 第三步：把“味道”和“时间”混在一起（相加）最终输入给 AI 的是：

  • 第1个词：[0.2, -0.1, 0.5] + [0.0, 1.0, 0.0] = [0.2, 0.9, 0.5]

  • 第2个词：[-0.8, 0.9, -0.3] + [0.5, 0.9, 0.1] = [-0.3, 1.8, -0.2]

  • ……现在，AI 看到第2个输入是 [-0.3, 1.8, -0.2]，它能反推：

2、大模型技术突破与前沿趋势

大模型 = 参数超多、训练数据超大、能力超强的 AI 模型，它是当前 AI 的“天花板”。

Transformer 是起点，大模型是终点，而我们正在路上。

• Transformer 改变了 NLP 的游戏规则
• 大模型让我们看到了“通用人工智能”的曙光
• 技术仍在飞速发展：MoE、稀疏注意力、多模态、Agent……

1）大模趋势

a、阶段趋势

传统方法（规则系统 + 词典）
       ↓
RNN / LSTM（能记顺序，但慢、难训、易忘）
       ↓
CNN（并行快，擅抓局部模式，但忽略全局结构）
       ↓
Transformer（自注意力实现全局理解，支持并行训练）
       ↓
大语言模型（GPT、Qwen、Llama…）——具备涌现能力与通用智能
       ↓
轻量化技术（量化、蒸馏、MoE）→ 落地手机、汽车、边缘设备

b、专业名词

• 在 2017 年 ·Transformer出现后，LSTM在大模型中基本被取代
• 但在资源有限的小设备（如嵌入式系统）或简单任务中，LSTM 因结构简单仍有价值

2）大模型的定义与特点

参数量 ≥ 数亿，通常在数十亿到万亿级别

a、为什么会出现“涌现”？原因到底是什么？

这是目前 AI 领域最大的谜团之一。但科学家们有几种主流猜测：

1）规模跨越“临界点”

类比：一群蚂蚁各自乱爬，但当数量够多时，它们能自动形成“蚁路”——集体智慧自发涌现。

• 小模型像小学生，只能记公式
• 当模型大到一定程度（比如 100 亿参数以上），内部结构变得极其复杂
• 正如水加热到 100°C 会变成蒸汽，模型达到某个“相变点”后，智能突然“冒出来”

2）记忆与推理的融合

就像你读了很多书，虽然没学过写作课，但突然能写小说了。

• 大模型记住了海量文本中的“模式”
• 比如它见过成千上万次“先列步骤，再得出结论”的推理过程
• 所以当你让它“一步一步想”，它会自动调用这些记忆片段，拼成逻辑链条

3）注意力机制的“自我组织”

类比： 一个工厂里，每个工人只做一件事，但当人数够多时，整个系统能自动完成“生产汽车”的复杂流程。

• Transformer 的注意力头可以“组合”起来
• 某些头负责“提取数字”，某些头负责“执行运算”，某些头负责“验证结果”
• 当模型足够大时，这些头能自动协作，形成类似“工作流”的结构

b、传统模型 vs 大模型

传统模型是“专家”，大模型是“通才”。

3、稀疏注意力（Sparse Attention）：降低计算复杂度

稀疏注意力 = 让大模型也能处理长文本

问题出现：全局自注意力的计算复杂度是 O(n2)，当序列很长时（如 10000 字），计算爆炸！

解决方案：稀疏注意力

• 不让每个词都看所有词，只看“重要”的几个
• 常见方法：
  • 局部注意力：只看前后 10 个词
  • 全局+局部混合：对关键词看全局，其他看局部

类比： 读书时不用一字一句全记，重点段落细读，其余略过 → 提高效率。

举个例子：文章有 10000 字，但只有 100 个关键词。 模型只关注这 100 个词之间的关系，忽略其他 → 计算量减少 100 倍！

4、混合专家模型（MoE, Mixture of Experts）：动态路由机制

MoE = 用更少的计算，实现更大的模型容量

什么是 MoE？模型内部有多个“专家”（子网络），每次只激活其中一部分。

工作流程：

1. 输入进来 → 由“门控网络”决定哪些专家该干活
2. 只调用 1~2 个专家 → 其他保持休眠
3. 输出结果

类比： 一个公司有 100 个部门，接到一个任务，系统自动分配给“财务部”和“法务部” → 不浪费资源。

举个例子：

• 用户问：“如何申请贷款？” → 激活“金融专家”
• 用户问：“写一首诗” → 激活“文学专家”
• 用户问：“解释量子力学” → 激活“科学专家”

5、模型压缩与加速：量化、知识蒸馏

为什么需要压缩？大模型太大，无法部署在手机、平板等设备上。

主要技术：

• 量化：把模型里的“高精度数字”换成“低精度数字”，就像把高清图转成压缩 JPG。

• 知识蒸馏：用一个大模型（老师）教会一个小模型（学生），让学生学会老师的“思维方式”，而不仅是答案。

举个例子：

• 大模型：GPT-3（175B 参数）→ 服务器跑

• 小模型：DistilGPT-3（60B 参数）→ 手机端运行

• 通过知识蒸馏，小模型学会了大模型的“经验”

类比： 老师（大模型）讲课 → 学生（小模型）记笔记 → 考试时也能拿高分