AI选择性失明指南：注意力掩码让模型只看你该看的
08-09 22:05
精选参考来源
精选参考来源
1. Transformer注意力掩码原理与实践指南
CSDN博客 2026-04-23 00:00:00
2. Transformer 掩码张量全解析：从核心作用到代码实现
CSDN博客 2026-03-30 00:00:00
3. 深度学习篇---Transformer掩码机制
Atticus-Orion的CSDN博客 2026-02-23 00:00:00
4. Transformer 从零构建 2: Transformer 中的两种 Mask - Padding Mask和 Causal Mask
知乎 2026-06-14 00:00:00
5. 彻底看懂大模型！Transformer输出机制拆解，小白也能听懂
今日头条 2026-05-25 00:00:00
6. 大模型里的“因果掩码”：为什么GPT不能“偷看”未来？
微信公众号 2026-06-01 00:00:00
7. 从零理解Transformer中的两种Mask：Attention-mask和Causal-mask的实战区别
CSDN博客 2026-03-01 00:00:00
8. NLP数据处理流程以及nn.Transformer基础知识
今日头条 2026-07-16 00:00:00
9. 从零实现Transformer：第 2 部分 - 缩放点积注意力（Scaled Dot-Product Attention）
CSDN博客 2026-04-27 00:00:00
10. 大模型面霸 | 第4题：Attention Mask 在训练和推理中分别起什么作用？
知乎 2026-03-02 00:00:00
11. 掩码自注意力机制。大模型面试宝典：面试题 Transformer的Decoder中，为什么需要Masked Self-Attention？ Masked Self-Attention的核心目的是防止模型在训练时"偷看"未来的token，保证Decoder的自回归特性（Auto-regressive）。 具体来说，在翻译或生成任务中，Decoder预测第t个词时，只能依赖于已经生成的0到t-1个词，而不能提前看到t+1及之后的真实标签。如果没有Mask，训练时模型会直接接触完整的目标序列，导致它学会直接复制答案，推理时却因为没有未来信息而崩溃。 实现上通常用上三角掩码矩阵（Upper Triangular Mask），将未来位置的注意力分数设为负无穷，经过Softmax后变为0，实现"物理隔离"。 值得注意的是，训练时我们需要主动Mask来模拟推理场景，而推理时由于是一步步生成，天然就看不到未来，所以不需要额外Mask。 #大模型 #面试 #春招 #大模型就业 #AI
抖音 2026-03-04 00:00:00
12. Transformer“自注意力机制公式完整整理表”
CSDN博客 2026-05-08 00:00:00
13. Transformer全流程形状作用详解
CSDN博客 2026-07-01 00:00:00
14. 手撕Transformer：一个完整的机器翻译实例详解
CSDN博客 2026-04-14 00:00:00
15. Transformer 从原理到代码实现，新手也能看懂的完整学习笔记
CSDN博客 2026-04-11 00:00:00
16. Transformer-核心组件-掩码自注意力 (Masked Self-Attention)
CSDN 2026-08-04 00:00:00
17. 「大话校招」-「手撕代码」之「Attention系列2」Causal Mask 与 Padding Mask
哔哩哔哩 2026-06-21 00:00:00
18. 两万字深度解析Transformer，一文彻底学懂
CSDN博客 2026-05-20 00:00:00
19. 别再死记硬背了！用PyTorch手写Multi-Head Attention，从张量维度变化彻底搞懂Transformer核心
CSDN文库 2026-04-11 00:00:00
20. Transformer中的Mask机制全解析：从Padding Mask到因果掩码，一个例子讲清楚
CSDN文库 2026-03-24 00:00:00
21. 大学里，到底该怎么把 Transformer 讲明白？
今日头条 2026-08-07 00:00:00
22. Transformer里张量形状怎么变？每个维度到底代表什么含义？
CSDN文库 2026-05-21 00:00:00
23. Transformer Decoder训练机制深度解析：右移输入与Masked Attention原理
CSDN 2026-06-08 00:00:00
24. 手写Transformer注意力机制：从QKV到多头可视化的实操指南
CSDN 2026-06-27 00:00:00
25. Transformer里掩码是怎么阻止模型‘偷看’未来词和填充词的？
CSDN文库 2026-08-01 00:00:00
26. 从ChatGPT到BERT：拆解Transformer注意力机制，看它如何让模型‘读懂’上下文
CSDN博客 2026-05-20 00:00:00
27. 讲透Transformer(三):Transformer 注意力机制详解与Qwen/DeepSeek近期改进
CSDN博客 2026-02-20 00:00:00
28. Transformer Decoder 真不需要 Key Padding Mask？逐行图解 multi-head attention 掩码原理
微信公众号 2026-07-20 00:00:00
29. 深入解析TransformerDecoder
小红书 2026-03-27 00:00:00
30. src_mask与src_key_padding_mask的区别
知乎 2026-03-01 00:00:00
31. AI 数学基础 09：标量、向量、矩阵与张量
微信公众号 2026-07-22 00:00:00
32. 入围CVPR 2026最佳论文决选，ViT³用「测试时训练」突破Transformer复杂度瓶颈
微信公众号 2026-06-12 00:00:00
33. 阿里RTPurboV2：原生Transformer再次崛起，百步训练实现10倍稀疏注意
微信公众号 2026-06-08 00:00:00
34. Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
微信公众号 2026-04-17 00:00:00
35. PyTorch Transformer 维度调试指南：6 个关键张量形状检查点
CSDN文库 2026-07-07 00:00:00
36. PyTorch原生Transformer实战：从shape/dtype陷阱到可调试可扩展实现
CSDN文库 2026-07-02 00:00:00
37. Transformer学习自我记录
知乎 2026-04-23 00:00:00
38. 手搓transformer（一）：整体结构、数据流与实现思路
知乎 2026-04-04 00:00:00
39. 大学里，到底该怎么把 Transformer 讲明白？
今日头条 2026-08-06 00:00:00
40. 写了transformer模型
小红书 2026-04-07 00:00:00
41. 零基础手撕Transformer！PyTorch从Token到训练全实操，自注意力\u002FQKV\u002F位置编码一网打尽
哔哩哔哩 2026-07-26 00:00:00
42. 理解大模型推理（三）：Attention 如何让 token 看到前文
微信公众号 2026-06-09 00:00:00
43. Transformer：现代大模型核心架构入门
微信公众号 2026-06-12 00:00:00
44. 零基础手撕Transformer！PyTorch从零实现自注意力、位置编码、QKV，彻底搞懂大模型底层原理
哔哩哔哩 2026-07-08 00:00:00
45. 深度学习篇 - PyTorch张量的形状操作（重点）
微信公众号 2026-07-16 00:00:00
46. PyTorch 张量变形指南：彻底搞懂 view, reshape, permute, transpose
知乎 2026-04-26 00:00:00
47. 【AI工程师养成·Phase 1-12】张量：深度学习的数据容器，以及为什么你总是 reshape 出错
微信公众号 2026-07-17 00:00:00
48. 工程师最小 Python：张量是什么、形状怎么读
微信公众号 2026-07-26 00:00:00
49. PyTorch张量操作总踩坑这5个细节90%的人忽略了
微信公众号 2026-07-31 00:00:00
50. 想学PyTorch但被张量绕晕了？先别碰网络层，把张量当成多维数组用加减乘除玩一天
微信公众号 2026-06-09 00:00:00
51. 告别PyTorch维度迷宫：从"尺寸不匹配"到高效训练
知乎 2026-03-30 00:00:00
52. AI大模型入门1.13-pytorch张量1-Tensor的定义
今日头条 2026-07-28 00:00:00
53. 深度学习里最常见的 bug，也许是张量形状写乱了
微信公众号 2026-08-02 00:00:00
54. 线性代数核心1：向量、矩阵与张量的本质，大模型中的张量运算
知乎 2026-07-30 00:00:00
55. 为什么要学习张量相关操作，是必须的吗？
微信公众号 2026-07-14 00:00:00
-
散步慢跑都是白练！医生：肌肉流失才是衰老根源，晚了来不及113 24 -
完全新手小白一步步给京东云亚瑟刷uboot免拆机刷亚瑟67 108 -
“竹知了”舆情汹汹 鸿蒙智行发言人正式回应！60 507 -
真心建议：这6样东西别“反复用”，这是最无用的“节俭行为”112 100
已收藏
去我的收藏夹