LLM & VLM & Agent 面试八股参考
随着大语言模型(LLM)、视觉语言模型(VLM)及智能体技术的快速发展,相关领域的面试与研发对知识体系的深度与广度提出了更高要求。从模型架构的演变到训练策略的优化,从对齐方法的选择到检索增强生成(RAG)的应用,每一项技术细节都关乎最终系统的性能与落地能力。本文旨在系统梳理LLM、VLM、Agent及相关领域的核心技术要点,涵盖模型架构、训练微调、对齐机制、评估体系及多智能体协作等维度,为技术研发与面试提供全面参考。
01模型架构与注意力机制优化
在Transformer架构的应用中,根据任务需求的不同,衍生出了Encoder-Only、Decoder-Only以及Encoder-Decoder三种主要架构。当前,Decoder-Only架构(如GPT系列、Llama、Qwen)已成为大模型的主流选择,其优势在于强大的生成能力和通用性。而Encoder-Decoder架构(如T5、BART)则在理解与生成并重的场景中表现优异。针对长序列处理和推理效率的瓶颈,位置编码与注意力机制的优化成为了关键研究方向。
| 技术特性 | 绝对位置编码 | RoPE (旋转位置编码) |
|---|---|---|
| 核心机制 | 为每个位置分配固定的向量标识 | 通过旋转矩阵注入位置信息,等价于复数乘法 |
| 相对位置感知 | 较弱,无法直接捕获相对位置关系 | 天然具备,Query与Key的点积仅与相对位置有关 |
| 外推性 | 较差,难以处理超过训练长度的序列 | 较好,能够更好地适应未见过的序列长度 |
绝对位置编码与RoPE特性对比
在注意力机制方面,为了解决标准多头注意力(MHA)在推理时的显存瓶颈,多查询注意力(MQA)和分组查询注意力(GQA)相继被提出。MQA通过让所有头共享同一个Key和Value矩阵,极大降低了KV Cache显存占用,提升了推理速度。GQA则是MHA和MQA的折中方案,将查询头分成若干组,每组共享Key和Value,在平衡性能与效率的同时,缓解了MQA可能带来的质量下降。
02模型训练与解码策略
分词算法的选择直接影响模型的词汇表构建与语义理解能力。BPE(Byte Pair Encoding)和WordPiece是两种最主流的子词切分算法。两者构建词表的过程相似,但在合并子词的决策标准上有所不同:BPE基于频率贪婪合并,而WordPiece则旨在最大化训练数据的似然概率。在模型规模达到一定程度时,LLM会展现出“涌现能力”,如思维链推理,这通常发生在参数规模达到百亿至千亿级别,体现了量变引起质变的规律。
NLP范式演进
专用模型时代
核心模式:为每个特定任务训练一个专用模型
特点:打造一支由各种“工具专家”组成的工具箱
优势:特定任务上精细度高,针对性强


通用模型时代
核心模式:用一个大模型解决所有任务
特点:打造“瑞士军刀”式的通用智能工具
优势:具备强大的通用性、灵活性和涌现能力
在解码策略上,除了Greedy Search外,Beam Search(集束搜索)、Top-K Sampling和Nucleus Sampling(Top-P)是常用的技术手段。Beam Search通过保留多个候选序列来提升生成质量,但可能导致重复内容;Top-K和Top-P采样则通过限制候选词范围来增加输出的多样性和随机性,更符合自然语言的生成特性。
03视觉语言模型(VLM)与多模态
视觉语言模型(VLM)通过连接视觉编码器与语言模型,实现了跨模态的理解与生成。以CLIP为代表的模型通过大规模图文对训练,使编码器能够生成语义丰富的特征,具备零样本图像分类能力。VLM的架构主要分为基于连接器的方案(主流,追求高性价比)和基于跨模态注意力的方案(追求极致性能,成本较高)。视觉指令微调是连接基础能力与应用的关键桥梁,能有效提升模型在特定任务上的表现。
为了处理高分辨率图像,目前主要采用切分后再重组的策略,如将图像切成多个子块分别编码,再通过全连接层或注意力机制进行融合。在目标检测等任务中,通常设定IoU阈值(如0.5或0.75)来评估定位的准确性。对于模型评估,除了传统的准确率指标,MTEB基准提供了更全面的Embedding模型评估维度,包括分类、聚类、检索等。
04对齐方法:从RLHF到DPO
监督微调(SFT)虽然能教会模型遵循指令,但难以实现对齐人类复杂、模糊的偏好。基于人类反馈的强化学习(RLHF)通过引入奖励模型(RM)和近端策略优化(PPO),使模型能够探索并优化符合人类价值观的回答。RLHF通常包含三个阶段:SFT、训练奖励模型、PPO优化。其中,RM作为人类偏好的代理,其质量直接决定了最终模型对齐的上限。
DPO(Direct Preference Optimization)作为一种新兴的对齐方法,直接在偏好数据上优化策略,无需训练显式的奖励模型,也不需要进行复杂的强化学习循环。相比传统RLHF,DPO具有简洁、稳定、高效的优势,大大降低了实现难度和计算成本。此外,RLAIF(AI反馈强化学习)利用AI的偏好来指导模型对齐,虽然具备规模化潜力,但也存在偏见放大的风险,需结合人类监督进行校准。
05智能体架构与RAG系统
智能体框架通常包含感知、大脑和行动三个核心模块。根据记忆类型,可分为短期记忆(上下文窗口)和长期记忆(向量数据库)。Agent系统通过“思考 -> 行动 -> 观察”的循环与环境交互,结合思维链(CoT)进行推理。与传统LLM应用不同,Agent的评价指标高度依赖场景,通常综合考量目标达成率、效率和资源消耗。而A2A(Agent-to-Agent)框架则侧重于定义智能体之间的交互协议,致力于构建多智能体协作的“社会规则”。
检索增强生成(RAG)通过引入外部知识库,有效解决了LLM的知识滞后、幻觉严重及上下文限制等问题。与微调相比,RAG在更新知识、降低成本和提升可解释性方面具有显著优势。RAG系统主要分为离线索引构建和在线查询推理两个阶段。在索引构建中,切块策略(如Chunk size和Overlap)对检索质量至关重要,需在语义完整性和检索效率之间寻找平衡。
- 优化查询:使用重写(Rewrite)、HyDE(假设性文档嵌入)等技术提升查询语义与向量空间的匹配度。
- 优化索引:结合向量数据库与知识图谱,利用混合检索提升召回率;采用自适应检索(如FLARE)决定何时检索。
- 评估体系:从检索性能(Recall@K, MRR)和生成性能(忠实度、准确率)两个阶段进行综合评估。
06模型评估与安全测试
传统的NLP评估指标如BLEU和ROUGE主要关注表层词汇重叠,无法有效衡量LLM的语义理解、事实性和逻辑推理能力。现代LLM评估更依赖于“LLM-as-a-Judge”模式,利用强大的模型(如GPT-4)作为裁判,对生成结果进行打分。虽然这种方法高效且可扩展,但仍存在潜在的偏见,需结合人类评估进行验证。
- 通用基准:MMLU(衡量综合知识)、GSM8K(衡量数学推理)、HumanEval(衡量代码能力)。
- Agent评估:重点考察鲁棒性、自主性及工具使用的有效性,模拟复杂路况进行“驾驶测试”。
- 红队测试:模拟恶意攻击和对抗性输入,系统性地发现深层安全和对齐问题,扮演“免疫系统压力测试员”的角色。
综上所述,从模型架构的微调到对齐技术的演进,从单模态处理到多模态融合,再到Agent的自主交互,大模型技术体系正朝着更通用、更安全、更高效的方向发展。掌握这些核心技术与评估方法,是构建高质量AI应用的基础。
当前文章无评论,是时候发表评论了