hello-agents/Extra-Chapter/Extra01-面试问题总结.md at main · datawhalechina/hello-agen

File metadata and controls 142 lines (114 loc) · 13.1 KB LLM & VLM & Agent 面试问题总结 本文档是在备战2025秋招过程中整理的面试“八股”合集。 楼主主要投递的岗位包括：大模型算法工程师、Agent工程师、AI开发工程师、算法评测工程师等，面试公司以国内互联网中大厂为主。因此，本文档中的问题深度和广度都围绕这些岗位的要求展开，内容涵盖了从 LLM/VLM 核心理论，到 RAG/Agent 应用开发，再到 RLHF 对齐技术和模型/Agent 评估等全链路技术栈。所有问题均整理自多次线上技术面试的真实经历。 【使用建议】 本文档仅供学习与参考。为了达到最佳效果，强烈建议先独立思考每个问题，尝试构建自己的答案，然后再对照文档提供的参考思路进行查漏补缺。知其然，更要知其所以然。直接背诵是效率最低的方式。 预祝各位求职顺利，都能拿到心仪的Offer！ --- 1

. LLM 八股 1. 请详细解释一下 Transformer 模型中的自注意力机制是如何工作的？它为什么比 RNN 更适合处理长序列？ 2. 什么是位置编码？在 Transformer 中，为什么它是必需的？请列举至少两种实现方式。 3. 请你详细介绍ROPE，对比绝对位置编码它的优劣势分别是什么？ 4. 你知道MHA，MQA，GQA的区别吗？详细解释一下。 5. 请比较一下几种常见的 LLM 架构，例如 Encoder-Only, Decoder-Only, 和 Encoder-Decoder，并说明它们各自最擅长的任务类型。 6. 什么是Scaling Laws？它揭示了模型性能、计算量和数据量之间的什么关系？这对LLM的研发有什么指导意义？ 7. 在LLM的推理阶段，有哪些常见的解码策略？请解释 Greedy Search, Beam Search, Top-K Sampling 和 Nucleus Sampling (

Top-P) 的原理和优缺点。 8. 什么是词元化？请比较一下 BPE 和 WordPiece 这两种

来源：github ｜ 阅读原文