应用与智能体¶

这一页解决什么

怎样把一个模型变成能解决实际问题的系统：接上你自己的资料（检索增强）、接上工具（智能体），并且能证明它有效（评测）。必修实践：工业界大量 LLM 岗位的日常工作就在这一层。

学到什么程度¶

提示与上下文工程：模型只能看到上下文里的内容。系统提示定角色和规则，少量示例定格式，把相关资料放进上下文定事实来源。上下文越长越贵，也越容易分散注意力。

检索增强生成（RAG）：把资料切块、转成向量建索引；提问时检索最相关的块放进上下文，再让模型基于它们回答。好处是知识可更新、回答可溯源。

分块与检索质量：块太大噪声多，太小丢上下文；混合检索（关键词 BM25 + 向量）和重排序（reranker）能显著提升召回准确度。RAG 的大多数问题出在检索而不是生成。

工具调用：模型输出结构化的函数调用（名称 + 参数），由程序执行后把结果返回给模型。模型本身不执行任何操作，权限和安全由程序控制。

智能体（agent）："思考 → 调用工具 → 观察结果 → 继续"的循环，直到完成任务。能力强但不稳定：步骤越多，累积出错概率越高，需要限制步数、校验每步输出。

结构化输出：要求模型按 JSON Schema 输出，或用约束解码保证格式，方便下游程序可靠解析。

评测：固定问题集（含无答案题和对抗题）、人工或模型打分、按失败类型统计。没有评测集，所有"优化"都只是感觉。

一派认为上下文窗口已到百万 token，直接把资料全塞进去更简单、不会漏检；另一派认为检索更便宜、更快、可溯源，长上下文中间部分的信息容易被忽略。实践中两者结合：先检索缩小范围，再利用较长上下文放下足够多的相关材料。

RAG 回答错了，怎么判断是检索还是生成的问题？

看检索到的片段里有没有正确答案：没有是检索问题（分块、嵌入、召回数量）；有却答错是生成问题（提示、模型能力、上下文太长）。

为什么要在评测集中放"资料里没有答案"的问题？

测试模型是否会承认不知道，而不是编造答案；这是幻觉最常见的场景。

智能体为什么步骤越多越不稳定？

每步都有一定出错概率，错误会传递到后续步骤；10 步每步 95% 成功率，整体只有约 60%。

工具调用的安全边界在哪里？

模型只输出调用请求，执行由程序完成；程序要做参数校验、权限控制，对有副作用的操作要求人工确认。