数据、评估与可信 AI¶
评价贯穿所有方法。要检查数据是否合适、指标是否对应任务、模型在分布变化时是否可靠；该页是实验检查清单，不是额外一套长课程。
知识地图与优先级¶
| 层次 | 主题 | 需要理解什么 |
|---|---|---|
| P0 | 数据与实验设计 | 来源、许可、清洗、重复、缺失、泄漏、数据划分、调参与独立评估 |
| P0 | 任务指标 | 分类/回归/检索/生成/控制使用不同指标；平均值、方差与失败分布 |
| P1 | 不确定性与稳健性 | 校准、置信度、OOD、噪声、域偏移、异常与拒答 |
| P1 | 可解释与可追溯 | 特征贡献、可视化、消融、错误分析；解释不等于因果证明 |
| P2 | 前沿系统可靠性 | 数据污染、幻觉、工具轨迹、奖励投机、安全/隐私与偏差；按场景测试 |
核心机制直觉 · 评估与可靠性¶
- 置信度不等于正确性：基于 Softmax 的深度模型往往存在严重的过度自信（Overconfident）。校准（Calibration，如温度缩放 Temperature Scaling）衡量的是“模型输出的概率是否逼近样本真实发生的统计频率”。
- 分布外（OOD）与域偏移：训练集与测试集同分布（i.i.d.）是统计学习的前提。当出现传感器温漂、结构老化或工况突变时，模型精度常出现阶跃式崩塌；必须引入基于特征密度或重构残差的拒答与报警回退机制。
- 数据泄漏的隐蔽形式：除样本直接重叠外，标准化统计量在未切分的全集上计算、强相关时间序列随机 Shuffle 交叉验证、同一设备/被试数据跨集渗漏，都会制造虚假的高分假象。
精选入口¶
跟随实验 · AI-7 · 复用一个模型做可靠性检查¶
- 选择已有项目，先写成功条件、数据划分与指标，不新增模型。
- 构造一组有代表性的噪声、缺失或工况变化，区分自然变化和人为扰动。
- 按子群或条件报告错误；有概率输出时看校准，生成任务核查依据。
- 固定一个改进，再用未参与调试的样例检查收益和退化。
验收：报告可重复条件、支持证据、失败案例与局限；历史学习勾选不自动等同独立项目能力。
认知自测 · 关键思考¶
- 为什么在结构安全监测或高风险工程决策中，期望校准误差（ECE）比单次准确率（Accuracy）具有更高的安全约束意义？
- 面对超出训练边界的未知极端异常输入，如何设计一个轻量级“选择性预测（Selective Classification / 不确定性拒答）”规则？
学习路线中所有实践复用本页；LLM 和机器人评价细节仍在原栏目。