学习基础、优化与经典机器学习¶
这一部分是共同语言。你已有数学和工程经验，用小实验检查概率、优化与评估的具体缺口；不要重新从零学习整套数学或编程。P0 为共享基础，P1 为方法认识，P2 为方向选修。
知识地图与优先级¶
| 层次 | 主题 | 需要理解什么 |
|---|---|---|
| P0 | 数学与统计 | 向量、矩阵、导数、条件概率、似然、期望、方差；统计相关不等于因果 |
| P0 | 学习与数据 | 监督/无监督任务、损失、训练/验证/测试、泛化、泄漏、不平衡 |
| P0 | 优化与神经网络 | 反向传播、SGD/Adam、学习率、归一化、正则化、初始化 |
| P1 | 经典方法 | 线性/逻辑回归、SVM、树/集成/提升、聚类、PCA；先建立简单基线 |
| P2 | 概率与因果建模 | 贝叶斯推断、图模型、干预、可识别性；按任务补充 |
核心机制直觉 · 经典方法到神经网络¶
- 特征空间与归纳偏置：线性模型假设超平面分割；决策树做轴对齐的正交超矩形切割（对单调特征缩放免疫）；核方法（SVM）做隐式高维映射；神经网络通过复合非线性激活函数学习连续流形上的坐标扭曲。
- 优化与反向传播：反向传播本质是链式法则的动态规划中间变量缓存。梯度下降稳定性由损失曲面的二阶曲率（Hessian 矩阵条件数）主导，这也是学习率预热（Warmup）、归一化（LayerNorm/BatchNorm）和自适应矩估计（Adam）存在的物理依据。
精选入口¶
跟随实验 · AI-1 · 基线与过拟合¶
- 跑官方分类器比较例子，确认数据划分与预处理是否只在训练数据上拟合。
- 保留一个线性模型与一个树模型；只改变数据噪声或模型复杂度。
- 使用验证集调参，测试集最后一次报告；有分组或时间相关性时改用对应划分。
- 展示学习曲线、错误样例与至少两种指标。
验收：CPU 即可。记录三组设置，解释偏差、方差、数据泄漏与评价指标的作用。
认知自测 · 关键思考¶
- 为什么基于树的模型通常不需要做特征标准化，而基于梯度的神经网络和基于距离的模型（KNN/SVM）必须做？
- 在正负样本 99:1 的极度不平衡任务中，为什么准确率（Accuracy）不可信？应如何选择 PR-AUC 或代价敏感损失？
- 划分训练集和测试集时，若样本存在时间序列自相关或同传感器设备多次采样，随机 Shuffle 为何会导致性能虚高（数据泄漏）？
决策树与集成保留具体知识；评估与可信 AI贯穿所有实验。