感知与状态估计¶

这一页解决什么

机器人"看到了什么、自己在哪里、目标在哪里"。感知把原始传感器数据变成可以规划和控制的量；状态估计把有噪声、不完整的观测融合成可信的估计。必修入门，深度按任务选：操作任务走"检测 → 6DoF 位姿 → 抓取"，移动任务走"里程计 → 融合 → SLAM"。

学到什么程度¶

相机模型与标定：针孔模型用内参 K（焦距 fx, fy 与主点 cx, cy）把相机坐标投影到像素；畸变参数修正镜头弯曲。外参是相机相对机器人或世界的位姿；"手眼标定"求相机与机械臂之间的外参。标定误差会直接变成位姿误差。

深度与点云：RGB-D 相机、双目或激光雷达给出深度。深度 z 加像素坐标 (u, v) 经内参反投影得到三维点。点云的常用操作：体素下采样、法向估计、离群点去除、平面分割。

时间同步：不同传感器的采样时刻不同，融合前必须对齐。几十毫秒的错位在机器人运动时就是厘米级误差。

滤波与卡尔曼族：卡尔曼滤波在每一步"用运动模型预测，再用观测修正"，按协方差加权两者；扩展卡尔曼（EKF）对非线性模型线性化，误差状态卡尔曼（ESKF）是 IMU 融合的常用形式。粒子滤波用样本表示任意分布，适合多峰问题如全局定位。

里程计与 SLAM：里程计估计相邻时刻的相对运动，会累积漂移；SLAM 同时建图和定位，用回环检测和图优化消除漂移。视觉惯性里程计（VIO）和激光惯性里程计（LIO）是现在的主流。

物体位姿与可供性：6DoF 位姿是物体相对相机的旋转加平移，是抓取的前提。几何方法（点云配准、PnP）可解释、无需训练；学习方法（如 FoundationPose）在遮挡和对称物体上更强。可供性（affordance）回答"物体的哪里可以抓、怎么用"。

三维场景表示：占据栅格（导航）、点云与网格（几何）、NeRF 与 3D 高斯泼溅（逼真渲染）、语义地图（物体级理解）。选择取决于下游任务需要什么。

几何派：标定、配准、优化可解释、可验证，失败时知道为什么；学习派：端到端网络在遮挡、弱纹理、类别泛化上更强，基础模型还能零样本处理新物体。工业落地多是混合：学习方法给初值或语义，几何方法做精修和验证。

深度图上一个像素 (u, v)、深度 z，怎么得到相机坐标系下的三维点？

x = (u − cx)·z / fx，y = (v − cy)·z / fy，z 不变。

卡尔曼滤波里，观测噪声协方差设得很大会怎样？

滤波器更相信预测、几乎忽略观测，估计平滑但响应慢；设得很小则紧跟观测、噪声大。

为什么里程计会漂移，SLAM 怎么解决？

每一步的相对运动误差会累积。SLAM 在回到去过的地方时识别回环，用图优化把累积误差分摊到整条轨迹上。

对称物体（如圆柱罐）的位姿估计有什么特殊问题？

绕对称轴的旋转无法从外观区分，存在多个等价解；评估用 ADD-S，训练时要用对称感知的损失，否则网络会学到平均值。