视觉SLAM十四讲 : 从理论到实践

第1讲 前言 1.1 本书讲什么 1.2 如何使用本书 1.2.1 组织方式 1.2.2 代码 1.2.3 面向的读者 1.3 风格约定 1.4 致谢和声明 第2讲 初识SLAM 2.1 引子:小萝卜的例子 2.2 经典视觉SLAM框架 2.2.1 视觉里程计 2.2.2 后端优化 2.2.3 回环检测 2.2.4 建图 2.3 SLAM问题的数学表述 2.4 实践:编程基础 2.4.1 安装Linux操作系统 2.4.2 Hello SLAM 2.4.3 使用cmake 2.4.4 使用库 2.4.5 使用IDE 第3讲 三维空间刚体运动 3.1 旋转矩阵 3.1.1 点和向量,坐标系 3.1.2 坐标系间的欧氏变换 3.1.3 变换矩阵与齐次坐标 3.2 实践:Eigen 3.3 旋转向量和欧拉角 3.3.1 旋转向量 3.3.2 欧拉角 3.4 四元数 3.4.1 四元数的定义 3.4.2 四元数的运算 3.4.3 用四元数表示旋转 3.4.4 四元数到旋转矩阵的转换 3.5 *相似、仿射、射影变换 3.6 实践:Eigen几何模块 3.7 可视化演示 第4讲 李群与李代数 4.1 李群李代数基础 4.1.1 群 4.1.2 李代数的引出 4.1.3 李代数的定义 4.1.4 李代数so(3) 4.1.5 李代数se(3) 4.2 指数与对数映射 4.2.1 SO(3)上的指数映射 4.2.2 SE(3)上的指数映射 4.3 李代数求导与扰动模型 4.3.1 BCH公式与近似形式 4.3.2 SO(3)李代数上的求导 4.3.3 李代数求导 4.3.4 扰动模型(左乘) 4.3.5 SE(3)上的李代数求导 4.4 实践:Sophus 4.5 *相似变换群与李代数 4.6 小结 第5讲 相机与图像 5.1 相机模型 5.1.1 针孔相机模型 5.1.2 畸变 5.1.3 双目相机模型 5.1.4 RGB-D相机模型 5.2 图像 5.2.1 计算机中图像的表示 5.3 实践:图像的存取与访问 5.3.1 安装OpenCV 5.3.2 操作OpenCV图像 5.4 实践:拼接点云 第6讲 非线性优化 6.1 状态估计问题 6.1.1 最大后验与最大似然 6.1.2 最小二乘的引出 6.2 非线性最小二乘 6.2.1 一阶和二阶梯度法 6.2.2 Gauss-Newton 6.2.3 Levenberg-Marquadt 6.2.4 小结 6.3 实践:Ceres 6.3.1 Ceres简介 6.3.2 安装Ceres 6.3.3 使用Ceres拟合曲线 6.4 实践:g2o 6.4.1 图优化理论简介 6.4.2 g2o的编译与安装 6.4.3 使用g2o拟合曲线 6.5 小结 第7讲 视觉里程计1 第8讲 视觉里程计2 8.1 直接法的引出 8.2 光流(Optical Flow) 8.2.1 Lucas-Kanade光流 8.3 实践:LK光流 8.3.1 使用TUM公开数据集 8.3.2 使用LK光流 8.4 直接法(Direct Methods) 8.4.1 直接法的推导 8.4.2 直接法的讨论 8.5 实践:RGB-D的直接法 8.5.1 稀疏直接法 8.5.2 定义直接法的边 8.5.3 使用直接法估计相机运动 8.5.4 半稠密直接法 8.5.5 直接法的讨论 8.5.6 直接法优缺点总结 7.1 特征点法 7.1.1 特征点 7.1.2 ORB特征 7.1.3 特征匹配 7.2 实践:特征提取和匹配 7.3 2D-2D: 对极几何 7.3.1 对极约束 7.3.2 本质矩阵 7.3.3 单应矩阵 7.4 实践:对极约束求解相机运动 7.4.1 讨论 7.5 三角测量 7.6 实践:三角测量 7.6.1 三角测量代码 7.6.2 讨论 7.7 3D-2D: PnP 7.7.1 直接线性变换 7.7.2 P3P 7.7.3 Bundle Adjustment 7.8 实践:求解PnP 7.8.1 使用EPnP求解位姿 7.8.2 使用BA优化 7.9 3D-3D: ICP 7.9.1 SVD方法 7.9.2 非线性优化方法 7.10 实践:求解ICP 7.10.1 SVD方法 7.10.2 非线性优化方法 7.11 小结 第9讲 实践章:设计前端 9.1 搭建VO框架 9.1.1 确定程序框架 9.1.2 确定基本数据结构 9.1.3 Camera类 9.1.4 Frame类 9.1.5 MapPoint类 9.1.6 Map类 9.1.7 Config类 9.2 基本的VO:特征提取和匹配 9.2.1 两两帧的视觉里程计 9.2.2 讨论 9.3 改进:优化PnP的结果 9.3.1 讨论 9.4 改进:局部地图 9.5 小结 第10讲 后端1 10.1 概述 10.1.1 状态估计的概率解释 10.1.2 线性系统和KF 10.1.3 非线性系统和EKF 10.1.4 EKF的讨论 10.2 BA与图优化 10.2.1 投影模型和BA代价函数 10.2.2 BA的求解 10.2.3 稀疏性和边缘化 10.2.4 鲁棒核函数 10.2.5 小结 10.3 实践:g2o 10.3.1 BA数据集 10.3.2 g2o求解BA 10.3.3 求解 10.4 实践:Ceres 10.4.1 Ceres求解BA 10.4.2 求解 10.5 小结 第11讲 后端2 11.1 位姿图(Pose Graph) 11.1.1 Pose Graph的意义 11.1.2 Pose Graph的优化 11.2 实践:位姿图优化 11.2.1 g2o原生位姿图 11.2.2 李代数上的位姿图优化 11.2.3 小结 11.3 *因子图优化初步 11.3.1 贝叶斯网络 11.3.2 因子图 11.3.3 增量特性 11.4 *实践:gtsam 11.4.1 安装gtsam 4.0 11.4.2 位姿图优化 第12讲 回环检测 12.1 回环检测概述 12.1.1 回环检测的意义 12.1.2 方法 12.1.3 准确率和召回率 12.2 词袋模型 12.3 字典 12.3.1 字典的结构 12.3.2 实践:创建字典 12.4 相似度计算 12.4.1 理论部分 12.4.2 实践:相似度的计算 12.5 实验分析与评述 12.5.1 增加字典规模 12.5.2 相似性评分的处理 12.5.3 关键帧的处理 12.5.4 检测之后的验证 12.5.5 与机器学习的关系 第13讲 建图 13.1 概述 13.2 单目稠密重建 13.2.1 立体视觉 13.2.2 极线搜索与块匹配 13.2.3 高斯分布的深度滤波器 13.3 实践:单目稠密重建 13.3.1 实验结果 13.4 实验分析与讨论 13.4.1 像素梯度的问题 13.4.2 逆深度 13.4.3 图像间的变换 13.4.4 并行化:效率的问题 13.4.5 其他的改进 13.5 RGB-D 稠密建图 13.5.1 实践:点云地图 13.5.2 八叉树地图 13.5.3 实践:八叉树地图 13.6 *TSDF地图和Fusion系列 13.7 小结 第14讲 SLAM:现在与未来 14.1 当前的开源方案 14.1.1 MonoSLAM 14.1.2 PTAM 14.1.3 ORB-SLAM 14.1.4 LSD-SLAM 14.1.5 SVO 14.1.6 RTAB-MAP 14.1.7 其他 14.2 未来的SLAM话题 14.2.1 视觉+惯导SLAM 14.2.2 语义SLAM 14.2.3 SLAM的未来 附录 A 高斯分布的性质 A.1 高斯分布 A.2 高斯分布的运算 A.2.1 线性运算 A.2.2 乘积 A.2.3 复合运算 A.3 复合的例子 附录 B ROS入门 B.1 ROS是什么 B.2 ROS的特点 B.3 如何快速上手ROS?