一种自适应点线特征和IMU耦合的视觉SLAM方法

张晨阳; 杨健

doi:10.13203/j.whugis20230347

您当前的位置：

首页 >

文章列表页 >

一种自适应点线特征和IMU耦合的视觉SLAM方法

摄影测量与遥感 | 更新时间：2026-11-05

- 一种自适应点线特征和IMU耦合的视觉SLAM方法
- A Visual SLAM Method Coupled with Adaptive Point-Line Features and IMU
- 武汉大学学报（信息科学版） 2025年50卷第10期页码：2048-2063
- 作者机构：
  
  1.南京理工大学计算机科学与工程学院，江苏南京，210094
  2.常州工学院土木建筑工程学院，江苏常州，213032
  3.南京理工大学高维信息智能感知与系统教育部重点实验室，江苏南京，210094
  4.南京理工大学江苏省社会安全图像与视频理解重点实验室，江苏南京，210094
- 作者简介：
  
  张晨阳，博士，博士后，研究方向为视觉SLAM。zcynj@hhu.edu.cn
  杨健，教授。csjyang@njust.edu.cn
- 基金信息：
  
  中国博士后科学基金面上项目(2023M741702);国家自然科学基金(42401533;62361166670);江苏省高等学校基础科学研究面上项目(24KJB420002)
- DOI：10.13203/j.whugis20230347
  中图分类号： P237
- 收稿：2024-06-20，
  
  纸质出版：2025-10-05
- 稿件说明：
移动端阅览
张晨阳,杨健.一种自适应点线特征和IMU耦合的视觉SLAM方法[J].武汉大学学报（信息科学版）,2025,50(10):2048-2063.

ZHANG Chenyang,YANG Jian.A Visual SLAM Method Coupled with Adaptive Point-Line Features and IMU[J].Geomatics and Information Science of Wuhan University,2025,50(10):2048-2063.
张晨阳,杨健.一种自适应点线特征和IMU耦合的视觉SLAM方法[J].武汉大学学报（信息科学版）,2025,50(10):2048-2063. DOI：10.13203/j.whugis20230347

ZHANG Chenyang,YANG Jian.A Visual SLAM Method Coupled with Adaptive Point-Line Features and IMU[J].Geomatics and Information Science of Wuhan University,2025,50(10):2048-2063. DOI：10.13203/j.whugis20230347

摘要

室内低/弱纹理、光照不足的场景下，视觉惯导融合的即时定位与建图（simultaneous localization and mapping

SLAM）定位精度明显优于纯视觉SLAM方法。然而，当前基于点特征的视觉惯导SLAM方法通常难以检测并追踪足够的特征，同时惯性测量单元的先验测量信息亦未充分利用，导致SLAM整体定位精度低、鲁棒性弱。针对这些问题，构建一种自适应点线特征和惯性测量单元（inertial measurement unit

IMU）耦合的视觉SLAM方法。首先设计一种自适应的快速角点特征检测算法，以增强图像特征点检测的鲁棒性。另外，快速线特征检测算法易检测短线、断线，且图像因光照变化易导致线特征的“过提取”或“错提取”。因此，利用边缘检测二值图像构造自适应线特征提取算法，并借助消影点的特性筛选聚类线特征。然后，由点线特征重投影误差和IMU先验预积分位姿估计量，通过松耦合为SLAM前端位姿估计和算法提供稳健的初始化结果。随后，后端利用紧耦合建立视觉和IMU观测量的统一非线性最小化残差函数，并优化得到准确的图像帧位姿。最后，在开源数据集上测试验证，并对比几种经典SLAM方法。实验结果表明，所构建的SLAM方法平均定位精度至少提高12%，同时具有较强的鲁棒性。

Abstract

Objectives

Visual-inertial simultaneous localization and mapping (SLAM) typically outperforms pure visual SLAM in indoor scenes characterized by low or sparse textures and varying lighting conditions. Nonetheless

most existing visual-inertial SLAM encounter challenges in detecting and tracking sufficient feature points. Moreover

the prior pose measurement information from the inertial measurement unit (IMU) is often underutilized

resulting in reduced pose estimation accuracy and limited robustness.

Methods

An adaptive fast corner feature detection approach has been developed to enhance the robustness of feature point detection in images. Additionally

the fast line segment detector algorithm makes it easy to detect short lines and broken line features

and the performance of the algorithm is affected by the change of illumination

resulting in over-extraction or wrong-extraction of line features. Accordingly

an adaptive algorithm for extracting line features was introduced

utilizing edge-detected binary images and incorporating the removal of erroneous lines based on the geometry characteristics of the vanishing point. Following this

the algorithm integrates the visual measurements from point-line features with the pre-integration measurement of IMU to yield reliable outcomes for front-end pose estimation and initialization parameters in a loosely coupled manner. In the back-end section of our proposed SLAM method

a unified nonlinear minimization residual function is established for visual and IMU measurements through tight coupling

optimizing for obtaining precise pose of the image or camera.

Results

The proposed SLAM method has been validated and tested on publicly available benchmarks

showcasing its performance through ablation experiments and qualitative as well as quantitative comparative analyses against several state-of-the-art visual-inertial SLAM algorithms.

Conclusions

The results indicate that the proposed algorithm improves average localization accuracy by at least 12% and displays significant robustness.

关键词

Keywords

references

施俊屹，查富生，孙立宁，等 . 移动机器人视觉惯性SLAM研究进展［J］. 机器人， 2020 ， 42 （ 6 ）： 734 - 748 .

SHI Junyi ， ZHA Fusheng ， SUN Lining ， et al . A Survey of Visual-Inertial SLAM for Mobile Robots ［J］. Robot ， 2020 ， 42 （ 6 ）： 734 - 748 .

廖健驰，李星星，冯绍权 . GVIL：基于图优化的GNSS PPP/视觉/惯性/激光雷达紧组合算法［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 7 ）： 1204 - 1215 .

LIAO Jianchi ， LI Xingxing ， FENG Shaoquan . GVIL： Tightly-Coupled GNSS PPP/Visual/INS/LiDAR SLAM Based on Graph Optimization ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 7 ）： 1204 - 1215 .

楼益栋，王昱升，涂智勇，等 . 融合多棱镜式雷达/IMU/RTK的轨道车辆高精度实时定位与建图［J］. 武汉大学学报（信息科学版）， 2021 ， 46 （ 12 ）： 1802 - 1807 .

LOU Yidong ， WANG Yusheng ， TU Zhiyong ， et al . Real Time Localization and Mapping Integrating Multiple Prism LiDARs/IMU/RTK on Railway Locomotive ［J］. Geomatics and Information Science of Wuhan University ， 2021 ， 46 （ 12 ）： 1802 - 1807 .

龚健雅 . 人工智能时代测绘遥感技术的发展机遇与挑战［J］. 武汉大学学报（信息科学版）， 2018 ， 43 （ 12 ）： 1788 - 1796 .

GONG Jianya . Chances and Challenges for Development of Surveying and Remote Sensing in the Age of Artificial Intelligence ［J］. Geomatics and Information Science of Wuhan University ， 2018 ， 43 （ 12 ）： 1788 - 1796 .

邸凯昌，万文辉，赵红颖，等 . 视觉SLAM技术的进展与应用［J］. 测绘学报， 2018 ， 47 （ 6 ）： 770 - 779 .

DI Kaichang ， WAN Wenhui ， ZHAO Hongying ， et al . Progress and Applications of Visual SLAM ［J］. Acta Geodaetica et Cartographica Sinica ， 2018 ， 47 （ 6 ）： 770 - 779 .

MUR-ARTAL R ， MONTIEL J M M ， TARDÓS J D . ORB-SLAM： A Versatile and Accurate Mono‑cular SLAM System ［J］. IEEE Transactions on Robotics ， 2015 ， 31 （ 5 ）： 1147 - 1163 .

MUR-ARTAL R ， TARDÓS J D . ORB-SLAM2： An Open-Source SLAM System for Monocular， Stereo， and RGB-D Cameras ［J］. IEEE Transactions on Robotics ， 2017 ， 33 （ 5 ）： 1255 - 1262 .

ENGEL J ， KOLTUN V ， CREMERS D . Direct Sparse Odometry ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 3 ）： 611 - 625 .

KERL C ， STURM J ， CREMERS D . Dense Visual SLAM for RGB-D Cameras ［C］// 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems ， Tokyo， Japan ， 2013 .

ENGEL J ， SCHÖPS T ， CREMERS D . Large-Scale Direct SLAM with Stereo Cameras ［C］// 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Hamburg， Germany ， 2015 .

LIU H M ， ZHANG G F ， BAO H J . Robust Keyframe-Based Monocular SLAM for Augmented Reality ［C］// IEEE International Symposium on Mixed and Augmented Reality （ISMAR-Adjunct）， Merida， Mexico ， 2016 .

ZHOU H Z ， ZOU D P ， PEI L ， et al . StructSLAM： Visual SLAM with Building Structure Lines ［J］. IEEE Transactions on Vehicular Technology ， 2015 ， 64 （ 4 ）： 1364 - 1375 .

CHEN L ， SUN L B ， YANG T ， et al . RGB-T SLAM： A Flexible SLAM Framework by Combining Appearance and Thermal Information ［C］// IEEE International Conference on Robotics and Automation （ICRA）， Singapore ， 2017 .

ZHOU Y ， GALLEGO G ， SHEN S J . Event-Based Stereo Visual Odometry ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 5 ）： 1433 - 1450 .

曾庆化，罗怡雪，孙克诚，等 . 视觉及其融合惯性的SLAM技术发展综述［J］. 南京航空航天大学学报， 2022 ， 54 （ 6 ）： 1007 - 1020 .

ZENG Qinghua ， LUO Yixue ， SUN Kecheng ， et al . Review on SLAM Technology Development for Vision and Its Fusion of Inertial Information ［J］. Journal of Nanjing University of Aeronautics and Astronautics ， 2022 ， 54 （ 6 ）： 1007 - 1020 .

MOURIKIS A I ， ROUMELIOTIS S I . A Multi-state Constraint Kalman Filter for Vision-Aided Inertial Navigation ［C］// IEEE International Conference on Robotics and Automation ， Rome， Italy ， 2007 .

LEUTENEGGER S ， LYNEN S ， BOSSE M ， et al . Keyframe-Based Visual-Inertial Odometry Using Nonlinear Optimization ［J］. The International Journal of Robotics Research ， 2015 ， 34 （ 3 ）： 314 - 334 .

FORSTER C ， CARLONE L ， DELLAERT F ， et al . On-Manifold Preintegration for Real-Time Visual： Inertial Odometry ［J］. IEEE Transactions on Robotics ， 2017 ， 33 （ 1 ）： 1 - 21 .

MUR-ARTAL R ， TARDÓS J D . Visual-Inertial Monocular SLAM with Map Reuse ［J］. IEEE Robotics and Automation Letters ， 2017 ， 2 （ 2 ）： 796 - 803 .

CAMPOS C ， ELVIRA R ， RODRÍGUEZ J J G ， et al . ORB-SLAM3： An Accurate Open-Source Library for Visual， Visual‑Inertial， and Multimap SLAM ［J］. IEEE Transactions on Robotics ， 2021 ， 37 （ 6 ）： 1874 - 1890 .

QIN T ， LI P L ， SHEN S J . VINS-Mono： A Robust and Versatile Monocular Visual-Inertial State Estimator ［J］. IEEE Transactions on Robotics ， 2018 ， 34 （ 4 ）： 1004 - 1020 .

QIN T ， CAO S Z ， PAN J ， et al . A General Optimization-Based Framework for Global Pose Estimation with Multiple Sensors ［EB/OL］. （ 2019-1-11 ）［ 2022-7-10 ］. https：//arxiv.org/pdf/1901.03642v1 https://arxiv.org/pdf/1901.03642v1 .

龚赵慧，张霄力，彭侠夫，等 . 基于视觉惯性融合的半直接单目视觉里程计［J］. 机器人， 2020 ， 42 （ 5 ）： 595 - 605 .

GONG Zhaohui ， ZHANG Xiaoli ， PENG Xiafu ， et al . Semi-Direct Monocular Visual Odometry Based on Visual-Inertial Fusion ［J］. Robot ， 2020 ， 42 （ 5 ）： 595 - 605 .

许智宾 . 基于双目视觉与惯导融合的移动机器人室内定位技术研究［D］. 郑州：郑州大学， 2021 .

XU Zhibin . Research on Indoor Positioning Technology of Mobile Robot Based on Fusion of Binocular Vision and Inertial Navigation ［D］. Zhengzhou ： Zhengzhou University ， 2021 .

张福斌，张炳烁，杨玉帅 . 基于单目/IMU/里程计融合的SLAM算法［J］. 兵工学报， 2022 ， 43 （ 11 ）： 2810 - 2818 .

ZHANG Fubin ， ZHANG Bingshuo ， YANG Yushuai . SLAM Algorithm Based on Monocular/IMU/Odometer Fusion ［J］. Acta Armamentarii ， 2022 ， 43 （ 11 ）： 2810 - 2818 .

HE Y J ， ZHAO J ， GUO Y ， et al . PL-VIO： Tightly-Coupled Monocular Visual-Inertial Odometry Using Point and Line Features ［J］. Sensors ， 2018 ， 18 （ 4 ）： 1159 .

FU Q ， WANG J L ， YU H S ， et al . PL-VINS： Real-Time Monocular Visual-Inertial SLAM with Point and Line Features ［EB/OL］. （ 2020-9-16 ）［ 2022-7-15 ］. https：//arxiv.org/abs/2009.07462 https://arxiv.org/abs/2009.07462 .

LEE J ， PARK S Y . PLF-VINS： Real-Time Mono‑cular Visual-Inertial SLAM with Point-Line Fusion and Parallel-Line Fusion ［J］. IEEE Robotics and Automation Letters ， 2021 ， 6 （ 4 ）： 7033 - 7040 .

赵良玉，金瑞，朱叶青，等 . 基于点线特征融合的双目惯性SLAM算法［J］. 航空学报， 2022 ， 43 （ 3 ）： 363 - 377 .

ZHAO Liangyu ， JIN Rui ， ZHU Yeqing ， et al . Stereo Visual-Inertial SLAM Algorithm Based on Merge of Point and Line Features ［J］. Acta Aeronautica et Astronautica Sinica ， 2022 ， 43 （ 3 ）： 363 - 377 .

应文健，潘林豪，佘博，等 . 融合点线特征的双目视觉-惯导SLAM算法［J］. 海军工程大学学报， 2021 ， 33 （ 6 ）： 106 - 112 .

YING Wenjian ， PAN Linhao ， SHE Bo ， et al . Stereo Visual-Inertial SLAM Algorithm Based on Point and Line Features ［J］. Journal of Naval University of Engineering ， 2021 ， 33 （ 6 ）： 106 - 112 .

危双丰，师现杰，刘振彬，等 . 点线联合的优化视觉惯性里程计［J］. 测绘科学， 2021 ， 46 （ 4 ）： 20 - 27 .

WEI Shuangfeng ， SHI Xianjie ， LIU Zhenbin ， et al . Point-and-Line Joint Optimization Visual Inertial Odometer ［J］. Science of Surveying and Mapping ， 2021 ， 46 （ 4 ）： 20 - 27 .

GIOI R G ， JAKUBOWICZ J ， MOREL J M ， et al . LSD： A Fast Line Segment Detector with a False Detection Control ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2010 ， 32 （ 4 ）： 722 - 732 .

贾迪，朱宁丹，杨宁华，等 . 图像匹配方法研究综述［J］. 中国图象图形学报， 2019 ， 24 （ 5 ）： 677 - 699 .

JIA Di ， ZHU Ningdan ， YANG Ninghua ， et al . Image Matching Methods ［J］. Journal of Image and Graphics ， 2019 ， 24 （ 5 ）： 677 - 699 .

LU X H ， YAOY J ， LI H A ， et al . 2-Line Exhaustive Searching for Real-Time Vanishing Point Estimation in Manhattan World ［C］// IEEE Winter Conference on Applications of Computer Vision （WACV）， Santa Rosa， CA， USA， 2017 .

ZHANG L L ， KOCH R . An Efficient and Robust Line Segment Matching Approach Based on LBD Descriptor and Pairwise Geometric Consistency ［J］. Journal of Visual Communication and Image Representation ， 2013 ， 24 （ 7 ）： 794 - 805 .

高翔，张涛，刘毅，等 . 视觉SLAM十四讲：从理论到实践［M］. 北京：电子工业出版社， 2017 .

GAO Xiang ， ZHANG Tao ， LIU Yi ， et al . Fourteen Lectures on Visual SLAM： From Theory to Practice ［M］. Beijing ： Publishing House of Electronics Industry ， 2017 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

林下单木定位视觉SLAM算法研究

结合正态分布变换与线面ICP的弹性激光SLAM算法

多尺度地理空间数据更新方法概述

复杂空间机器人自主测绘的现状与挑战

面向类脑空间智能的多模态大模型空间认知能力评估框架