一种全天候道路场景下的红外和可见光图像融合方法

甘文霞; 潘俊杰; 耿晶; 王慧妮; 胡小弟

doi:10.13203/j.whugis20240173

您当前的位置：

首页 >

文章列表页 >

一种全天候道路场景下的红外和可见光图像融合方法

摄影测量与遥感 | 更新时间：2026-11-05

- 一种全天候道路场景下的红外和可见光图像融合方法
- A Fusion Method for Infrared and Visible Images in All-Weather Road Scenes
- 武汉大学学报（信息科学版） 2025年50卷第7期页码：1346-1358
- 作者机构：
  
  1.武汉工程大学计算机科学与工程学院(人工智能学院)，湖北武汉，430205
  2.武汉工程大学土木工程与建筑学院，湖北武汉，430074
  3.北京理工大学计算机学院，北京，100081
- 作者简介：
  
  甘文霞，博士，副教授，从事遥感图像处理与应用、计算机视觉、深度学习等研究。charlottegan@whu.edu.cn
  王慧妮，博士，副教授。wanghuini@wit.edu.cn
- 基金信息：
  
  国家自然科学基金(42471388;42201461);湖北省交通厅科研项目(2023-121-3-4);湖北省教育厅科学研究计划指导性项目(B2023042)
- DOI：10.13203/j.whugis20240173
  中图分类号： P237
- 收稿：2024-04-01，
  
  纸质出版：2025-07-05
- 稿件说明：
移动端阅览
甘文霞,潘俊杰,耿晶，等.一种全天候道路场景下的红外和可见光图像融合方法[J].武汉大学学报（信息科学版）,2025,50(7):1346-1358.

GAN Wenxia,PAN Junjie,GENG Jing,et al.A Fusion Method for Infrared and Visible Images in All-Weather Road Scenes[J].Geomatics and Information Science of Wuhan University,2025,50(7):1346-1358.
甘文霞,潘俊杰,耿晶，等.一种全天候道路场景下的红外和可见光图像融合方法[J].武汉大学学报（信息科学版）,2025,50(7):1346-1358. DOI：10.13203/j.whugis20240173

GAN Wenxia,PAN Junjie,GENG Jing,et al.A Fusion Method for Infrared and Visible Images in All-Weather Road Scenes[J].Geomatics and Information Science of Wuhan University,2025,50(7):1346-1358. DOI：10.13203/j.whugis20240173

摘要

结合红外图像的高亮目标信息与可见光图像丰富的纹理细节，可以生成同时包含丰富纹理和显著目标的融合图像，但受限于光照条件和恶劣天气，现有的红外和可见光图像融合方法在全天候道路应用场景中难以得到理想的效果。针对此问题，提出了一种适用于全天候道路场景的红外和可见光图像融合网络。首先，通过光照损失函数设计指导融合网络自适应地保持背景纹理细节和显著目标的强度分布；然后，在纹理损失函数中引入Scharr梯度算子提高梯度计算精度，从而约束融合图像，保留更细腻的纹理细节；最后，基于Resblock结构设计了二阶梯度残差块，以增强融合网络提取图像强弱纹理特征的能力。在公开数据集MFNet、RoadScene和TNO上对该方法进行了对比实验和泛化实验，结果表明，所提方法在主观视觉效果和客观指标评价上均优于其他先进方法，得到的融合图像纹理清晰且红外目标显著。因此，所提出的3种优化设计可以提高可见光和红外图像的融合效果。

Abstract

Objectives

The objective of infrared and visible image fusion in the all-weather road scenes is to generate fusion images that contain rich textures and significant goals. However

due to the influence of light conditions and harsh weather factors

the existing infrared and visible image fusion algorithm is difficult to achieve the ideal effect.

Methods

In response to this issue

an infrared and visible image fusion network suitable for all -weather road scenes was proposed. First

we designed an illumination loss function that can guide the intensity distribution of the background texture and the intensity of significant goals in the adaptive network. Second

the introduction of the Scharr gradient to improve the calculation accuracy of the gradient of texture loss

and restrict the fusion image to retain more delicate texture details. Finally

we designed the second order residual block based on the Resblock structure to enhance the ability to integrate network extraction of strong and weak texture features of images.

Results

Comparison and generalization experiments on MFNet

RoadScene

and TNO data sets show that the proposed method is better than other advanced methods in subjective visual effects and objective indicators.

Conclusions

Therefore

the three optimized designs the proposed can improve the fusion effect of visible and infrared images.

关键词

Keywords

references

应申，蒋跃文，顾江岩，等 . 面向自动驾驶的高精地图模型及关键技术［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 4 ）： 506 - 515 .

YING Shen ， JIANG Yuewen ， GU Jiangyan ， et al . High Definition Map Model for Autonomous Driving and Key Technologies ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 4 ）： 506 - 515 .

申彩英，朱思瑶，黄兴驰 . 双目视觉的智能汽车目标检测算法研究［J］. 重庆理工大学学报（自然科学）， 2023 ， 37 （ 11 ）： 11 - 19 .

SHEN Caiying ， ZHU Siyao ， HUANG Xingchi . Research on Intelligent Vehicle Target Detection Algorithm Based on Binocular Vision ［J］. Journal of Chongqing University of Technology （Natural Scien‑ce）， 2023 ， 37 （ 11 ）： 11 - 19 .

胡淼，姜麟，陶友凤，等 . 改进YOLOv7的自动驾驶目标检测算法［J］. 计算机工程与应用， 2024 ， 60 （ 11 ）： 165 - 172 .

HU Miao ， JIANG Lin ， TAO Youfeng ， et al . Improved Automatic Driving Target Detection Algorithm of YOLOv7 ［J］. Computer Engineering and Applications ， 2024 ， 60 （ 11 ）： 165 - 172 .

叶语同，李必军，付黎明 . 智能驾驶中点云目标快速检测与跟踪［J］. 武汉大学学报（信息科学版）， 2019 ， 44 （ 1 ）： 139 - 144 .

YE Yutong ， LI Bijun ， FU Liming . Fast Object Detection and Tracking in Laser Data for Autonomous Driving ［J］. Geomatics and Information Science of Wuhan University ， 2019 ， 44 （ 1 ）： 139 - 144 .

ZHANG H ， XU H ， TIAN X ， et al . Image Fusion Meets Deep Learning： A Survey and Perspective ［J］. Information Fusion ， 2021 ， 76 ： 323 - 336 .

MA J Y ， MA Y ， LI C . Infrared and Visible Image Fusion Methods and Applications： A Survey ［J］. Information Fusion ， 2019 ， 45 ： 153 - 178 .

ZHANG X C ， DEMIRIS Y . Visible and Infrared Image Fusion Using Deep Learning ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2023 ， 45 （ 8 ）： 10535 - 10554 .

MA W H ， WANG K ， LI J W ， et al . Infrared and Visible Image Fusion Technology and Application： A Review ［J］. Sensors ， 2023 ， 23 （ 2 ）： 599 .

韩林凯，姚江伟，王坤峰 . 保留梯度和轮廓的可见光与红外图像融合［J］. 计算机应用， 2023 ， 43 （ 11 ）： 3574 - 3578 .

HAN Linkai ， YAO Jiangwei ， WANG Kunfeng . Fusion of Visible and Infrared Images Preserving Gradient and Contour ［J］. Journal of Computer Applications ， 2023 ， 43 （ 11 ）： 3574 - 3578 .

HAO S ， HE T ， AN B Y ， et al . VDFEFuse： A Novel Fusion Approach to Infrared and Visible Images ［J］. Infrared Physics & Technology ， 2022 ， 121 ： 104048 .

SUN C Q ， ZHANG C ， XIONG N X . Infrared and Visible Image Fusion Techniques Based on Deep Learning： A Review ［J］. Electronics ， 2020 ， 9 （ 12 ）： 2162 .

陈彦林，王志社，邵文禹，等 . 红外与可见光图像多尺度Transformer融合方法［J］. 红外技术， 2023 ， 45 （ 3 ）： 266 - 275 .

CHEN Yanlin ， WANG Zhishe ， SHAO Wenyu ， et al . Multi-scale Transformer Fusion Method for Infrared and Visible Images ［J］. Infrared Technology ， 2023 ， 45 （ 3 ）： 266 - 275 .

向天烛，高熔溶，闫利，等 . 一种顾及区域特征差异的热红外与可见光图像多尺度融合方法［J］. 武汉大学学报（信息科学版）， 2017 ， 42 （ 7 ）： 911 - 917 .

XIANG Tianzhu ， GAO Rongrong ， YAN Li ， et al . Region Feature Based Multi-Scale Fusion Method for Thermal Infrared and Visible Images ［J］. Geomatics and Information Science of Wuhan University ， 2017 ， 42 （ 7 ）： 911 - 917 .

LI S T ， KANG X D ， FANG L Y ， et al . Pixel-Level Image Fusion： A Survey of the State of the Art ［J］. Information Fusion ， 2017 ， 33 ： 100 - 112 .

LIU J Y ， FAN X ， HUANG Z B ， et al . Target-Aware Dual Adversarial Learning and a Multi-Scenario Multi-modality Benchmark to Fuse Infrared and Visible for Object Detection ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， New Orleans， LA， USA， 2022 .

苑朝，赵亚冬，张耀，等 . 基于YOLO轻量化的多模态行人检测算法［J］. 图学学报， 2024 ， 45 （ 1 ）： 35 - 46 .

YUAN Chao ， ZHAO Yadong ， ZHANG Yao ， et al . Multimodal Pedestrian Detection Algorithm Based on YOLO Lightweight ［J］. Journal of Graphics ， 2024 ， 45 （ 1 ）： 35 - 46 .

孙文财，胡旭歌，杨志发，等 . 融合GPNet与图像多尺度特性的红外-可见光道路目标检测优化方法［J］. 吉林大学学报（工学版）， 2024 ， 54 （ 10 ）： 2799 - 2806 .

SUN Wencai ， HU Xuge ， YANG Zhifa ， et al . Optimization of Infrared-Visible Road Target Detection by Fusing GPNet and Image Multiscale Features ［J］. Journal of Jilin University（Engineering and Technology Edition）， 2024 ， 54 （ 10 ）： 2799 - 2806 .

GENG X W ， LI M L ， LIU W P ， et al . Person Tracking by Detection Using Dual Visible-Infrared Cameras ［J］. IEEE Internet of Things Journal ， 2022 ， 9 （ 22 ）： 23241 - 23251 .

刘万军，梁林林，曲海成 . 利用Transformer的多模态目标跟踪算法［J］. 计算机工程与应用， 2024 ， 60 （ 11 ）： 84 - 94 .

LIU Wanjun ， LIANG Linlin ， QU Haicheng . Multimodal Target Tracking Algorithm Using Transformer ［J］. Computer Engineering and Applications ， 2024 ， 60 （ 11 ）： 84 - 94 .

LIU W C ， LIU W B ， SUN Y X . Visible-Infrared Dual-Sensor Fusion for Single-Object Tracking ［J］. IEEE Sensors Journal ， 2023 ， 23 （ 4 ）： 4118 - 4128 .

HA Q S ， WATANABE K ， KARASAWA T ， et al . MFNet： Towards Real-Time Semantic Segmentation for Autonomous Vehicles with Multi-spectral Scenes ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems ， Vancouver， BC， Canada， 2017 .

HOU J L ， ZHANG D Z ， WU W ， et al . A Generative Adversarial Network for Infrared and Visible Image Fusion Based on Semantic Segmentation ［J］. Entropy ， 2021 ， 23 （ 3 ）： 376 .

朱浩，谷小婧，蓝鑫，等 . 基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法［J］. 激光与红外， 2022 ， 52 （ 4 ）： 543 - 551 .

ZHU Hao ， GU Xiaojing ， LAN Xin ， et al . RGB IR Semantic Segmentation Based Onmulti Scale Edge Enhancement ［J］. Laser & Infrared ， 2022 ， 52 （ 4 ）： 543 - 551 .

WANG Z S ， XU J W ， JIANG X L ， et al . Infrared and Visible Image Fusion via Hybrid Decomposition of NSCT and Morphological Sequential Toggle Ope‑rator ［J］. Optik ， 2020 ， 201 ： 163497 .

CHEN J ， LI X J ， LUO L B ， et al . Infrared and Visible Image Fusion Based on Target-Enhanced Multiscale Transform Decomposition ［J］. Information Scien‑ces ， 2020 ， 508 ： 64 - 78 .

LI H ， WU X J ， KITTLER J . MDLatLRR： A Novel Decomposition Method for Infrared and Visible Image Fusion ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4733 - 4746 .

赵庆典，杨德宏 . 基于图像增强和二次非下采样轮廓波变换的红外与可见光图像融合［J］. 激光与光电子学进展， 2024 ， 61 （ 4 ）： 0437001 .

ZHAO Qingdian ， YANG Dehong . Infrared and Visible Light Image Fusion Based on Image Enhancement and Secondary Nonsubsampled Contourlet Transform ［J］. Laser & Optoelectronics Progress ， 2024 ， 61 （ 4 ）： 0437001 .

武凌霄，康家银，姬云翔 . NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合［J］. 红外技术， 2023 ， 45 （ 9 ）： 915 - 924 .

WU Lingxiao ， KANG Jiayin ， JI Yunxiang . Infrared and Visible Image Fusion Based on Guided Filter and Sparse Representation in NSST Domain ［J］. Infrared Technology ， 2023 ， 45 （ 9 ）： 915 - 924 .

LIU Y ， CHEN X ， WARD R K ， et al . Image Fusion with Convolutional Sparse Representation ［J］. IEEE Signal Processing Letters ， 2016 ， 23 （ 12 ）： 1882 - 1886 .

LIU Y D ， YANG X M ， ZHANG R Z ， et al . Entropy-Based Image Fusion with Joint Sparse Representation and Rolling Guidance Filter ［J］. Entropy ， 2020 ， 22 （ 1 ）： 118 .

CVEJIC N ， BULL D ， CANAGARAJAH N . Region-Based Multimodal Image Fusion Using ICA Bases ［J］. IEEE Sensors Journal ， 2007 ， 7 （ 5 ）： 743 - 751 .

BAVIRISETTI D P ， XIAO G ， LIU G . Multi-sensor Image Fusion Based on Fourth Order Partial Differential Equations ［C］// The 20th International Conference on Information Fusion （Fusion）， Xi’an， China ， 2017 .

MA J Y ， CHEN C ， LI C ， et al . Infrared and Visible Image Fusion via Gradient Transfer and Total Variation Minimization ［J］. Information Fusion ， 2016 ， 31 ： 100 - 109 .

MA J L ， ZHOU Z Q ， WANG B ， et al . Infrared and Visible Image Fusion Based on Visual Saliency Map and Weighted Least Square Optimization ［J］. Infrared Physics & Technology ， 2017 ， 82 ： 8 - 17 .

JIAN L H ， YANG X M ， LIU Z ， et al . SEDRFuse： A Symmetric Encoder-Decoder with Residual Block Network for Infrared and Visible Image Fusion ［J］. IEEE Transactions on Instrumentation and Measurement ， 2020 ， 70 ： 5002215 .

XU H ， ZHANG H ， MA J Y . Classification Saliency-Based Rule for Visible and Infrared Image Fusion ［J］. IEEE Transactions on Computational Imaging ， 2021 ， 7 ： 824 - 836 .

LIU J Y ， FAN X ， JIANG J ， et al . Learning a Deep Multi-scale Feature Ensemble and an Edge-Attention Guidance for Image Fusion ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2021 ， 32 （ 1 ）： 105 - 119 .

MA J Y ， YU W ， LIANG P W ， et al . FusionGAN： A Generative Adversarial Network for Infrared and Visible Image Fusion ［J］. Information Fusion ， 2019 ， 48 ： 11 - 26 .

YANG Y ， LIU J X ， HUANG S Y ， et al . Infrared and Visible Image Fusion via Texture Conditional Generative Adversarial Network ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2021 ， 31 （ 12 ）： 4771 - 4783 .

MA J Y ， ZHANG H ， SHAO Z F ， et al . GANMcC： A Generative Adversarial Network with Multiclassification Constraints for Infrared and Visible Image Fusion ［J］. IEEE Transactions on Instrumentation and Measurement ， 2020 ， 70 ： 5005014 .

XU H ， MA J Y ， JIANG J J ， et al . U2Fusion： A Unified Unsupervised Image Fusion Network ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2022 ， 44 （ 1 ）： 502 - 518 .

ZHANG H ， MA J Y . SDNet： A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion ［J］. International Journal of Computer Vision ， 2021 ， 129 （ 10 ）： 2761 - 2785 .

TANG L F ， YUAN J T ， MA J Y . Image Fusion in the Loop of High-Level Vision Tasks： A Semantic-Aware Real-Time Infrared and Visible Image Fusion Network ［J］. Information Fusion ， 2022 ， 82 ： 28 - 42 .

MA J Y ， TANG L F ， XU M L ， et al . STDFusionNet： An Infrared and Visible Image Fusion Network Based on Salient Target Detection ［J］. IEEE Transactions on Instrumentation and Measurement ， 2021 ， 70 ： 5009513 .

PENG C L ， TIAN T ， CHEN C ， et al . Bilateral Attention Decoder： A Lightweight Decoder for Real-Time Semantic Segmentation ［J］. Neural Networks ， 2021 ， 137 ： 188 - 199 .

Alexander T . TNO Image Fusion Dataset ［EB/OL］.（ 2014-07-08 ）［ 2024-02-01 ］. https：//doi.org/10.6084/m9.figshare.1008029.v1 https://doi.org/10.6084/m9.figshare.1008029.v1 .

QU G H ， ZHANG D L ， YAN P F . Information Measure for Performance of Image Fusion ［J］. Electronics Letters ， 2002 ， 38 （ 7 ）： 313 .

HAN Y ， CAI Y Z ， CAO Y ， et al . A New Image Fusion Performance Metric Based on Visual Information Fidelity ［J］. Information Fusion ， 2013 ， 14 （ 2 ）： 127 - 135 .

PIELLA G ， HEIJMANS H . A New Quality Metric for Image Fusion ［C］// International Conference on Image Processing ， Barcelona， Spain ， 2003 .

Paszke A ， Gross S ， Massa F ， et al . PyTorch： An Imperative Style， High-Performance Deep Learning Library ［EB/OL］.（ 2019-07-07 ）［ 2024-02-01 ］. https：//doi.org/10.48550/arXiv.1912.01703 https://doi.org/10.48550/arXiv.1912.01703 .

GENG J ， GAN W X ， XU J J ， et al . Support Vector Machine Regression （SVR）-Based Nonlinear Modeling of Radiometric Transforming Relation for the Coarse-Resolution Data-Referenced Relative Radiometric Normalization （RRN）［J］. Geo-spatial Information Science ， 2020 ， 23 （ 3 ）： 12 .

GAN W X ， Albanwan H ， Qin R . Radiometric Normalization of Multi-temporal Landsat and Sentinel-2 Images Using a Reference MODIS Product Through Spatiotemporal Filtering ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2021 ， 99 ： 1 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

船舶航行海洋地理信息三态融合保障问题研究

城市建成环境活动流时空建模分析与预测研究进展

几何与频域双约束的单步扩散海底地形超分辨率重建方法

呼包鄂榆城市群草地脆弱性时空演变及因子可解释性分析

土壤水分机器学习遥感反演：进展与挑战