融合细节⁃全局特征与结构增强的多源遥感影像点注释弱监督语义分割

孙根云; 苗静茹; 赵元昊; 张爱竹; 张文娟; 马毅; 孙林

doi:10.13203/j.whugis20260280

您当前的位置：

首页 >

文章列表页 >

融合细节⁃全局特征与结构增强的多源遥感影像点注释弱监督语义分割

摄影测量与遥感 | 更新时间：2026-10-15

- 融合细节⁃全局特征与结构增强的多源遥感影像点注释弱监督语义分割
- Point⁃Annotation⁃Based Weakly Supervised Semantic Segmentation of Multi⁃source Remote Sensing Images via Detail⁃Global Feature Fusion and Structure Enhancement
- 武汉大学学报（信息科学版） 2026年51卷第11期页码：2424-2435
- 作者机构：
  
  1.自然资源部华南热带亚热带自然资源监测重点实验室，广东广州，510663
  2.中国石油大学（华东）海洋与空间信息学院,山东青岛，266580
  3.中国科学院空天信息创新研究院,北京，100094
  4.自然资源部第一海洋研究所,山东青岛，266061
  5.山东科技大学测绘与空间信息学院,山东青岛，266590
- 作者简介：
  
  孙根云，博士，教授，研究方向为多源遥感数据智能处理。genyunsun@163.com
  张爱竹，博士，副教授。zhangaizhu789@163.com
- 基金信息：
  
  自然资源部华南热带亚热带自然资源监测重点实验室开放基金(2024NRMK03);国家自然科学基金(42271347;42371350);山东省自然科学基金(ZR2024MD095;ZR2024MD030)
- DOI：10.13203/j.whugis20260280
  中图分类号： P237
- 收稿：2026-07-24，
  
  纸质出版：2026-11-05
- 稿件说明：
移动端阅览
孙根云,苗静茹,赵元昊，等.融合细节⁃全局特征与结构增强的多源遥感影像点注释弱监督语义分割[J].武汉大学学报（信息科学版）,2026,51(11):2424-2435.

SUN Genyun,MIAO Jingru,ZHAO Yuanhao,et al.Point⁃Annotation⁃Based Weakly Supervised Semantic Segmentation of Multi⁃source Remote Sensing Images via Detail⁃Global Feature Fusion and Structure Enhancement[J].Geomatics and Information Science of Wuhan University,2026,51(11):2424-2435.
孙根云,苗静茹,赵元昊，等.融合细节⁃全局特征与结构增强的多源遥感影像点注释弱监督语义分割[J].武汉大学学报（信息科学版）,2026,51(11):2424-2435. DOI：10.13203/j.whugis20260280

SUN Genyun,MIAO Jingru,ZHAO Yuanhao,et al.Point⁃Annotation⁃Based Weakly Supervised Semantic Segmentation of Multi⁃source Remote Sensing Images via Detail⁃Global Feature Fusion and Structure Enhancement[J].Geomatics and Information Science of Wuhan University,2026,51(11):2424-2435. DOI：10.13203/j.whugis20260280

摘要

点注释弱监督能够显著降低遥感影像语义分割的像素级标注成本，但由于监督信号高度稀疏，模型容易出现类别语义表达不足、目标边界模糊及细小地物遗漏等问题。与此同时，复杂城市区域地物类型多样、尺度差异明显，单源遥感影像难以充分表征地物的光谱、纹理和空间结构特征。因此，融合多源遥感影像的互补信息已成为提升复杂场景语义分割性能的重要方向。然而，现有多源弱监督方法对局部细节互补、全局语义交互和边界结构约束的联合建模仍不充分。针对上述问题，提出一种融合细节-全局特征与结构增强网络（detail-global feature fusion and structure enhancement network，DGSE-Net），用于多源弱监督遥感影像语义分割。DGSE-Net由多尺度特征提取、尺度自适应特征组合以及解码与输出3个部分组成。其中，多尺度特征提取部分采用分割大模型（segment anything model，SAM）的图像编码器和ResNet18编码器，分别提取主源数据与辅助源数据的多尺度特征；尺度自适应特征组合部分首先通过细节-全局多源特征融合（detail-global multi-source feature fusion，DGCF）模块在不同尺度上独立建模局部空间细节互补与全局语义交互，提高多源特征的一致性与判别能力，然后通过结构感知边缘增强（structure-aware edge enhancement，SAEE）模块引入Sobel边缘先验、邻域权重降噪、浅层局部卷积和深层窗口注意力，强化弱监督条件下地物边界、空间结构与细小目标的特征表达；解码与输出部分采用跨分辨率特征集成（cross-resolution feature integration，CRFI）解码模块，对多尺度增强特征进行逐步聚合，恢复空间细节并生成语义分割结果。在ISPRS Potsdam和ISPRS Vaihingen数据集上的点注释弱监督实验表明，DGSE-Net在仅使用0.01%像素点标签的条件下取得了优于对比方法的分割精度，消融实验进一步验证了DGCF、SAEE和CRFI的有效性。DGSE-Net能够在极稀疏点监督条件下有效利用多源遥感数据的互补信息，为低标注成本的高分辨率遥感影像精细语义分割提供了一种有效方法。

Abstract

Objectives

Point-annotation-based weak supervision can substantially reduce the cost of pixel-level labeling for remote sensing image semantic segmentation. However

the supervision signals provided by point labels are extremely sparse

which often leads to insufficient category-level semantic representation

blurred object boundaries

and omission of small ground objects. Meanwhile

complex urban scenes contain diverse land-cover categories with significant scale variations

irregular spatial distributions

and intricate boundary structures. Single-source remote sensing imagery is usually insufficient to fully characterize the spectral

textural

and spatial structural features of different ground objects. Therefore

integrating complementary information from multi-source remote sensing images has become an important direction for improving semantic segmentation performance in complex scenarios. Nevertheless

the existing multi-source weakly supervised methods still lack sufficient joint modeling of local detail complementarity

global semantic interaction

and boundary structure constraints. To address these challenges

this paper proposes a detail-global feature fusion and structure enhancement network (DGSE-Net) for multi-source weakly supervised remote sensing image semantic segmentation.

Methods

DGSE-Net consists of three main parts

including multi-scale feature extraction

scale-adaptive feature combination

and decoding output. First

in the multi-scale feature extraction

the image encoder of segment anything model (SAM) and a ResNet18 encoder are employed to extract multi-scale features from the primary source data and auxiliary source data

respectively. Second

in the scale-adaptive feature combination

a detail-global multi-source feature fusion (DGCF) module first models local spatial detail complementarity and global semantic interaction independently at different scales

thereby improving the consistency and discriminative capability of multi-source features. Then

a structure-aware edge enhancement (SAEE) module introduces Sobel edge priors

neighborhood-weighted denoising

shallow local convolution

and deep window attention to strengthen the representation of object boundaries

spatial structures and small targets under weak supervision. Third

in the decoding output

a cross-resolution feature integration (CRFI) decoding module is adopted to progressively aggregate the enhanced multi-scale features

recover spatial details

and generate semantic segmentation results. Point-annotation-based weakly supervised experiments are conducted on the ISPRS Potsdam and ISPRS Vaihingen datasets.

Results

Using only 0.01% pixel-level point labels

DGSE-Net achieves higher segmentation accuracy than the comparison methods. Ablation experiments further verify the effectiveness of DGCF

SAEE

and CRFI

demonstrating that local detail enhancement

global cross-source semantic interaction

structure-aware edge enhancement

and cross-resolution feature integration all contribute to performance improvement.

Conclusions

The experimental results indicate that DGSE-Net can effectively exploit complementary information from multi-source remote sensing data under extremely sparse point supervision

providing an effective solution for fine-grained semantic segmentation of high-resolution remote sensing images with low annotation cost.

关键词

Keywords

references

HUANG L ， JIANG B ， LV S ， et al . Deep-Learning-Based Semantic Segmentation of Remote Sensing Images： A Survey ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2024 ， 17 ： 8370 - 8396 .

LI J ， CAI Y ， LI Q ， et al . A Review of Remote Sensing Image Segmentation by Deep Learning Methods ［J］. International Journal of Digital Earth ， 2024 ， 17 （ 1 ）： 2328827 .

LI F T ， ZHOU F D ， ZHANG G ， et al . HSAA-CD： A Hierarchical Semantic Aggregation Mechanism and Attention Module for Non-agricultural Change Detection in Cultivated Land ［J］. Remote Sensing ， 2024 ， 16 （ 8 ）： 1372 .

冯权泷，陈泊安，李国庆，等 . 遥感影像样本数据集研究综述［J］. 遥感学报， 2022 ， 26 （ 4 ）： 589 - 605 .

FENG Quanlong ， CHEN Boan ， LI Guoqing ， et al . A Review for Sample Datasets of Remote Sensing Imagery ［J］. National Remote Sensing Bulletin ， 2022 ， 26 （ 4 ）： 589 - 605 .

吴志峰，曹峥，郑子豪，等 . 中国城市遥感研究综述［J］. 遥感学报， 2025 ， 29 （ 6 ）： 2188 - 2215 .

WU Zhifeng ， CAO Zheng ， ZHENG Zihao ， et al . A Review of China Urban Remote Sensing ［J］. National Remote Sensing Bulletin ， 2025 ， 29 （ 6 ）： 2188 - 2215 .

林娜，张小青，王岚，等 . 基于空洞卷积U-Net的遥感影像道路提取方法［J］. 测绘地理信息， 2025 ， 50 （ 3 ）： 63 - 67 .

LIN Na ， ZHANG Xiaoqing ， WANG Lan ， et al . A Road Extraction Method for Remote Sensing Image Based on Dilated Convolutions U-Net ［J］. Journal of Geomatics ， 2025 ， 50 （ 3 ）： 63 - 67 .

王艳丽，董志鹏，王密 . 基于双路卷积神经网络的高分辨率遥感影像浒苔检测方法［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 12 ）： 2261 - 2270 .

LIN WANG Yanli ， DONG Zhipeng ， WANG Mi . Ulva Polifera Detection from High Resolution Remote Sensing Images Based on Dual-Path Convolutional Neural Networks ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 12 ）： 2261 - 2270 .

高常鑫，徐正泽，吴东岳，等 . 深度学习实时语义分割综述［J］. 中国图象图形学报， 2024 ， 29 （ 5 ）： 1119 - 1145 .

GAO Changxin ， XU Zhengze ， WU Dongyue ， et al . Deep Learning-Based Real-Time Semantic Segmentation： A Survey ［J］. Journal of Image and Graphics ， 2024 ， 29 （ 5 ）： 1119 - 1145 .

DIMITROVSKI I ， SPASEV V ， LOSHKOVSKA S ， et al . U-Net Ensemble for Enhanced Semantic Segmentation in Remote Sensing Imagery ［J］. Remote Sensing ， 2024 ， 16 （ 12 ）： 2077 .

CHANG Z ， XU M ， WEI Y ， et al . UNeXt： An Efficient Network for the Semantic Segmentation of High-Resolution Remote Sensing Images ［J］. Sensors ， 2024 ， 24 （ 20 ）： 6655 .

WANG L ， LI R ， ZHANG C ， et al . UNetFormer： A UNet-like Transformer for Efficient Semantic Segmentation of Remote Sensing Urban Scene Imagery ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2022 ， 190 ： 196 - 214 .

MA X ， ZHANG X ， PUN M. O ， et al . A Multilevel Multimodal Fusion Transformer for Remote Sensing Semantic Segmentation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2024 ， 62 ： 1 - 15 .

HUO C ， CHEN K ， ZHANG S ， et al . When Remote Sensing Meets Foundation Model： A Survey and Beyond ［J］. Remote Sensing ， 2025 ， 17 （ 2 ）： 179 .

MA X ， WU Q ， ZHAO X ， et al . SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraints ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2024 ， 62 ： 1 - 16 .

LIU N ， XU X ， SU Y ， et al . PointSAM： Pointly-Supervised Segment Anything Model for Remote Sensing Images ［J］. IEEE Transactions on Geo⁃science and Remote Sensing ， 2025 ， 63 ： 1 - 15 .

刘思涌，赵毅力 . 微调SAM的遥感图像高效语义分割模型DP-SAM ［J］. 中国图象图形学报， 2025 ， 30 （ 8 ）： 2884 - 2896 .

LIU Siyong ， ZHAO Yili . DP-SAM： Efficient Semantic Segmentation of Remote Sensing Images by Fine-Tuning SAM ［J］. Journal of Image and Graphics ， 2025 ， 30 （ 8 ）： 2884 - 2896 .

WANG S ， CHEN W ， XIE S. M ， et al . Weakly Supervised Deep Learning for Segmentation of Remote Sensing Imagery ［J］. Remote Sensing ， 2020 ， 12 （ 2 ）： 207 .

CHEN Z ， LIAN Y ， BAI J ， et al . Weakly Supervised Semantic Segmentation of Remote Sensing Images Using Siamese Affinity Network ［J］. Remote Sensing ， 2025 ， 17 （ 5 ）： 808 .

项伟康，周全，崔景程，等 . 基于深度学习的弱监督语义分割方法综述［J］. 中国图象图形学报， 2024 ， 29 （ 5 ）： 1146 - 1168 .

XIANG Weikang ， ZHOU Quan ， CUI Jingcheng ， et al . Weakly Supervised Semantic Segmentation Based on Deep Learning ［J］. Journal of Image and Graphics ， 2024 ， 29 （ 5 ）： 1146 - 1168 .

ZHAO Y ， JIA M ， SUN G ， et al . PAMSNet： A Point Annotation-Driven Multi-source Network for Remote Sensing Semantic Segmentation ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2025 ， 229 ： 1 - 16 .

孙铭辰，葛洪伟，李婷 . 基于扩展补丁对的弱监督语义分割网络［J］. 信息与控制， 2025 ， 54 （ 4 ）： 595 - 606 .

SUN Mingchen ， GE Hongwei ， LI Ting . Weakly Supervised Semantic Segmentation Network Based on Extended Patch Pairs ［J］. Information and Control ， 2025 ， 54 （ 4 ）： 595 - 606 .

李军侠，苏京峰，崔滢，等 . 基于语义调制的弱监督语义分割［J］. 软件学报， 2025 ， 36 （ 9 ）： 4373 - 4387 .

LI Junxia ， SU Jingfeng ， CUI Ying ， et al . Semantic-Modulation-Based Weakly Supervised Semantic Segmentation ［J］. Journal of Software ， 2025 ， 36 （ 9 ）： 4373 - 4387 .

YU J ， Zeng P ， YU Y Y ， et al . A Combined Convolutional Neural Network for UrbanLand-Use Classiﬁcation with GIS Data ［J］. Remote Sensing ， 2022 ， 14 ： 1128 .

HONG D ， HU J ， YAO J ， et al . Multimodal Remote Sensing Benchmark Datasets for Land Cover Classification with a Shared and Specific Feature Learning Model ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2021 ， 178 ： 68 - 80 .

MA X ， ZHANG X ， PUN M O . A Crossmodal Multiscale Fusion Network for Semantic Segmentation of Remote Sensing Data ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2022 ， 15 ： 3463 - 3474 .

何友，刘瑜，谭大宁，等 . 多源遥感图像融合语义分割发展现状与展望［J］. 现代雷达， 2024 ， 46 （ 2 ）： 16 - 24 .

HE You ， LIU Yu ， TAN Daning ， et al . Development Status and Prospect of Multi-source Remote Sensing Image Fusion Semantic Segmentation ［J］. Modern Radar ， 2024 ， 46 （ 2 ）： 16 - 24 .

孙奥，徐芳，江树国，等 . 遥感基础模型多模态协同增强的语义分割方法［J］. 航空学报， 2026 ， 47 （ 10 ）： 532910 .

SUN Ao ， XU Fang ， JIANG Shuguo ， et al . A Semantic Segmentation Method Enhanced by Multimodal Collaboration in Remote Sensing Foundation Models ［J］. Acta Aeronautica et Astronautica Sinica ， 2026 ， 47 （ 10 ）： 532910 .

王定盼，董小环，黄令勇，等 . 信息熵估计辅助的域自适应多源遥感影像地表覆盖分类［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 10 ）： 1940 - 1952 .

WANG Dingpan ， DONG Xiaohuan ， HUANG Lingyong ， et al . Information Entropy Uncertainty Estimation Based Domain Adaptation for Land Cover Classification from Multi-source Remote Sensing Images ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 10 ）： 1940 - 1952 .

龚健雅，张展，贾浩巍，等 . 面向多源数据地物提取的遥感知识感知与多尺度特征融合网络［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 10 ）： 1546 - 1554 .

GONG Jianya ， ZHANG Zhan ， JIA Haowei ， et al . Multi-source Data Ground Object Extraction Based on Knowledge-Aware and Multi-scale Feature Fusion Network ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 10 ）： 1546 - 1554 .

LIU C ， SUN Y ， XU Y ， Et al . A Review of Optical and SAR Image Deep Feature Fusion in Semantic Segmentation ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2024 ， 17 ： 12910 - 12929 .

MA X ， ZHANG X ， PUN M O ， et al . A Unified Framework with Multimodal Fine-Tuning for Remote Sensing Semantic Segmentation ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2025 ， 63 ： 1 - 15 .

WU L ， FANG L ， YUE J ， et al . Deep Bilateral Filtering Network for Point-Supervised Semantic Segmentation in Remote Sensing Images ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 7419 - 7434 .

CAO Y ， HUANG X ， WENG Q . A SAM-Adapted Weakly-Supervised Semantic Segmentation Method Constrained by Uncertainty and Transformation Consistency ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2025 ， 137 ： 104440 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

联合全局-局部特征和动态错误监督的遥感影像建筑物损伤评估方法

面向多源SAR图像的多级特征注意力水体提取网络

信息熵估计辅助的域自适应多源遥感影像地表覆盖分类

融合多尺度注意力的多视角遥感影像场景分类

土壤水分机器学习遥感反演：进展与挑战