A 3D Point Cloud Semantic Segmentation Method for Aggregating Global Context Information

MA Tianen; LIU Tao; DU Ping; CHEN Puyi; LING Zhenfei

doi:10.13203/j.whugis20230143

您当前的位置：

首页 >

文章列表页 >

A 3D Point Cloud Semantic Segmentation Method for Aggregating Global Context Information

Photogrammetry and Remote Sensing | 更新时间：2026-11-05

- A 3D Point Cloud Semantic Segmentation Method for Aggregating Global Context Information
- Geomatics and Information Science of Wuhan University Vol. 50, Issue 12, Pages: 2548-2559(2025)
- 作者机构：
  
  1.兰州交通大学测绘与地理信息学院，甘肃兰州，730070
  2.地理国情监测技术应用国家地方联合工程研究中心，甘肃兰州，730070
  3.甘肃省地理国情监测工程实验室，甘肃兰州，730070
- 作者简介：
- 基金信息：
  
  LZJTU EP(201806)
- DOI：10.13203/j.whugis20230143
  CLC： P237
- Received：08 September 2024，
  
  Published：05 December 2025
- 稿件说明：
移动端阅览
马天恩,刘涛,杜萍，等.一种聚合全局上下文信息的三维点云语义分割方法[J].武汉大学学报（信息科学版）,2025,50(12):2548-2559.

MA Tianen,LIU Tao,DU Ping,et al.A 3D Point Cloud Semantic Segmentation Method for Aggregating Global Context Information[J].Geomatics and Information Science of Wuhan University,2025,50(12):2548-2559.
马天恩,刘涛,杜萍，等.一种聚合全局上下文信息的三维点云语义分割方法[J].武汉大学学报（信息科学版）,2025,50(12):2548-2559. DOI：10.13203/j.whugis20230143

MA Tianen,LIU Tao,DU Ping,et al.A 3D Point Cloud Semantic Segmentation Method for Aggregating Global Context Information[J].Geomatics and Information Science of Wuhan University,2025,50(12):2548-2559. DOI：10.13203/j.whugis20230143

摘要

现有基于深度学习的三维点云语义分割方法在很大程度上忽略了全局上下文信息，未能充分利用点云的局部几何结构、颜色信息和高层语义特征之间的互补性。针对该问题，提出一种融合局部特征编码和密集连接的点云语义分割模型。首先，设计一个局部特征提取模块，使模型能够同时捕获空间几何结构、颜色信息和语义特征；然后，结合局部特征聚合模块保留原始点云数据中丰富的几何信息，减少特征提取过程中几何信息的损失；最后，利用密集连接模块聚合全局上下文信息，实现低层特征和高层语义信息的互补。采用S3DIS和Semantic3D两个大型基准数据集进行实验验证，发现所提模型在两个数据集上的平均交并比分别达到71.8%和77.8%。实验结果表明，所提模型在三维点云语义分割方面具有较好的性能。

Abstract

Objectives

The deep learning-based 3D point cloud semantic segmentation methods often overlook global contextual information and do not fully leverage the synergy between the local geometric structure

color information

and high-level semantic features of point cloud. It is essential to effectively capture the geometric structure

color variations

and semantic features of point clouds while retaining global context information.

Methods

This paper proposes a point cloud semantic segmentation model that integrates local feature encoding and dense connectivity. First

a local feature extraction module is employed to enable the model to concurrently capture spatial geometric structure

color information

and semantic features. Second

a local feature aggregation module is incorporated to preserve the rich geometric data within the original point cloud

minimizing information loss during feature extraction. Finally

we utilize a dense connectivity module to aggregate contextual semantic information

and promote synergy between low-level features and high-level semantic data.

Results

The proposed model is benchmarked on two large datasets

S3DIS and Semantic3D. The results show that the proposed model achieves an overall accuracy (OA) of 88.3% and mean intersection over union (mIoU) of 71.8% on S3DIS dataset

improving the baseline set of RandLA-Net by 0.3% and 1.8%

respectively. On Semantic3D dataset

we register an OA of 94.9% and an mIoU of 77.8%

marking respective improvements of 0.1% and 0.4% over RandLA-Net.

Conclusions

The proposed model effectively preserves local geometric and color information through local feature encoding. The local feature aggregation module refines point proximity along boundaries to align with similar feature domains

and dense connections successfully integrate global context and key geometric features. Overall

the proposed model delivers more accurate semantic labels and a superior geometric feature representation

enhancing the precision of local segmentations.

关键词

Keywords

references

张云生，王旭颖，陈斯飏，等 . 点云智能理解：从点云中心至语言中心的转变［J］. 武汉大学学报（信息科学版）， 2025 ， DOI： 10.13203/j.whugis20240497 http://dx.doi.org/10.13203/j.whugis20240497 .

ZHANG Yunsheng ， WANG Xuying ， CHEN Siyang ， et al . Point Cloud Intelligent Understanding： Transition from Point-Centric to Language-Centric Paradigm ［J］. ［J］. Geomatics and Information Science of Wuhan University ， 2025 ， DOI： 10.13203/j.whugis20240497 http://dx.doi.org/10.13203/j.whugis20240497 .

张永军，邹思远，刘欣怡 . 稀疏点云引导的航空影像数字表面模型生成方法［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 11 ）： 1854 - 1862 .

ZHANG Yongjun ， ZOU Siyuan ， LIU Xinyi . Sparse Point Cloud Guided Digital Surface Model Generation for Aerial Images ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 11 ）： 1854 - 1862 .

PARK Y ， GULDMANN J M . Creating 3D City Models with Building Footprints and LiDAR Point Cloud Classification： A Machine Learning Approach ［J］. Computers， Environment and Urban Systems ， 2019 ， 75 ： 76 - 89 .

李庞胤，米晓新，丁鹏辉，等 . 融合车载影像与点云的道路边界提取与矢量化［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 4 ）： 631 - 639 .

LI Pangyin ， MI Xiaoxin ， DING Penghui ， et al . Fusion of Vehicle-Mounted Imagery and Point Cloud for Road Boundary Extraction and Vectorization ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 4 ）： 631 - 639 .

毛庆洲，徐浩轩，朱璟，等 . 利用高密度点云现场检测在建隧道超欠挖［J］. 武汉大学学报（信息科学版）， 2025 ， 50 （ 3 ）： 562 - 570 .

MAO Qingzhou ， XU Haoxuan ， ZHU Jing ， et al . Immediate Detection of Over-Under Break of Tunnel Under Construction Using High-Density Point Cloud ［J］. Geomatics and Information Science of Wuhan University ， 2025 ， 50 （ 3 ）： 562 - 570 .

MILIOTO A ， VIZZO I ， BEHLEY J ， et al . RangeNet ++： Fast and Accurate LiDAR Semantic Segmentation ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Macau， China ， 2020 .

CASTILLO E ， LIANG J ， ZHAO H K . Point Cloud Segmentation and Denoising via Constrained Nonlinear Least Squares Normal Estimates ［M］// Innovations for Shape Analysis： Models and Algorithms . Berlin， Heidelberg ： Springer ， 2013 ： 283 - 299 .

黄绪洲，赵建虎 . 一种联合区域生长和布料模拟的点云滤波算法［J］. 测绘地理信息， 2024 ， 49 （ 5 ）： 24 - 27 .

HUANG Xuzhou ， ZHAO Jianhu . A Point Cloud Filtering Algorithm for Combining Region Growth and Cloth Simulation ［J］. Journal of Geomatics ， 2024 ， 49 （ 5 ）： 24 - 27 .

VO A V ， TRUONG-HONG L ， LAEFER D F ， et al . Octree-Based Region Growing for Point Cloud Segmentation ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2015 ， 104 ： 88 - 100 .

熊汉江，郑先伟，丁友丽，等 . 基于2D-3D语义传递的室内三维点云模型语义分割［J］. 武汉大学学报（信息科学版）， 2018 ， 43 （ 12 ）： 2303 - 2309 .

XIONG Hanjiang ， ZHENG Xianwei ， DING Youli ， et al . Semantic Segmentation of Indoor 3D Point Cloud Model Based on 2D-3D Semantic Transfer ［J］. Geomatics and Information Science of Wuhan University ， 2018 ， 43 （ 12 ）： 2303 - 2309 .

SU H ， MAJI S ， KALOGERAKIS E ， et al . Multi-View Convolutional Neural Networks for 3D Shape Recognition ［C］// IEEE International Conference on Computer Vision （ICCV）， Santiago， Chile ， 2016 .

BOULCH A ， GUERRY J ， LE SAUX B ， et al . SnapNet： 3D Point Cloud Semantic Labeling with 2D Deep Segmentation Networks ［J］. Computers & Graphics ， 2018 ， 71 ： 189 - 198 .

BADRINARAYANAN V ， KENDALL A ， CIPOLLA R . SegNet： A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 12 ）： 2481 - 2495 .

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： Convolutional Networks for Biomedical Image Segmentation ［M］// Medical Image Computing and Computer-Assisted Intervention . Cham ： Springer ， 2015 ： 234 - 241 .

XIAO A R ， YANG X F ， LU S J ， et al . FPS-Net： A Convolutional Fusion Network for Large-Scale LiDAR Point Cloud Segmentation ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2021 ， 176 ： 237 - 249 .

HUANG J ， YOU S Y . Point Cloud Labeling Using 3D Convolutional Neural Network ［C］// The 23rd International Conference on Pattern Recognition （ICPR）， Cancun， USA ， 2016 .

汤圣君，张韵婕，李晓明，等 . 超体素随机森林与LSTM神经网络联合优化的室内点云高精度分类方法［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 4 ）： 525 - 533 .

TANG Shengjun ， ZHANG Yunjie ， LI Xiaoming ， et al . A High-Precision Indoor Point Cloud Classification Method Jointly Optimized by Super Voxel Random Forest and LSTM Neural Network ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 4 ）： 525 - 533 .

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： Deep Learning on Point Sets for 3D Classification and Segmentation ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， USA ， 2017 .

QI C R ， YI L ， SU H ， et al . PointNet++： Deep Hierarchical Feature Learning on Point Sets in a Metric Space ［EB/OL］. ［ 2017-02-13 ］. https：//arxiv.org/abs/1706.02413 https://arxiv.org/abs/1706.02413 .

JIANG M Y ， WU Y R ， ZHAO T Q ， et al . PointSIFT： A SIFT-Like Network Module for 3D Point Cloud Semantic Segmentation ［EB/OL］. ［ 2018-06-05 ］. https：//arxiv.org/abs/1807.00652 https://arxiv.org/abs/1807.00652 .

ZHAO H S ， JIANG L ， FU C W ， et al . PointWeb： Enhancing Local Neighborhood Features for Point Cloud Processing ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， USA ， 2019 .

LIU Y C ， FAN B ， MENG G F ， et al . DensePoint： Learning Densely Contextual Representation for Efficient Point Cloud Processing ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Seoul， Korea ， 2019 .

LU T ， WANG L M ， WU G S . CGA-Net： Category Guided Aggregation for Point Cloud Semantic Segmentation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， USA ， 2021 .

FAN S Q ， DONG Q L ， ZHU F H ， et al . SCF-Net： Learning Spatial Contextual Features for Large-Scale Point Cloud Segmentation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， USA ， 2021 .

SHUAI H ， XU X ， LIU Q S . Backward Attentive Fusing Network with Local Aggregation Classifier for 3D Point Cloud Semantic Segmentation ［J］. IEEE Transactions on Image Processing ， 2021 ， 30 ： 4973 - 4984 .

程志新，邹进贵，贺亦峰，等 . 基于最优邻域特征提取和改进随机森林的建筑立面结构点云分类方法［J］. 测绘地理信息， 2025 ， 50 （ 5 ）： 111 - 116 .

CHENG Zhixin ， ZOU Jingui ， HE Yifeng ， et al . Point Clouds Classification for Building Facade Structures Based on Optimal Neighborhood Feature Extraction and Improved Random Forest ［J］. Journal of Geomatics ， 2025 ， 50 （ 5 ）： 111 - 116 .

WU W X ， QI Z A ， LI F X . PointConv： Deep Convolutional Networks on 3D Point Clouds ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， USA ， 2020 .

HUANG Q G ， WANG W Y ， NEUMANN U . Recurrent Slice Networks for 3D Segmentation of Point Clouds ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

杨森，花向红，李丞，等 . 融合特征选择的点云语义分割方法［J］. 测绘地理信息， 2025 ， 50 （ 2 ）： 19 - 25 .

YANG Sen ， HUA Xianghong ， LI Cheng ， et al . A Point Cloud Semantic Segmentation Method Based on Fusion Feature Selection ［J］. Journal of Geomatics ， 2025 ， 50 （ 2 ）： 19 - 25 .

HU Q Y ， YANG B ， XIE L H ， et al . RandLA-Net： Efficient Semantic Segmentation of Large-Scale Point Clouds ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Seattle， USA ， 2020 .

QIU S ， ANWAR S ， BARNES N . Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， USA ， 2021 .

ZENG Z Y ， XU Y Y ， XIE Z ， et al . LEARD-Net： Semantic Segmentation for Large-Scale Point Cloud Scene ［J］. International Journal of Applied Earth Observation and Geoinformation ， 2022 ， 112 ： 102953 .

THOMAS H ， QI C R ， DESCHAUD J E ， et al . KPConv： Flexible and Deformable Convolution for Point Clouds ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Seoul， Korea ， 2019 .

MA L F ， LI Y ， LI J ， et al . Multi-Scale Point-Wise Convolutional Neural Networks for 3D Object Segmentation from LiDAR Point Clouds in Large-Scale Environments ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2021 ， 22 （ 2 ）： 821 - 836 .

ARMENI I ， SENER O ， ZAMIR A R ， et al . 3D Semantic Parsing of Large-Scale Indoor Spaces ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Las Vegas， USA ， 2016 .

HACKEL T ， SAVINOV N ， LADICKY L ， et al . SEMANTIC3D.NET： A New Large-Scale Point Cloud Classification Benchmark ［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences ， 2017 ， IV-1/W 1 ： 91 - 98 .

LANDRIEU L ， SIMONOVSKY M . Large-Scale Point Cloud Semantic Segmentation with Superpoint Graphs ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

LI Y Y ， BU R ， SUN M C ， et al . PointCNN： Convolution on X-Transformed Points ［C］// Neural Information Processing Systems ， Montréal， Canada ， 2018 .

ZHANG Z Y ， HUA B S ， YEUNG S K . ShellNet： Efficient Point Cloud Convolutional Neural Networks Using Concentric Shells Statistics ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Seoul， Korea ， 2020 .

TCHAPMI L ， CHOY C ， ARMENI I ， et al . SEGCloud： Semantic Segmentation of 3D Point Clouds ［C］// International Conference on 3D Vision ， Qingdao， China ， 2018 .

WANG L ， HUANG Y C ， HOU Y L ， et al . Graph Attention Convolution for Point Cloud Semantic Segmentation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， USA ， 2020 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

DCMR-Net： A Multi-scale Residual Denoising Network for Seismic Records with Complex Noise

Advances in Multimodal Remote Sensing Image Matching： A Survey from Conventional Approaches to Deep Learning

Reservoir Bank Slope Displacement Prediction Model Based on Lagged Attenuation Effect and Key Factor Selection Strategy

Rooftop Photovoltaic Potential Estimation Approach Based on Orientation Perception and Quantitative Integration

A CNN-Based Method for Computational Intensity Prediction and Geospatial Domain Decomposition

Related Author

CHEN Guanzhi

ZHANG Chengfeng

ZHANG Han

NI Sidao

WANG Mi

FAN Zhongli

YE Yuanxin

LING Qing

Related Institution

State Key Laboratory of Precision Geodesy, Innovation Academy for Precision Measurement Science and Technology, Chinese Academy of Sciences

School of Earth and Space Sciences, University of Science and Technology of China

State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University

Hubei Luojia Laboratory

Faculty of Geosciences and Engineering,Southwest Jiaotong University

AI问答

⁰