Point Cloud Intelligent Understanding： Transition from Point-Centric to Language-Centric Paradigm

ZHANG Yunsheng; WANG Xuying; CHEN Siyang; LI Haifeng

doi:10.13203/j.whugis20240497

您当前的位置：

首页 >

文章列表页 >

Point Cloud Intelligent Understanding： Transition from Point-Centric to Language-Centric Paradigm

Review | 更新时间：2026-11-05

- Point Cloud Intelligent Understanding： Transition from Point-Centric to Language-Centric Paradigm
- Geomatics and Information Science of Wuhan University Vol. 51, Issue 6, Pages: 1073-1087(2026)
- 作者机构：
  
  1.中南大学地球科学与信息物理学院，湖南长沙，410075
  2.实景三维建设与应用技术湖南省工程研究中心，湖南长沙，410000
  3.高速铁路建造技术国家工程研究中心，湖南长沙，410075
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20240497
  CLC： P237
- Received：16 April 2025，
  
  Published：05 June 2026
- 稿件说明：
移动端阅览
张云生,王旭颖,陈斯飏，等.点云智能理解：从点云中心至语言中心的转变[J].武汉大学学报（信息科学版）,2026,51(6):1073-1087.

ZHANG Yunsheng,WANG Xuying,CHEN Siyang,et al.Point Cloud Intelligent Understanding: Transition from Point-Centric to Language-Centric Paradigm[J].Geomatics and Information Science of Wuhan University,2026,51(6):1073-1087.
张云生,王旭颖,陈斯飏，等.点云智能理解：从点云中心至语言中心的转变[J].武汉大学学报（信息科学版）,2026,51(6):1073-1087. DOI：10.13203/j.whugis20240497

ZHANG Yunsheng,WANG Xuying,CHEN Siyang,et al.Point Cloud Intelligent Understanding: Transition from Point-Centric to Language-Centric Paradigm[J].Geomatics and Information Science of Wuhan University,2026,51(6):1073-1087. DOI：10.13203/j.whugis20240497

摘要

三维时空信息在实景三维中国建设的国家新型基础设施战略中占据重要地位，机载航空点云数据在大规模三维时空信息获取中发挥了关键作用。围绕点云数据的深度解译与语义信息提取需求，系统梳理了点云理解范式的发展脉络，从前深度学习时代的模型驱动与数据驱动范式，到后深度学习时代的自监督信号驱动范式，再到当前基于预训练基础大模型的大模型驱动范式。在此基础上，提出了以语言为中心的机载航空点云理解范式，系统分析了其面临的关键挑战及未来发展方向，旨在为点云智能理解的技术创新与研究拓展提供新的视角和思路。

Abstract

Objectives

In recent years

3D spatiotemporal information has become a cornerstone of national new infrastructure construction

with airborne point clouds playing a critical role in large-scale 3D data acquisition. However

effectively interpreting these point clouds and extracting their semantic richness remain significant challenges. Traditional methods

including geometry-driven feature extraction and data-driven deep learning models

have achieved limited progress but struggle with the complexity and scale of airborne point clouds. Advances in large-scale foundation models (FM)

particularly in natural language processing and vision-language integration

offer new opportunities for point cloud understanding. Large language models exhibit exceptional generalization and cross-modal semantic capabilities

enabling a language-centered paradigm. By leveraging language models to map point cloud data into a semantically enriched space

this approach addresses limitations of traditional methods.

Methods

The evolution of point cloud understanding is examined across geometry- and data-driven approaches

self-supervised paradigms

and FM-driven methodologies. A language-centered framework for airborne point cloud understanding is proposed

tackling high-level semantic modeling

cross-modal alignment

and downstream task adaptation. Results demonstrate enhanced semantic representation

improved generalization

and significant advantages in complex scenarios.

Results

The findings provide new insights into point cloud understanding and establish a foundation for integrating large-scale models into 3D applications.

Conclusions

These contributions offer innovative perspectives and technical solutions for advancing point cloud technologies in national infrastructure projects.

关键词

Keywords

references

唐小川，涂子涵，任绪清，等 . 一种识别植被覆盖滑坡的多模态深度神经网络模型［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 9 ）： 1566 - 1573 .

TANG Xiaochuan ， TU Zihan ， REN Xuqing ， et al . A Multi-modal Deep Neural Network Model for Forested Landslide Detection ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 9 ）： 1566 - 1573 .

邓博，张会，柏君，等 . 利用机载LiDAR的深圳市斜坡类地质灾害危险性评价［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 8 ）： 1377 - 1391 .

DENG Bo ， ZHANG Hui ， BAI Jun ， et al . Hazard Evaluation of the Slope Based on Airborne LiDAR Data in Shenzhen， China ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 8 ）： 1377 - 1391 .

刘小莎，董秀军，钱济人，等 . 高植被山区泥石流物源LiDAR遥感精细识别方法研究［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 3 ）： 400 - 410 .

LIU Xiaosha ， DONG Xiujun ， QIAN Jiren ， et al . Airborne LiDAR-Based Debris Flow Material Sources Remote Sensing Recognition in Lush Mountainous Area ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 3 ）： 400 - 410 .

董秀军，邓博，袁飞云，等 . 航空遥感在地质灾害领域的应用：现状与展望［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 12 ）： 1897 - 1913 .

DONG Xiujun ， DENG Bo ， YUAN Feiyun ， et al . Application of Aerial Remote Sensing in Geological Hazards： Current Situation and Prospects ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 12 ）： 1897 - 1913 .

LIAN R B ， WANG W X ， MUSTAFA N ， et al . Road Extraction Methods in High-Resolution Remote Sensing Images： A Comprehensive Review ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2020 ， 13 ： 5489 - 5507 .

詹杰，徐帆，时逸舟，等 . 深度学习三维点云上采样算法综述［J］. 中国图象图形学报， 2026 ， 31 （ 3 ）： 686 - 718 .

ZHAN Jie ， XU Fan ， SHI Yizhou ， et al . Review of Deep Learning-Based 3D Point Cloud Upsampling Algorithms ［J］. Journal of Image and Graphics ， 2026 ， 31 （ 3 ）： 686 - 718 .

GUO Y L ， WANG H Y ， HU Q Y ， et al . Deep Learning for 3D Point Clouds： A Survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 12 ）： 4338 - 4364 .

陈军，刘建军，田海波 . 实景三维中国建设的基本定位与技术路径［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 10 ）： 1568 - 1575 .

CHEN Jun ， LIU Jianjun ， TIAN Haibo . Basic Directions and Technological Path for Building 3D Realistic Geospatial Scene in China ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 10 ）： 1568 - 1575 .

龚健雅，季顺平 . 从摄影测量到计算机视觉［J］. 武汉大学学报（信息科学版）， 2017 ， 42 （ 11 ）： 1518 - 1522 .

GONG Jianya ， JI Shunping . From Photogrammetry to Computer Vision ［J］. Geomatics and Information Science of Wuhan University ， 2017 ， 42 （ 11 ）： 1518 - 1522 .

张立强，李洋，侯正阳，等 . 深度学习与遥感数据分析［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 12 ）： 1857 - 1864 .

ZHANG Liqiang ， LI Yang ， HOU Zhengyang ， et al . Deep Learning and Remote Sensing Data Analysis ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 12 ）： 1857 - 1864 .

ARMENI I ， SENER O ， ZAMIR A R ， et al . 3D Semantic Parsing of Large-Scale Indoor Spaces ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， USA ， 2016 .

HACKEL T ， SAVINOV N ， LADICKY L ， et al . Semantic3D.net： A New Large-Scale Point Cloud Classification Benchmark ［PP/OL］. V1. arXiv （ 2017-04-12 ）［ 2024-10-19 ］. https：//arxiv.org/abs/1704.03847 https://arxiv.org/abs/1704.03847 .

QIU B ， ZHOU Y Z ， DAI L ， et al . WHU-Railway3D： A Diverse Dataset and Benchmark for Railway Point Cloud Semantic Segmentation ［J］. IEEE Transactions on Intelligent Transportation Systems ， 2024 ， 25 （ 12 ）： 20900 - 20916 .

NIEMEYER J ， ROTTENSTEINER F ， SOERGEL U . Contextual Classification of LiDAR Data and Building Object Detection in Urban Areas ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2014 ， 87 ： 152 - 165 .

杨必胜，陈一平，邹勤 . 从大模型看测绘时空信息智能处理的机遇和挑战［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 11 ）： 1756 - 1768 .

YANG Bisheng ， CHEN Yiping ， ZOU Qin . Opportunities and Challenges of Spatiotemporal Information Intelligent Processing of Surveying and Mapping in the Era of Large Models ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 11 ）： 1756 - 1768 .

BAI Y T ， GENG X Y ， MANGALAM K ， et al . Sequential Modeling Enables Scalable Learning for Large Vision Models ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2024 .

ZHANG A S ， LI S ， WU J ， et al . Exploring Semantic Information Extraction from Different Data Forms in 3D Point Cloud Semantic Segmentation ［J］. IEEE Access ， 2023 ， 11 ： 61929 - 61949 .

丁博，张立宝，秦健，等 . 语义增强图像-文本预训练模型的零样本三维模型分类［J］. 电子与信息学报， 2024 ， 46 （ 8 ）： 3314 - 3323 .

DING Bo ， ZHANG Libao ， QIN Jian ， et al . Zero-Shot 3D Shape Classification Based on Semantic-Enhanced Language-Image Pre-Training Model ［J］. Journal of Electronics & Information Technology ， 2024 ， 46 （ 8 ）： 3314 - 3323 .

JOHNSON A E ， HEBERT M . Surface Matching for Object Recognition in Complex Three-Dimensional Scenes ［J］. Image and Vision Computing ， 1998 ， 16 （ 9/10 ）： 635 - 651 .

RUSU R B ， BLODOW N ， BEETZ M . Fast Point Feature Histograms （FPFH） for 3D Registration ［C］// IEEE International Conference on Robotics and Automation ， Kobe， Japan ， 2009 .

SALTI S ， TOMBARI F ， DI STEFANO L . SHOT： Unique Signatures of Histograms for Surface and Texture Description ［J］. Computer Vision and Image Understanding ， 2014 ， 125 ： 251 - 264 .

WOHLKINGER W ， VINCZE M . Ensemble of Shape Functions for 3D Object Classification ［C］// IEEE International Conference on Robotics and Biomimetics ， Karon Beach， Thailand ， 2012 .

RUSU R B ， BRADSKI G ， THIBAUX R ， et al . Fast 3D Recognition and Pose Using the Viewpoint Feature Histogram ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems ， Taipei， China ， 2010 .

WEINMANN M ， JUTZI B ， HINZ S ， et al . Semantic Point Cloud Interpretation Based on Optimal Neighborhoods， Relevant Features and Efficient Classifiers ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2015 ， 105 ： 286 - 304 .

GUO Y L ， BENNAMOUN M ， SOHEL F ， et al . A Comprehensive Performance Evaluation of 3D Local Feature Descriptors ［J］. International Journal of Computer Vision ， 2016 ， 116 （ 1 ）： 66 - 89 .

YAN X ， ZHENG C D ， LI Z ， et al . PointASNL： Robust Point Clouds Processing Using Nonlocal Neural Networks with Adaptive Sampling ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2020 .

LANDRIEU L ， RAGUET H ， VALLET B ， et al . A Structured Regularization Framework for Spatially Smoothing Semantic Labelings of 3D Point Clouds ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2017 ， 132 ： 102 - 118 .

XU S ， VOSSELMAN G ， OUDE ELBERINK S . Multiple-Entity Based Classification of Airborne Laser Scanning Data in Urban Areas ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2014 ， 88 ： 1 - 15 .

HUANG R ， HONG D F ， XU Y S ， et al . Multi-Scale Local Context Embedding for LiDAR Point Cloud Classification ［J］. IEEE Geoscience and Remote Sensing Letters ， 2020 ， 17 （ 4 ）： 721 - 725 .

KANG Z Z ， YANG J T . A Probabilistic Graphical Model for the Classification of Mobile LiDAR Point Clouds ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2018 ， 143 ： 108 - 123 .

YANG B S ， DONG Z . A Shape-Based Segmentation Method for Mobile Laser Scanning Point Clouds ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2013 ， 81 ： 19 - 30 .

VERDOJA F ， THOMAS D ， SUGIMOTO A . Fast 3D Point Cloud Segmentation Using Supervoxels with Geometry and Color for 3D Scene Understanding ［C］// IEEE International Conference on Multimedia and Expo ， Hong Kong， China ， 2017 .

SU H ， MAJI S ， KALOGERAKIS E ， et al . Multi-view Convolutional Neural Networks for 3D Shape Recognition ［C］// IEEE International Conference on Computer Vision （ICCV）， Santiago， Chile ， 2015 .

QI C R ， SU H ， NIEßNER M ， et al . Volumetric and Multi-view CNNs for Object Classification on 3D Data ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， USA ， 2016 .

FENG Y F ， ZHANG Z Z ， ZHAO X B ， et al . GVCNN： Group-View Convolutional Neural Networks for 3D Shape Recognition ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

WANG C ， PELILLO M ， SIDDIQI K . Dominant Set Clustering and Pooling for Multi-view 3D Object Recognition ［PP/OL］. V1. arXiv （ 2019-06-04 ）［ 2024-01-06 ］. https：//arxiv.org/abs/1906.01592 https://arxiv.org/abs/1906.01592 .

HAMDI A ， GIANCOLA S ， GHANEM B . MVTN： Multi-view Transformation Network for 3D Shape Recognition ［C］// IEEE/CVF International Conference on Computer Vision ， Montreal， Canada ， 2022 .

MATURANA D ， SCHERER S . VoxNet： A 3D Convolutional Neural Network for Real-Time Object Recognition ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems ， Hamburg， Germany ， 2015 .

RIEGLER G ， ULUSOY A O ， GEIGER A . OctNet： Learning Deep 3D Representations at High Resolutions ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Honolulu， USA ， 2017 .

KLOKOV R ， LEMPITSKY V . Escape from Cells： Deep Kd-Networks for the Recognition of 3D Point Cloud Models ［C］// IEEE International Conference on Computer Vision ， Venice， Italy ， 2017 .

WANG L ， HUANG Y C ， SHAN J ， et al . MSNet： Multi-scale Convolutional Network for Point Cloud Classification ［J］. Remote Sensing ， 2018 ， 10 （ 4 ）： 612 .

XU J Y ， ZHANG R X ， DOU J ， et al . RPVNet： A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation ［C］// IEEE/CVF International Conference on Computer Vision ， Montreal， Canada ， 2022 .

ZHANG C ， WAN H C ， SHEN X Y ， et al . PVT： Point-Voxel Transformer for Point Cloud Learning ［J］. International Journal of Intelligent Systems ， 2022 ， 37 （ 12 ）： 11985 - 12008 .

CHOY C ， GWAK J ， SAVARESE S . 4D Spatio-temporal ConvNets： Minkowski Convolutional Neural Networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Long Beach， USA ， 2020 .

TANG H T ， LIU Z J ， ZHAO S Y ， et al . Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution ［C］// Computer Vision-ECCV ， Glasgow， UK ， 2020 .

WU Z R ， SONG S R ， KHOSLA A ， et al . 3D ShapeNets： A Deep Representation for Volumetric Shapes ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Boston， USA ， 2015 .

LI Y Y ， PIRK S ， SU H ， et al . FPNN： Field Probing Neural Networks for 3D Data ［PP/OL］. V3. arXiv （ 2016-10-25 ）［ 2024-08-17 ］. https：//arxiv.org/abs/1605.06240 https://arxiv.org/abs/1605.06240 .

MENG H Y ， GAO L ， LAI Y K ， et al . VV-Net： Voxel VAE Net with Group Convolutions for Point Cloud Segmentation ［C］// IEEE/CVF International Conference on Computer Vision ， Seoul， Korea ， 2020 .

CHARLES R Q ， HAO S ， MO K C ， et al . PointNet： Deep Learning on Point Sets for 3D Classification and Segmentation ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Honolulu， USA ， 2017 .

QI C R ， YI L ， SU H ， et al . PointNet++： Deep Hierarchical Feature Learning on Point Sets in a Metric Space ［PP/OL］. V1. arXiv （ 2017-06-07 ）［ 2024-09-21 ］. https：//arxiv.org/abs/1706.02413 https://arxiv.org/abs/1706.02413 .

HU Q Y ， YANG B ， XIE L H ， et al . RandLA-Net： Efficient Semantic Segmentation of Large-Scale Point Clouds ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2020 .

XU M T ， ZHANG J H ， ZHOU Z P ， et al . Learning Geometry-Disentangled Representation for Complementary Understanding of 3D Object Point Cloud ［C］// AAAI Conference on Artificial Intelligence ， Online ， 2021 .

QIAN G C ， LI Y C ， PENG H W ， et al . PointNeXt： Revisiting PointNet++ with Improved Training and Scaling Strategies ［C］// Conference on Neural Information Processing Systems ， New Orleans， USA ， 2022 .

MA X ， QIN C ， YOU H X ， et al . Rethinking Network Design and Local Geometry in Point Cloud： A Simple Residual MLP Framework ［PP/OL］. V2. arXiv （ 2022-11-29 ）［ 2024-11-14 ］. https：//arxiv.org/abs/2202.07123 https://arxiv.org/abs/2202.07123 .

CHEN B J ， XIA Y Z ， ZANG Y ， et al . Decoupled Local Aggregation for Point Cloud Learning ［PP/OL］. V1. arXiv （ 2023-08-31 ）［ 2024-07-17 ］. https：//arxiv.org/abs/2308.16532 https://arxiv.org/abs/2308.16532 .

WANG Y ， SUN Y B ， LIU Z W ， et al . Dynamic Graph CNN for Learning on Point Clouds ［J］. ACM Transactions on Graphics ， 2019 ， 38 （ 5 ）： 1 - 12 .

ZHANG K G ， HAO M ， WANG J ， et al . Linked Dynamic Graph CNN： Learning on Point Cloud via Linking Hierarchical Features ［PP/OL］. V2. arXiv （ 2019-08-06 ）［ 2024-11-15 ］. https：//arxiv.org/abs/1904.10014 https://arxiv.org/abs/1904.10014 .

LU Q ， CHEN C ， XIE W J ， et al . PointNGCNN： Deep Convolutional Networks on 3D Point Clouds with Neighborhood Graph Filters ［J］. Computers & Graphics ， 2020 ， 86 ： 42 - 51 .

XU Q G ， SUN X D ， WU C Y ， et al . Grid-GCN for Fast and Scalable Point Cloud Learning ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2020 .

ATZMON M ， MARON H ， LIPMAN Y . Point Convolutional Neural Networks by Extension Operators ［PP/OL］. V1. arXiv （ 2018-05-27 ）［ 2024-12-05 ］. https：//arxiv.org/abs/1803.10091 https://arxiv.org/abs/1803.10091 .

LI Y Y ， BU R ， SUN M C ， et al . PointCNN： Convolution on X-Transformed Points ［C］// Neural Information Processing Systems ， Montreal， Canada ， 2018 .

LIU Y C ， FAN B ， XIANG S M ， et al . Relation-Shape Convolutional Neural Network for Point Cloud Analysis ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Long Beach， USA ， 2020 .

THOMAS H ， QI C R ， DESCHAUD J E ， et al . KPConv： Flexible and Deformable Convolution for Point Clouds ［C］// IEEE/CVF International Conference on Computer Vision ， Seoul， Korea ， 2019 .

ZHAO H S ， JIANG L ， JIA J Y ， et al . Point Transformer ［C］// IEEE/CVF International Conference on Computer Vision ， Montreal， Canada ， 2022 .

GUO M H ， CAI J X ， LIU Z N ， et al . PCT： Point Cloud Transformer ［J］. Computational Visual Media ， 2021 ， 7 （ 2 ）： 187 - 199 .

LAI X ， LIU J H ， JIANG L ， et al . Stratified Transformer for 3D Point Cloud Segmentation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， New Orleans， USA ， 2022 .

JIANG L ， LAO Y X ， LIU X H ， et al . Point Transformer V2： Grouped Vector Attention and Partition-Based Pooling ［C］// Conference on Neural Information Processing Systems ， New Orleans， Louisiana， USA， 2022 .

WU X Y ， JIANG L ， WANG P S ， et al . Point Transformer V3： Simpler， Faster， Stronger ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2024 .

XIE S N ， GU J T ， GUO D M ， et al . PointContrast： Unsupervised Pre-Training for 3D Point Cloud Understanding ［C］// European Conference on Computer Vision ， Glasgow， UK ， 2020 .

YIN J B ， ZHOU D F ， ZHANG L J ， et al . ProposalContrast： Unsupervised Pre-Training for LiDAR-Based 3D Object Detection ［C］// European Conference on Computer Vision ， Tel Aviv， Israel ， 2022 .

WANG C Y ， JIANG L ， WU X Y ， et al . GroupContrast： Semantic-Aware Self-Supervised Representation Learning for 3D Understanding ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2024 .

JIANG L ， SHI S S ， TIAN Z T ， et al . Guided Point Contrastive Learning for Semi-Supervised Point Cloud Semantic Segmentation ［C］// IEEE/CVF International Conference on Computer Vision ， Montreal， Canada ， 2022 .

DU B A ， GAO X ， HU W ， et al . Self-Contrastive Learning with Hard Negative Sampling for Self-Supervised Point Cloud Learning ［C］// ACM International Conference on Multimedia ， Chengdu， China ， 2021 .

AFHAM M ， DISSANAYAKE I ， DISSANAYAKE D ， et al . CrossPoint： Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， New Orleans， USA ， 2022 .

LIU M Z ， ZHOU Q ， ZHAO H S ， et al . Prototype-Voxel Contrastive Learning for LiDAR Point Cloud Panoptic Segmentation ［C］// International Conference on Robotics and Automation ， Philadelphia， USA ， 2022 .

YU X M ， TANG L L ， RAO Y M ， et al . Point-BERT： Pre-Training 3D Point Cloud Transformers with Masked Point Modeling ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， New Orleans， USA ， 2022 .

PANG Y T ， WANG W X ， TAY F E H ， et al . Masked Autoencoders for Point Cloud Self-Supervised Learning ［C］// European Conference on Computer Vision ， Tel Aviv， Israel ， 2022 .

FANG R Y ， GAO P ， GUO Z Y ， et al . Point-M2AE： Multi-scale Masked Autoencoders for Hierarchical Point Cloud Pre-Training ［C］// Conference on Neural Information Processing Systems ， New Orleans， Louisiana， USA， 2022 .

REN B ， MEI G F ， PANI PAUDEL D ， et al . Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning ［C］// Asian Conference on Computer Vision ， Hanoi， Vietnam ， 2024 .

HESS G ， JAXING J ， SVENSSON E ， et al . Masked Autoencoder for Self-Supervised Pre-Training on LiDAR Point Clouds ［C］// IEEE/CVF Winter Conference on Applications of Computer Vision Workshops ， Waikoloa， USA ， 2023 .

ZHANG Y B ， LIN J H ， LI R H ， et al . Point-DAE： Denoising Autoencoders for Self-Supervised Point Cloud Learning ［PP/OL］. V4. arXiv （ 2024-07-26 ）［ 2024-12-01 ］. https：//arxiv.org/abs/2211.06841 https://arxiv.org/abs/2211.06841 .

LIU X H ， LIU X C ， LIU Y S ， et al . SPU-Net： Self-Supervised Point Cloud Upsampling by Coarse-to-Fine Reconstruction with Self-Projection Optimization ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 4213 - 4226 .

OPENAI ， ACHIAM J ， ADLER S ， et al . GPT-4 Technical Report ［PP/OL］. V6. arXiv （ 2024-03-04 ）［ 2024-11-28 ］. https：//arxiv.org/abs/2303.08774 https://arxiv.org/abs/2303.08774 .

ZHANG R R ， WANG L H ， QIAO Y ， et al . Learning 3D Representations from 2D Pre-Trained Models via Image-to-Point Masked Autoencoders ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Vancouver， Canada ， 2023 .

YAN S M ， SONG C ， KONG Y K ， et al . Multi-view Representation Is What You Need for Point-Cloud Pre-Training ［C］// International Conference on Learning Representations ， Kigali， Rwanda ， 2023 .

ZHOU J S ， WANG J S ， MA B R ， et al . Uni3D： Exploring Unified 3D Representation at Scale ［PP/OL］. V1. arXiv （ 2023-10-10 ）［ 2024-10-09 ］. https：//arxiv.org/abs/2310.06773 https://arxiv.org/abs/2310.06773 .

KIRILLOV A ， MINTUN E ， RAVI N ， et al . Segment Anything ［C］// IEEE/CVF International Conference on Computer Vision ， Paris， France ， 2024 .

YANG Y H ， WU X Y ， HE T ， et al . SAM3D： Segment Anything in 3D Scenes ［PP/OL］. V1. arXiv （ 2023-06-06 ）［ 2024-11-21 ］. https：//arxiv.org/abs/2306.03908 https://arxiv.org/abs/2306.03908 .

PENG X ， CHEN R ， QIAO F ， et al . Learning to Adapt SAM for Segmenting Cross-domain Point Clouds ［PP/OL］. V4. arXiv （ 2024-09-22 ）［ 2024-12-05 ］. https：//arxiv.org/abs/2310.08820 https://arxiv.org/abs/2310.08820 .

XU M T ， YIN X ， QIU L T ， et al . SAMPro3D： Locating SAM Prompts in 3D for Zero-Shot Instance Segmentation ［PP/OL］. V2. arXiv （ 2025-02-04 ）［ 2025-02-21 ］. https：//arxiv.org/abs/2311.17707 https://arxiv.org/abs/2311.17707 .

CEN J ， CHEN K ， CHEN R N ， et al . Segment any Point Cloud Sequences by Distilling Vision Foundation Models ［C］// Conference on Neural Information Processing Systems ， New Orleans， Louisiana， USA， 2023 .

RADFORD A ， KIM J W ， HALLACY C ， et al . Learning Transferable Visual Models from Natural Language Supervision ［PP/OL］. V1. arXiv （ 2021-02-26 ）［ 2025-02-01 ］. https：//arxiv.org/abs/2103.00020 https://arxiv.org/abs/2103.00020 .

XUE L ， GAO M F ， XING C ， et al . ULIP： Learning a Unified Representation of Language， Images， and Point Clouds for 3D Understanding ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Vancouver， Canada ， 2023 .

XUE L ， YU N ， ZHANG S ， et al . ULIP-2： Towards Scalable Multimodal Pre-Training for 3D Understanding ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2024 .

ENGELMANN F ， FEDELE E ， POLLEFEYS M ， et al . OpenMask3D： Open-Vocabulary 3D Instance Segmentation ［C］// Conference on Neural Information Processing Systems ， New Orleans， Louisiana， USA， 2023 .

PENG S Y ， GENOVA K ， JIANG C Y ， et al . OpenScene： 3D Scene Understanding with Open Vocabularies ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Vancouver， Canada ， 2023 .

NAJIBI M ， JI J W ， ZHOU Y ， et al . Unsupervised 3D Perception with 2D Vision-Language Distillation for Autonomous Driving ［C］// IEEE/CVF International Conference on Computer Vision ， Paris， France ， 2024 .

ZHANG R R ， GUO Z Y ， ZHANG W ， et al . PointCLIP： Point Cloud Understanding by CLIP ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， New Orleans， USA ， 2022 .

ZHANG Y ， GONG K ， KANG Y ， et al . From Language to 3D Worlds： Adapting Language Models for Point Cloud Perception ［EB/OL］. （ 2023-09-19 ）［ 2024-05-17 ］. https：//openreview.net/forum？id=H49g8rRIiF https://openreview.net/forum?id=H49g8rRIiF .

XU R S ， WANG X L ， WANG T ， et al . PointLLM： Empowering Large Language Models to Understand Point Clouds ［C］// European Conference on Computer Vision ， Milan， Italy ， 2024 .

ZHU Z Y ， MA X J ， CHEN Y X ， et al . 3D-VisTA： Pre-Trained Transformer for 3D Vision and Text Alignment ［C］// IEEE/CVF International Conference on Computer Vision ， Paris， France ， 2024 .

QI Z Y ， FANG Y ， SUN Z Y ， et al . GPT4Point： A Unified Framework for Point-Language Understanding and Generation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， USA ， 2024 .

LU Y H ， JIANG Q ， CHEN R N ， et al . See more and Know More： Zero-Shot Point Cloud Segmentation via Multi-modal Visual Data ［C］// IEEE/CVF International Conference on Computer Vision ， Paris， France ， 2024 .

CHEN P H ， CHEN Z F ， DU Y L ， et al . 3D-LLM： Injecting the 3D World into Large Language Models ［C］// Conference on Neural Information Processing Systems ， New Orleans， USA ， 2023 .

GAO Y ， WANG Z ， ZHENG W S ， et al . Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-training ［PP/OL］. V2. arXiv （ 2024-04-05 ）［ 2024-12-05 ］. https：//arxiv.org/abs/2311.01734 https://arxiv.org/abs/2311.01734 .

HUANG R ， PAN X R ， ZHENG H ， et al . Joint Representation Learning for Text and 3D Point Cloud ［J］. Pattern Recognition ， 2024 ， 147 ： 110086 .

XIAO F ， XU H B ， WU Q X ， et al . SeCG： Semantic-Enhanced 3D Visual Grounding via Cross-Modal Graph Attention ［PP/OL］. V1. arXiv （ 2024-03-13 ）［ 2024-12-16 ］. https：//arxiv.org/abs/2403.08182 https://arxiv.org/abs/2403.08182 .

COLLOBERT R ， WESTON J ， BOTTOU L ， et al . Natural Language Processing （Almost） from Scratch ［J］. Journal of Machine Learning Research ， 2011 ， 12 ： 2493 - 2537 .

SHAO R ， ZHANG Z Y ， TAO C ， et al . Homogeneous Tokenizer Matters： Homogeneous Visual Tokenizer for Remote Sensing Image Understanding ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2024 ， 218 ： 294 - 310 .

HINTON G ， VINYALS O ， DEAN J . Distilling the Knowledge in a Neural Network ［PP/OL］. V1. arXiv （ 2015-03-09 ）［ 2025-01-14 ］. https：//arxiv.org/abs/1503.02531 https://arxiv.org/abs/1503.02531 .

LESTER B ， AL-RFOU R ， CONSTANT N . The Power of Scale for Parameter-Efficient Prompt Tuning ［PP/OL］. V2. arXiv （ 2021-09-02 ）［ 2025-01-15 ］. https：//arxiv.org/abs/2104.08691 https://arxiv.org/abs/2104.08691 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Spatiotemporal Intelligence： Theory and Applications

Research Progress in Eco-Geological Environmental Monitoring and Construction of an Intelligent Monitoring System in the Qinling Mountains

High-Resolution L-Band InSAR Study of Intense Near-Field Deformation Associated with Shallow Moderate Earthquakes

Thoughts on Smart Nautical Charts

Research Progress on Uncertainty in Radiometric Benchmark Transfer for Ocean Targets

Related Author

No data

Related Institution

No data

AI问答

⁰