低秩矩阵辅助的无人机影像建筑物立面纹理自动修复

景慧莹; 刘欣怡; 张永军; 任维成; 王雷; 姚永祥; 郭延庆

doi:10.13203/j.whugis20220399

您当前的位置：

首页 >

文章列表页 >

低秩矩阵辅助的无人机影像建筑物立面纹理自动修复

摄影测量与遥感 | 更新时间：2026-11-05

- 低秩矩阵辅助的无人机影像建筑物立面纹理自动修复
- Low-Rank Matrix Aided Automatic Texture Inpainting of Building Facades from UAV Images
- 武汉大学学报（信息科学版） 2025年50卷第1期页码：144-152
- 作者机构：
  
  1.武汉大学遥感信息工程学院，湖北武汉，430079
  2.山东正元航空遥感技术有限公司，山东济南，250098
  3.聊城市城乡规划设计研究院，山东聊城，252000
- 作者简介：
  
  景慧莹，硕士，主要研究方向为三维重建、纹理修复。jinghy1012@whu.edu.cn
  刘欣怡，博士，博士后。liuxy0319@whu.edu.cn
- 基金信息：
  
  国家自然科学基金(42201474;41871368)
- DOI：10.13203/j.whugis20220399
  中图分类号： P237
- 收稿：2023-01-28，
  
  纸质出版：2025-01-05
- 稿件说明：
移动端阅览
景慧莹,刘欣怡,张永军，等.低秩矩阵辅助的无人机影像建筑物立面纹理自动修复[J].武汉大学学报（信息科学版）,2025,50(1):144-152.

JING Huiying,LIU Xinyi,ZHANG Yongjun,et al.Low-Rank Matrix Aided Automatic Texture Inpainting of Building Facades from UAV Images[J].Geomatics and Information Science of Wuhan University,2025,50(1):144-152.
景慧莹,刘欣怡,张永军，等.低秩矩阵辅助的无人机影像建筑物立面纹理自动修复[J].武汉大学学报（信息科学版）,2025,50(1):144-152. DOI：10.13203/j.whugis20220399

JING Huiying,LIU Xinyi,ZHANG Yongjun,et al.Low-Rank Matrix Aided Automatic Texture Inpainting of Building Facades from UAV Images[J].Geomatics and Information Science of Wuhan University,2025,50(1):144-152. DOI：10.13203/j.whugis20220399

摘要

无人机数据采集过程中，受飞行高度、扫描视场角的限制，数据中的建筑物立面纹理存在遮挡问题，进而导致数据缺失。当前大量待修复数据都是采用人工勾选方式进行修复，人力成本高，时间消耗大。因此，从建筑物立面纹理低秩性和遮挡区域稀疏性切入，将建筑物立面纹理修复问题化为低秩矩阵补全问题，提出了一种低秩矩阵重建辅助的建筑物立面纹理自动修复算法。首先，利用鲁棒主成分分析自动完成立面纹理稀疏遮挡区域粗提取；然后，结合遮挡区域的先验条件填充精化得到稀疏区域，作为矩阵补全的约束条件；最后，在矩阵补全模型的基础上，采用非凸秩近似函数截断Schatten-p范数替代核范数，同时又引入总变分算子来解决建筑物立面纹理遮挡区域修复问题。仿真实验和真实数据结果表明：在建筑物低秩纹理修复中，所提算法的分割效果不亚于人工标记，修复效果优于现有算法，能自动提取出待修复区域，实现了人力解放和修复效果的双提升。

Abstract

Objective

Limited by flight height and scanning angle

the building façade texture is inevitably obscured resulting in missing unmanned aerial vehicle (UAV) data. However

in the face of a large amount of data

the current inpainting methods that need to manually select the target region appear time-consuming and labor-intensive. Therefore

we propose an automatic inpainting algorithm based on low-rank matrix reconstruction for facade texture

starting from the low-rank property of the building and the sparsity of occlusion

and modeling facade texture repairing as solving a low-rank matrix completion problem.

Methods

First

a robust principal component analysis algorithm is utilized to automatically complete the coarse extraction of the sparse occlusion of the façade texture. Second

the sparse region obtained by filling and refining with a priori conditions of the occlusion is used as a constraint for matrix completion. Finally

on the basis of the matrix completion

by adding the truncated Schatten p-norm and the total variation operator to correctly repair the occlusion of the façade.

Results

The result shows that our segmentation is as good as the manual marking

inpainting outperforms many state-of-the-art approaches.

Conclusions

Our method can automatically and accurately extract the target region

achieving the double improvement of the manpower liberation and the performance.

关键词

Keywords

references

陈军，刘建军，田海波 . 实景三维中国建设的基本定位与技术路径［J］. 武汉大学学报（信息科学版）， 2022 ， 47 （ 10 ）： 1568 - 1575 .

CHEN Jun ， LIU Jianjun ， TIAN Haibo . Basic Directions and Technological Path for Building 3D Realistic Geospatial Scene in China ［J］. Geomatics and Information Science of Wuhan University ， 2022 ， 47 （ 10 ）： 1568 - 1575 .

OTSU N . A Threshold Selection Method from Gray-Level Histograms ［J］. IEEE Transactions on Systems， Man， and Cybernetics ， 1979 ， 9 （ 1 ）： 62 - 66 .

张建廷，张立民 . 结合光谱和纹理的高分辨率遥感图像分水岭分割［J］. 武汉大学学报（信息科学版）， 2017 ， 42 （ 4 ）： 449 - 455 .

ZHANG Jianting ， ZHANG Limin . A Watershed Algorithm Combining Spectral and Texture Information for High Resolution Remote Sensing Image Segmentation ［J］. Geomatics and Information Science of Wuhan University ， 2017 ， 42 （ 4 ）： 449 - 455 .

ACHANTA R ， SHAJI A ， SMITH K ， et al . SLIC Superpixels Compared to State-of-the-Art Superpixel Methods ［J］. IEEE Transactions on Pattern Analysis & Machine Intelligence ， 2012 ， 34 （ 11 ）： 2274 - 2282 .

TANG M ， GORELICK L ， VEKSLER O ， et al . GrabCut in One Cut ［C］// IEEE International Conference on Computer Vision ， New York，USA ， 2013 .

张红英，彭启琮 . 数字图像修复技术综述［J］. 中国图象图形学报， 2007 （ 1 ）： 1 - 10 .

ZHANG Hongying ， PENG Qicong . A Survey on Digital Image Inpainting ［J］. Journal of Image and Graphics ， 2007 （ 1 ）： 1 - 10 .

CRIMINISI A ， PÉREZ P ， TOYAMA K . Object Removal by Exemplar-Based Inpainting ［C］// 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition ， Madison， WI， USA， 2003 .

BARNES C ， SHECHTMAN E ， FINKELSTEIN A ， et al . PatchMatch： A Randomized Correspondence Algorithm for Structural Image Editing ［J］. ACM Transactions on Graphics ， 2009 ， 28 （ 3 ）： 24 .

LIU G ， REDA F A ， SHIH K J ， et al . Image Inpainting for Irregular Holes Using Partial Convolutions ［C］// European Conference on Computer Vision ， Munich， Germany ， 2018 .

彭义刚，索津莉，戴琼海，等 . 从压缩传感到低秩矩阵恢复：理论与应用［J］. 自动化学报， 2013 ， 39 （ 7 ）： 981 - 994 .

PENG Yigang ， SUO Jinli ， DAI Qionghai ， et al . From Compressed Sensing to Low-Rank Matrix Recovery： Theory and Applications ［J］. Acta Automatica Sinica ， 2013 ， 39 （ 7 ）： 981 - 994 .

WRIGHT J ， GANESH A ， RAO S ， et al . Robust Principal Component Analysis： Exact Recovery of Corrupted Low-Rank Matrices via Convex Optimization ［C］// Conference and Workshop on Neural Information Processing Systems ， Vancouver， Canada ， 2009 .

SHEN B ， HU W ， ZHANG Y ， et al . Image Inpainting via Sparse Representation ［C］// IEEE International Conference on Acoustics， Speech and Signal Processing ， Taibei， Taiwan， China， 2009 .

CANDÈS E J ， RECHT B . Exact Matrix Completion via Convex Optimization ［J］. Foundations of Computational mathematics ， 2009 ， 9 （ 6 ）： 717 - 772 .

ZHANG D ， HU Y ， YE J ， et al . Matrix Completion by Truncated Nuclear Norm Regularization ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Providence， RI， USA， 2012 .

HU Z ， WANG Y ， SU R ， et al . Moving Object Detection Based on Non-Convex RPCA with Segmentation Constraint ［J］. IEEE Access ， 2020 ， 8 ： 41026 - 41036 .

ZHANG Z ， GANESH A ， LIANG X ， et al . TILT： Transform Invariant Low-Rank Textures ［J］. International Journal of Computer Vision ， 2012 ， 99 （ 1 ）： 1 - 24 .

BOYD S ， PARIKH N ， HU E C ， et al . Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers ［J］. Foundations & Trends in Machine Learning ， 2010 ， 3 （ 1 ）： 1 - 122 .

CAO F ， CHEN J ， YE H ， et al . Recovering Low-Rank and Sparse Matrix Based on the Truncated Nuclear Norm ［J］. Neural Networks ， 2017 ， 85 ： 10 - 20 .

NIE F ， WANG H ， CAI X ， et al . Robust Matrix Completion via Joint Schatten p-norm and Lp-norm Minimization ［C］// The 12th International Conferen‑ ce on Data Mining， Brussels， Belgium ， 2012 .

FENG L ， SUN H ， SUN Q ， et al . Image Compressive Sensing via Truncated Schatten-p Norm Regularization ［J］. Signal Processing： Image Communication ， 2016 ， 47 ： 28 - 41 .

梁霄 . 基于低秩矩阵优化的纹理图像修复［J］. 中国科技论文， 2016 ， 11 （ 20 ）： 2330 - 2336 .

LIANG Xiao . Low Rank Texture Repairing by Convex Optimization ［J］. China Science Paper ， 2016 ， 11 （ 20 ）： 2330 - 2336 .

ZUO W ， MENG D ， ZHANG L ， et al . A Generalized Iterated Shrinkage Algorithm for Non-convex Sparse Coding ［C］// IEEE International Conference on Computer Vision ， Sydney， Australia ， 2013 .

WANG Z ， BOVIK A C ， SHEIKH H R ， et al . Image Quality Assessment： from Error Visibility to Structural Similarity ［J］. IEEE Transactions on Image Processing ， 2004 ， 13 （ 4 ）： 600 - 612 .

HU Y ， ZHANG D ， YE J ， et al . Fast and Accurate Matrix Completion via Truncated Nuclear Norm Regularization ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2013 ， 35 （ 9 ）： 2117 - 2130 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

多尺度地理空间数据更新方法概述

星载温室气体激光雷达技术发展与展望

时空智能学：理论与应用

土壤水分机器学习遥感反演：进展与挑战

呼包鄂榆城市群草地脆弱性时空演变及因子可解释性分析