Object Detection in Remote Sensing Images by Utilizing Synthetic Data

LUO Shiqi; LUO Bin; SU Xin; ZHANG Jing; LIU Jun

doi:10.13203/j.whugis20230149

您当前的位置：

首页 >

文章列表页 >

Object Detection in Remote Sensing Images by Utilizing Synthetic Data

Photogrammetry and Remote Sensing | 更新时间：2026-11-05

- Object Detection in Remote Sensing Images by Utilizing Synthetic Data
- Geomatics and Information Science of Wuhan University Vol. 50, Issue 12, Pages: 2569-2579(2025)
- 作者机构：
  
  1.武汉大学测绘遥感信息工程全国重点实验室，湖北武汉，430079
  2.武汉大学遥感信息工程学院，湖北武汉，430079
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20230149
  CLC： P237
- Received：31 October 2024，
  
  Published：05 December 2025
- 稿件说明：
移动端阅览
罗诗琦,罗斌,苏鑫，等.利用模拟数据进行遥感图像目标检测模型训练[J].武汉大学学报（信息科学版）,2025,50(12):2569-2579.

LUO Shiqi,LUO Bin,SU Xin,et al.Object Detection in Remote Sensing Images by Utilizing Synthetic Data[J].Geomatics and Information Science of Wuhan University,2025,50(12):2569-2579.
罗诗琦,罗斌,苏鑫，等.利用模拟数据进行遥感图像目标检测模型训练[J].武汉大学学报（信息科学版）,2025,50(12):2569-2579. DOI：10.13203/j.whugis20230149

LUO Shiqi,LUO Bin,SU Xin,et al.Object Detection in Remote Sensing Images by Utilizing Synthetic Data[J].Geomatics and Information Science of Wuhan University,2025,50(12):2569-2579. DOI：10.13203/j.whugis20230149

摘要

遥感图像目标检测技术应用广泛，但是训练数据获取受到天气、政策等限制且标注成本高昂，然而由计算机渲染得到的模拟数据生成速度快且成本低，因此将模拟数据应用于遥感图像目标检测模型训练。首先，基于《侠盗猎车手5》提出了自动获取图像及其标注的模拟数据采集系统，快速构建大规模遥感图像目标检测模拟样本集；然后，通过构建循环生成对抗网络将模拟遥感图像风格迁移至真实遥感图像；最后，在真实数据集UCAS-AOD和NWPU VHR-10上评估了所提方法的有效性。结果表明，风格迁移减小了模拟数据与真实数据之间的域差异，将迁移后的模拟样本集用于预训练可提升检测精度，在Faster R-CNN和YOLOv8上的平均精度最高分别提升了27.9%和18.5%。所提方法减小了遥感图像目标检测训练集的构建成本，可以为真实标注数据不足的场景提供有价值的解决方案。

Abstract

Objectives

Object detection in remote sensing images is widely used

but the cost of training set labeling is high and the image acquisition is limited by weather conditions and policies. However

synthetic data generated by computer rendering is fast and low-cost. Therefore

this paper proposes an object detection method in remote sensing images by utilizing synthetic data.

Methods

First

a synthetic data collection system is developed based on Grand Theft Auto V (GTA5) to automatically obtain images and their annotations. And we construct a large-scale synthetic dataset named GTA5-Vehicle

which includes 29 657 instances of vehicles for object detection in remote sensing images. Then

the synthetic image style istransferred to real image style by constructing a cycle-consistent adversarial network while preserving their content. Finally

the effectiveness of the proposed method is evaluated on real datasets

including UCAS-AOD and NWPU VHR-10. To validate the generalization capability of the proposed method

both faster region-based convolutional neural network （Faster R-CNN) and YOLOv8 models are utilized in the object detection experiments.

Results

The results demonstrate that style transfer can reduce the domain discrepancy between synthetic and real data

and yield an enhancement in detection accuracy by utilizing the transferred synthetic dataset for pre-training. Specifically

in the absence of real annotated data

the application of style transfer to the Faster R-CNN model yields an average precision improvement of 8.7% across both real datasets. By training the YOLOv8 model on transferred synthetic dataset

it also produces remarkable average precision scores

reaching 80.9% and 66.5% on the respective datasets with intersection over union set to 0.5. Moreover

when a limited amount of real annotated data is available

utilizing the transferred simulated sample set for pre-training can enhance the detection accuracy

resulting in the highest average precision improvements of 27.9% and 18.5% for Faster R⁃CNN and YOLOv8

respectively.

Conclusions

The propose

d method not only reduces the cost associated with constructing the training set for object detection in remote sensing images

but also offers a valuable solution for settings with limited real annotated data. The synthetic data and code are available at:

https://lsq210.github.io/GTAVDataCollection/

关键词

Keywords

references

BENJDIRA B ， KHURSHEED T ， KOUBAA A ， et al . Car Detection Using Unmanned Aerial Vehicles： Comparison Between Faster R-CNN and YOLOv3 ［C］// The 1st International Conference on Unmanned Vehicle Systems-Oman （UVS）， Muscat， Oman ， 2019 .

姜万冬，席江波，李振洪，等 . 模拟困难样本的Mask R-CNN滑坡分割识别［J］. 武汉大学学报（信息科学版）， 2023 ， 48 （ 12 ）： 1931 - 1942 .

JIANG Wandong ， XI Jiangbo ， LI Zhenhong ， et al . Landslide Detection and Segmentation Using Mask R-CNN with Simulated Hard Samples ［J］. Geomatics and Information Science of Wuhan University ， 2023 ， 48 （ 12 ）： 1931 - 1942 .

刘梓航，刘欣怡，张永军 . 联合全局-局部特征和动态错误监督的遥感影像建筑物损伤评估方法［J］. 武汉大学学报（信息科学版）， 2025 ， 50 （ 9 ）： 1888 - 1903 .

LIU Zihang ， LIU Xinyi ， ZHANG Yongjun . Building Damage Assessment from Satellite Images Combining Global-Local Features and Dynamic Error Supervision ［J］. Geomatics and Information Science of Wuhan University ， 2025 ， 50 （ 9 ）： 1888 - 1903 .

BOUGUETTAYA A ， ZARZOUR H ， KECHIDA A ， et al . Vehicle Detection from UAV Imagery with Deep Learning： A Review ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2022 ， 33 （ 11 ）： 6047 - 6067 .

谢亚坤，陈铭臻，赵耀纪，等 . 顾及小目标特征的无人机影像人员检测方法［J］. 武汉大学学报（信息科学版）， 2025 ， 50 （ 6 ）： 1077 - 1087 .

XIE Yakun ， CHEN Mingzhen ， ZHAO Yaoji ， et al . A Person Detection Method for UAV Imagery Considering Small Object Features ［J］. Geomatics and Information Science of Wuhan University ， 2025 ， 50 （ 6 ）： 1077 - 1087 .

LIU Z K ， WANG H Z ， WENG L B ， et al . Ship Rotated Bounding Box Space for Ship Extraction from High-Resolution Optical Satellite Images with Complex Backgrounds ［J］. IEEE Geoscience and Remote Sensing Letters ， 2016 ， 13 （ 8 ）： 1074 - 1078 .

XU J ， SUN X ， ZHANG D B ， et al . Automatic Detection of Inshore Ships in High-Resolution Remote Sensing Images Using Robust Invariant Generalized Hough Transform ［J］. IEEE Geoscience and Remote Sensing Letters ， 2014 ， 11 （ 12 ）： 2070 - 2074 .

CHENG G ， HAN J W ， ZHOU P C ， et al . Multi-Class Geospatial Object Detection and Geographic Image Classification Based on Collection of Part Detectors ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2014 ， 98 ： 119 - 132 .

LONG Y ， GONG Y P ， XIAO Z F ， et al . Accurate Object Localization in Remote Sensing Images Based on Convolutional Neural Networks ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 5 ）： 2486 - 2498 .

胡佳睿，潘俊，赵和鹏，等 . 基于顾及上下文特征的耕地范围建筑物检测［J］. 测绘地理信息， 2025 ， 50 （ 3 ）： 121 - 124 .

HU Jiarui ， PAN Jun ， ZHAO Hepeng ， et al . Building Detection in the Arable Land Based on Contextual Features ［J］. Journal of Geomatics ， 2025 ， 50 （ 3 ）： 121 - 124 .

REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 .

张晓华，李小龙，艾金泉，等 . 复杂背景下基于改进Mask R-CNN的路面裂缝检测算法［J］. 北京测绘， 2024 ， 38 （ 3 ）： 431 - 436 .

ZHANG Xiaohua ， LI Xiaolong ， AI Jinquan ， et al . Road Crack Detection Algorithm Based on Improved Mask R-CNN in Complex Backgrounds ［J］. Beijing Surveying and Mapping ， 2024 ， 38 （ 3 ）： 431 - 436 .

LIU W C ， MA L ， CHEN H . Arbitrary-Oriented Ship Detection Framework in Optical Remote-Sensing Images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2018 ， 15 （ 6 ）： 937 - 941 .

LIU C Y ， WU Y Q ， LIU J J ， et al . Improved YOLOv3 Network for Insulator Detection in Aerial Images with Diverse Background Interference ［J］. Electronics ， 2021 ， 10 （ 7 ）： 771 .

黄丽，龚志鹏，刘凡凡，等 . 图像跨尺度特征融合与数据增强的公交客流检测模型［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 5 ）： 700 - 708 .

HUANG Li ， GONG Zhipeng ， LIU Fanfan ， et al . Bus Passenger Flow Detection Model Based on Image Cross-Scale Feature Fusion and Data Augmentation ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 5 ）： 700 - 708 .

YU J ， ZENG P ， YU Y Y ， et al . A Combined Convolutional Neural Network for Urban Land-Use Classification with GIS Data ［J］. Remote Sensing ， 2022 ， 14 （ 5 ）： 1128 ..

HAN W ， CHEN J ， WANG L Z ， et al . Methods for Small， Weak Object Detection in Optical High-Resolution Remote Sensing Images： A Survey of Advances and Challenges ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2021 ， 9 （ 4 ）： 8 - 34 .

张磊，张永生，于英，等 . 遥感图像目标检测的数据增广研究［J］. 测绘科学技术学报， 2019 ， 36 （ 5 ）： 505 - 510 .

ZHANG Lei ， ZHANG Yongsheng ， YU Ying ， et al . Research on Data Augmentation for Object Detection of Remote Sensing Image ［J］. Journal of Geomatics Science and Technology ， 2019 ， 36 （ 5 ）： 505 - 510 .

LIN Y ， SUZUKI K ， TAKEDA H ， et al . Generating Synthetic Training Data for Object Detection Using Multi-task Generative Adversarial Networks ［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences ， 2020 ， V-2- 2020 ： 443 - 449 .

杨志钢，杨远兰，苍思远，等 . 基于GAN的船舶遥感图像数据增广方法［J］. 应用科技， 2022 ， 49 （ 5 ）： 8 - 14 .

YANG Zhigang ， YANG Yuanlan ， CANG Siyuan ， et al . Data Augmentation Method of Ship Remote Sensing Images Based on GAN ［J］. Applied Science and Technology ， 2022 ， 49 （ 5 ）： 8 - 14 .

LIU W X ， LUO B ， LIU J . Synthetic Data Augmentation Using Multiscale Attention CycleGAN for Aircraft Detection in Remote Sensing Images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2022 ， 19 ： 4009205 .

ZHANG W C ， ZHANG R ， WANG G Q ， et al . Physics Guided Remote Sensing Image Synthesis Network for Ship Detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2023 ， 61 ： 4700814 .

RICHTER S R ， VINEET V ， ROTH S ， et al . Playing for Data： Ground Truth from Computer Games ［M］// Computer Vision-ECCV 2016 . Cham ： Springer ， 2016 ： 102 - 118 .

JOHNSON-ROBERSON M ， BARTO C ， MEHTA R ， et al . Driving in the Matrix： Can Virtual Worlds Replace Human-Generated Annotations for Real World Tasks？［C］// IEEE International Conference on Robotics and Automation （ICRA）， Singapore ， 2017 .

BĄK S ， CARR P ， LALONDE J F . Domain Adaptation Through Synthesis for Unsupervised Person Re-Identification ［M］// Computer Vision - ECCV 2018 . Cham ： Springer ， 2018 ： 193 - 209 .

ROS G ， SELLART L ， MATERZYNSKA J ， et al . The SYNTHIA Dataset： A Large Collection of Synthetic Images for Semantic Segmentation of Urban Scenes ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Las Vegas， USA ， 2016 .

REYES M F ， D’ANGELO P ， FRAUNDORFER F . SyntCities： A Large Synthetic Remote Sensing Dataset for Disparity Estimation ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2022 ， 15 ： 10087 - 10098 .

HE B Y ， LI X J ， HUANG B ， et al . UnityShip： A Large-Scale Synthetic Dataset for Ship Recognition in Aerial Images ［J］. Remote Sensing ， 2021 ， 13 （ 24 ）： 4999 .

GOODFELLOW I ， POUGET-ABADIE J ， MIRZA M ， et al . Generative Adversarial Nets ［J］. Advances in Neural Information Processing Systems ， 2014 ， 27 .

马得草，鲜勇，苏娟，等 . 基于改进的条件生成对抗网络的可见光红外图像转换算法［J］. 光子学报， 2023 ， 52 （ 4 ）： 0410003 .

MA Decao ， XIAN Yong ， SU Juan ， et al . Visible-to-Infrared Image Translation Based on an Improved Conditional Generative Adversarial Nets ［J］. Acta Photonica Sinica ， 2023 ， 52 （ 4 ）： 0410003 .

MOHAJERANI S ， ASAD R ， ABHISHEK K ， et al . CloudMaskGAN： A Content-Aware Unpaired Image-to-Image Translation Algorithm for Remote Sensing Imagery ［C］// IEEE International Conference on Image Processing （ICIP）， Taipei， China ， 2019 .

PAOLETTI M E ， HAUT J M ， GHAMISI P ， et al . U-IMG2DSM： Unpaired Simulation of Digital Surface Models with Generative Adversarial Networks ［J］. IEEE Geoscience and Remote Sensing Letters ， 2021 ， 18 （ 7 ）： 1288 - 1292 .

SONG J Q ， LI J ， CHEN H ， et al . RSMT： A Remote Sensing Image-to-Map Translation Model via Adversarial Deep Transfer Learning ［J］. Remote Sensing ， 2022 ， 14 （ 4 ）： 919 .

ZHU H G ， CHEN X G ， DAI W Q ， et al . Orientation Robust Object Detection in Aerial Images Using Deep Convolutional Neural Network ［C］// IEEE International Conference on Image Processing （ICIP）， Quebec City， Canada ， 2015 .

HEITZ G ， KOLLER D . Learning Spatial Context： Using Stuff to Find Things ［M］// Computer Vision -ECCV 2008 . Berlin， Heidelberg ： Springer ， 2008 ： 30 - 43 .

CHENG G ， HAN J W . A Survey on Object Detection in Optical Remote Sensing Images ［J］. ISPRS Journal of Photogrammetry and Remote Sensing ， 2016 ， 117 ： 11 - 28 .

RAZAKARIVONY S ， JURIE F . Vehicle Detection in Aerial Imagery： A Small Target Detection Benchmark ［J］. Journal of Visual Communication and Image Representation ， 2016 ， 34 ： 187 - 203 .

LIU K ， MATTYUS G . Fast Multiclass Vehicle Detection on Aerial Images ［J］. IEEE Geoscience and Remote Sensing Letters ， 2015 ， 12 （ 9 ）： 1938 - 1942 .

ZHONG L ， LI N ， SUN Y . Research and Application of Image Style Transfer Method ［C］// IEEE 8th Intl Conference on Big Data Security on Cloud， High Performance and Smart Computing，（HPSC） and Intelligent Data and Security （IDS）， Jinan， China ， 2022 .

ZHU J Y ， PARK T ， ISOLA P ， et al . Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks ［C］// IEEE International Conference on Computer Vision （ICCV）， Venice， Italy ， 2017 .

赵铁锋 . 一种轻型无人机遥感影像目标检测方法［J］. 北京测绘， 2025 ， 39 （ 6 ）： 913 - 920 .

ZHAO Tiefeng . A Lightweight Object Detection Method Based on UAV Remote Sensing Images ［J］. Beijing Surveying and Mapping ， 2025 ， 39 （ 6 ）： 913 - 920 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

From Model Transfer to Knowledge Generalization： Research Progress of Transfer Learning in Quantitative Remote Sensing Inversion

A Robust Real-Time Detection Method for Deepwater Dam Defects

Social Media Information Classification of Earthquake Disasters Based on BERT Transfer Learning Model

An Improved YOLOv5 Method for Shipwreck Target Detection by Side-Scan Sonar Images

Deep Convolution Neural Network Method for Remote Sensing Image Quality Level Classification

Related Author

TONG Qingxi

SUN Xuejian

LIU Yongxin

ZHAO Shuxin

ZHANG Lifu

LI Tianyu

BAO Tengfei

LI Yangtao

Related Institution

University of Chinese Academy of Sciences

Aerospace Information Research Institute, Chinese Academy of Sciences

State Key Laboratory of Water Disaster Prevention, Hohai University

College of Water Resources and Hydropower Engineering, Hohai University

School of Civil Engineering, Nanjing Forestry University

AI问答

⁰