Spatial-Spectral Fusion Lightweight Network Based on Improved Residual Structure for Large-Scale Crop Classification

LI Xiyao; LI Jiayi; DING Jianxun; DUN Limin; YU Xiaoyu; PENG Min; HUANG Xin

doi:10.13203/j.whugis20230008

您当前的位置：

首页 >

文章列表页 >

Spatial-Spectral Fusion Lightweight Network Based on Improved Residual Structure for Large-Scale Crop Classification

Photogrammetry and Remote Sensing | 更新时间：2026-11-05

- Spatial-Spectral Fusion Lightweight Network Based on Improved Residual Structure for Large-Scale Crop Classification
- Geomatics and Information Science of Wuhan University Vol. 50, Issue 5, Pages: 937-948(2025)
- 作者机构：
  
  1.武汉大学遥感信息工程学院，湖北武汉，430079
  2.湖北珞珈实验室，湖北武汉，430079
  3.沈阳市勘察测绘研究院有限公司，辽宁沈阳，110004
  4.武汉大学测绘遥感信息工程全国重点实验室，湖北武汉，430079
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20230008
  CLC： P237
- Received：25 May 2023，
  
  Published：05 May 2025
- 稿件说明：
移动端阅览
李熙瑶,李家艺,丁建勋，等.基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类[J].武汉大学学报（信息科学版）,2025,50(5):937-948.

LI Xiyao,LI Jiayi,DING Jianxun,et al.Spatial-Spectral Fusion Lightweight Network Based on Improved Residual Structure for Large-Scale Crop Classification[J].Geomatics and Information Science of Wuhan University,2025,50(5):937-948.
李熙瑶,李家艺,丁建勋，等.基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类[J].武汉大学学报（信息科学版）,2025,50(5):937-948. DOI：10.13203/j.whugis20230008

LI Xiyao,LI Jiayi,DING Jianxun,et al.Spatial-Spectral Fusion Lightweight Network Based on Improved Residual Structure for Large-Scale Crop Classification[J].Geomatics and Information Science of Wuhan University,2025,50(5):937-948. DOI：10.13203/j.whugis20230008

摘要

现有高光谱图像分类网络在小范围、高空间分辨率的基准数据集测试时常采用大量的网络参数拟合数据特征，使其在分类方面展示出良好性能。然而实际生产任务中使用的卫星高光谱数据通常分辨率较低、覆盖范围大，过多的网络参数容易导致过拟合问题。针对上述问题，提出了一种新的轻量化卷积网络，并使用具有32波段、10 m分辨率的珠海一号高光谱影像对中国沈阳市进行主要农作物（玉米、水稻）的提取。该网络分别针对影像的空间特性和光谱特性设计网络组件，再设计自适应融合的模块组件来综合空间特征与光谱特征，实现高光谱影像分类。其中，空间特征学习模块设计改进多尺度残差映射块，可以在尺度各异的多分支卷积核中自适应地检测空间特征，再进行基于注意力机制的空间特征优化。光谱特征学习模块则考虑图像中丰富的光谱信息，引入时序卷积网络的思想，通过在光谱维度的连续卷积块学习图像的精细光谱特征。这种端到端的分类网络通过卷积同时提取空间信息与光谱信息，从而实现精确推理。该方法在测试集上的总体精度和平均交并比分别为92.3%和77.9%，玉米、水稻和其他类的单类

1分数分别达到85.1%、81.95%和94.9%，优于所有对比网络。通过在珠海一号高光谱影像数据集上的实验证明，所提方法比其他现有网络取得了更好的分类结果。这种端到端的轻量级分类网络通过不同的卷积块同时提取空间和频谱信息，有效地利用了图像的空间上下文信息和光谱通道之间的相关性。

Abstract

Objectives

Deep learning methods with massive parameters have shown good performance in classifying hyperspectral image with small size and high resolution. Meanwhile

there are at risk of overfitting and difficulty in training

due to the low resolution and large size (i.e.

diversity) of satellite hyperspectral data in practical applications. Thus

we proposes a new lightweight convolutional network to extract the main crops (corn

rice) in Shenyang city

China

by use of orbita hyperspectral satellite (OHS) images with 32 spectral bands ranging from 0.4-1.0 μm and 10-meters spatial resolution.

Methods

First

an improved multi-scale residual mapping blocks and a spatial feature optimization block based on attention mechanism are designed to formulate the spatial feature learning module. Then

spectral feature learning module with three successive 1D convolution blocks is conducted to mine the rich spectra information of hyperspectral images. Finally

a fusion classification module is built to classify pixels by integrating weighted spatial features and spectral features.

Results

Four recent networks including PSPNet

U-Net

MAP-Net and FreeNet are considered for comparison. From the perspective of model size

the proposed network is much lighter than PSPNet

UNet

MAP-Net and equal to FreeNet

which is benefited from the use of 1D convolution and 2D convolution in two learning modules that avoid excessive parameters caused by 3D convolution. From the perspective of accuracy

considering the overall assessment metrics and the

1-score of each category

the proposed method achieves the best performance over the recent four networks. The overall accuracy and mean intersection over union of our method on the test set are 92.3% and 77.9%

respectively

which is superior to other networks. Our method also has a better classification result in single category

the

1-score of corn

rice and

other each reach 85.1%

81.95% and 94.9%. Expecially for

rice

the

1-score of our method is 11.5%

4.2%

13.6% and 12.0% higher than PSPNet

U-Net

MAP-Net and FreeNet respectively.

Conclusions

Experiments on the data set show that our method achieves better classification results than other existing networks. This end-to-end lightweight classification network extracts spatial and spectral information simultaneously by different convolutional blocks. The idea of combining spatial and spectral features can effectively utilize the spatial context information of images and the correlation among spectral channels to improve classification accuracy.

关键词

Keywords

references

LI N ， DONG X F ， GAN F P . Research on Inversion of Mineral Content Information Based on Hyperspectral Remote Sensing ［C］// 2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS ， Brussels， Belgium ， 2021 .

YANG L X ， ZHANG R ， BAO Y J ， et al . Kernel Tensor Sparse Coding Model for Precise Crop Classification of UAV Hyperspectral Image ［J］. IEEE Geoscience and Remote Sensing Letters ， 2023 ， 20 ： 5511405 .

张凝，杨贵军，赵春江，等 . 作物病虫害高光谱遥感进展与展望［J］. 遥感学报， 2021 ， 25 （ 1 ）： 403 - 422 .

ZHANG Ning ， YANG Guijun ， ZHAO Chunjiang ， et al . Progress and Prospects of Hyperspectral Remote Sensing Technology for Crop Diseases and Pests ［J］. National Remote Sensing Bulletin ， 2021 ， 25 （ 1 ）： 403 - 422 .

张立强，李洋，侯正阳，等 . 深度学习与遥感数据分析［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 12 ）： 1857 - 1864 .

ZHANG Liqiang ， LI Yang ， HOU Zhengyang ， et al . Deep Learning and Remote Sensing Data Analysis ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 12 ）： 1857 - 1864 .

HE K M ， ZHANG X Y ， REN S Q ， et al . Deep Residual Learning for Image Recognition ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Las Vegas， NV， USA， 2016 .

ZHANG K ， GUO L R ， GAO C ， et al . Pyramidal RoR for Image Classification ［J］. Cluster Computing ， 2019 ， 22 （ 2 ）： 5115 - 5125 .

PENG D F ， ZHANG Y J ， GUAN H Y . End-to-End Change Detection for High Resolution Satellite Images Using Improved UNet++ ［J］. Remote Sensing ， 2019 ， 11 （ 11 ）： 1382 .

CHEN H ， QI Z P ， SHI Z W . Remote Sensing Image Change Detection with Transformers ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 60 ： 5607514 .

DEVLIN J ， CHANG M ， LEE K ， et al . BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding ［C］// Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies ， Minneapolis， USA ， 2019 .

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention Is All You Need ［C］// International Conference on Neural Information Processing Systems （NIPS' 17）， AngelesLos， USA， 2017 .

LI W ， WU G D ， ZHANG F ， et al . Hyperspectral Image Classification Using Deep Pixel-Pair Features ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 2 ）： 844 - 853 .

HU W ， HUANG Y Y ， WEI L ， et al . Deep Convolutional Neural Networks for Hyperspectral Image Classification ［J］. Journal of Sensors ， 2015 ， 2015 （ 1 ）： 258619 .

MOU L C ， GHAMISI P ， ZHU X X . Deep Recurrent Neural Networks for Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2017 ， 55 （ 7 ）： 3639 - 3655 .

ZHANG X R ， SUN Y J ， JIANG K ， et al . Spatial Sequential Recurrent Neural Network for Hyperspectral Image Classification ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing ， 2018 ， 11 （ 11 ）： 4141 - 4155 .

高奎亮，刘冰，余旭初，等 . 面向高光谱影像分类的网络结构自动搜索方法［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 2 ）： 225 - 235 .

GAO Kuiliang ， LIU Bing ， YU Xuchu ， et al . Automatic Network Structure Search Method for Hyperspectral Image Classification ［J］. Geomatics and Information Science of Wuhan University ， 2024 ， 49 （ 2 ）： 225 - 235 .

HANG R L ， LIU Q S ， HONG D F ， et al . Cascaded Recurrent Neural Networks for Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 8 ）： 5384 - 5394 .

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： Convolutional Networks for Biomedical Image Segmentation ［C］// Medical Image Computing and Computer-Assisted Intervention — MICCAI ， Cham， Switzerland ， 2015 .

ZHAO H S ， SHI J P ， QI X J ， et al . Pyramid Scene Parsing Network ［C］// 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， HI， USA， 2017 .

王克奇，彭熙雯，张怡卓，等 . 基于改进U-Net的高光谱农林植被分类方法［J］. 森林工程， 2022 ， 38 （ 1 ）： 58 - 66 .

WANG Keqi ， PENG Xiwen ， ZHANG Yizhuo ， et al . A Hyperspectral Classification Method for Agroforestry Vegetation Based on Improved U-Net ［J］. Forest Engineering ， 2022 ， 38 （ 1 ）： 58 - 66 .

PAOLETTI M E ， HAUT J M ， FERNANDEZ-BELTRAN R ， et al . Deep Pyramidal Residual Networks for Spectral–Spatial Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 2 ）： 740 - 754 .

SONG W W ， LI S T ， FANG L Y ， et al . Hyperspectral Image Classification with Deep Feature Fusion Network ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2018 ， 56 （ 6 ）： 3173 - 3184 .

GONG Z Q ， ZHONG P ， YU Y ， et al . A CNN with Multiscale Convolution and Diversified Metric for Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2019 ， 57 （ 6 ）： 3599 - 3618 .

ZHENG Z ， ZHONG Y F ， MA A L ， et al . FPGA： Fast Patch-Free Global Learning Framework for Fully End-to-End Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2020 ， 58 （ 8 ）： 5612 - 5626 .

PRAVEEN B ， MENON V . Dual-Branch-AttentionNet： A Novel Deep-Learning-Based Spatial-Spectral Attention Methodology for Hyperspectral Data Analysis ［J］. Remote Sensing ， 2022 ， 14 （ 15 ）： 3644 .

TINEGA H C ， CHEN E Q ， MA L ， et al . HybridGBN-SR： A Deep 3D/2D Genome Graph-Based Network for Hyperspectral Image Classification ［J］. Remote Sensing ， 2022 ， 14 （ 6 ）： 1332 .

ROY S K ， MANNA S ， SONG T C ， et al . Attention-Based Adaptive Spectral–Spatial Kernel ResNet for Hyperspectral Image Classification ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2021 ， 59 （ 9 ）： 7831 - 7843 .

SHI C ， PUN C M . Superpixel-Based 3D Deep Neural Networks for Hyperspectral Image Classification ［J］. Pattern Recognition ， 2018 ， 74 ： 600 - 616 .

宫正 . 基于深度学习的高光谱遥感影像降维及地物分类算法研究［D］. 长春：吉林大学， 2022 .

GONG Zheng . Research on Dimension Reduction and Ground Object ClassificationAlgorithm of Hyperspectral Remote Sensing lmages Based on Deep Learning ［D］. Changchun ： Jilin University ， 2022 .

袁芊芊，谢维信 . 基于空谱注意力机制及预激活残差网络的高光谱图像分类算法［J］. 信号处理， 2022 ， 38 （ 12 ）： 2594 - 2605 .

YUAN Qianqian ， XIE Weixin . Hyperspectral Image Classification Based on Spatial Spectral Attention and Pre-Activation Residual Networks ［J］. Journal of Signal Processing ， 2022 ， 38 （ 12 ）： 2594 - 2605 .

杨赵 . 基于深度学习的空谱联合高光谱图像分类技术研究［D］. 西安：中国科学院西安光学精密机械研究所， 2021 .

YANG Zhao . Research on Spectral–Spatial Joint Hyperspectral Image Classification Technology Based on Deep Learning ［D］. Xi’an ： Xi’an Institute of Optics and Precision Mechanics， Chinese Academy of Sciences ， 2021 .

LIU Z ， MAO H Z ， WU C Y ， et al . A ConvNet for the 2020 s［EB/OL］. 2022： 2201 . 03545 . https：//arxiv.org/abs/2201.03545v2 https://arxiv.org/abs/2201.03545v2 .

HU J ， SHEN L ， SUN G . Squeeze-and-Excitation Networks ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT， USA， 2018 .

沈金悦 . 基于卷积神经网络和注意力机制的高光谱遥感图像分类研究［D］. 青岛：青岛科技大学， 2022 .

SHEN Jinyue . Research on the Classification of Hyperspectral Remote Sensing Images Based on Convloutional Neural Network and Attention Mechanism ［D］. Qingdao ： Qingdao University of Science & Technology ， 2022 .

PELLETIER C ， WEBB G ， PETITJEAN F . Temporal Convolutional Neural Network for the Classification of Satellite Image Time Series ［J］. Remote Sensing ， 2019 ， 11 （ 5 ）： 523 .

KINGMA D ， BA J . Adam： A Method for Stochastic Optimization ［C］// The 3rd International Conference on Learning Representations （ICLR 2015）， DiegoSan， USA， 2015 .

沈阳市统计局 . 沈阳统计年鉴2021 ［EB/OL］. （ 2021-11 ）［ 2022-08-18 ］. http：//tjj.shenyang.gov.cn/sjfb/ndsj/ http://tjj.shenyang.gov.cn/sjfb/ndsj/ .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

DCMR-Net： A Multi-scale Residual Denoising Network for Seismic Records with Complex Noise

Advances in Multimodal Remote Sensing Image Matching： A Survey from Conventional Approaches to Deep Learning

Reservoir Bank Slope Displacement Prediction Model Based on Lagged Attenuation Effect and Key Factor Selection Strategy

Rooftop Photovoltaic Potential Estimation Approach Based on Orientation Perception and Quantitative Integration

A CNN-Based Method for Computational Intensity Prediction and Geospatial Domain Decomposition

Related Author

CHEN Guanzhi

ZHANG Chengfeng

ZHANG Han

NI Sidao

WANG Mi

FAN Zhongli

YE Yuanxin

LING Qing

Related Institution

State Key Laboratory of Precision Geodesy, Innovation Academy for Precision Measurement Science and Technology, Chinese Academy of Sciences

School of Earth and Space Sciences, University of Science and Technology of China

Faculty of Geosciences and Engineering,Southwest Jiaotong University

School of Civil Engineering, Lanzhou University of Technology

Ningxia Institute of Land and Resources Survey and Monitoring

AI问答

⁰