A Spike⁃Driven Framework with Spectral⁃Spatial⁃Temporal Modeling for Multispectral UAV Single Object Tracking

LAI Pujian; ZHANG Xuejiao; CHENG Gong

doi:10.13203/j.whugis20260279

您当前的位置：

首页 >

文章列表页 >

A Spike⁃Driven Framework with Spectral⁃Spatial⁃Temporal Modeling for Multispectral UAV Single Object Tracking

Photogrammetry and Remote Sensing | 更新时间：2026-10-15

- A Spike⁃Driven Framework with Spectral⁃Spatial⁃Temporal Modeling for Multispectral UAV Single Object Tracking
- Geomatics and Information Science of Wuhan University Vol. 51, Issue 11, Pages: 2456-2468(2026)
- 作者机构：
  
  西北工业大学自动化学院，陕西西安，710072
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20260279
  CLC： P237
- Received：22 July 2026，
  
  Published：05 November 2026
- 稿件说明：
移动端阅览
赖普坚,张雪娇,程塨.脉冲驱动光谱⁃空间⁃时序建模的多光谱无人机单目标跟踪[J].武汉大学学报（信息科学版）,2026,51(11):2456-2468.

LAI Pujian,ZHANG Xuejiao,CHENG Gong.A Spike⁃Driven Framework with Spectral⁃Spatial⁃Temporal Modeling for Multispectral UAV Single Object Tracking[J].Geomatics and Information Science of Wuhan University,2026,51(11):2456-2468.
赖普坚,张雪娇,程塨.脉冲驱动光谱⁃空间⁃时序建模的多光谱无人机单目标跟踪[J].武汉大学学报（信息科学版）,2026,51(11):2456-2468. DOI：10.13203/j.whugis20260279

LAI Pujian,ZHANG Xuejiao,CHENG Gong.A Spike⁃Driven Framework with Spectral⁃Spatial⁃Temporal Modeling for Multispectral UAV Single Object Tracking[J].Geomatics and Information Science of Wuhan University,2026,51(11):2456-2468. DOI：10.13203/j.whugis20260279

摘要

得益于不同谱段提供的丰富光谱线索，多光谱无人机单目标跟踪受到广泛关注。然而，现有方法大多依赖功耗较高的人工神经网络进行设计，难以满足无人机平台低能耗的视觉感知需求。为此，提出一种脉冲驱动光谱⁃空间⁃时序建模的多光谱无人机单目标跟踪算法。具体而言，所提算法主要包含记忆扰动增强的光谱⁃空间⁃时序检索模块和脉冲驱动的光谱门控融合模块。记忆扰动增强的光谱-空间-时序模块通过构建紧凑的历史帧目标记忆缓存，引导搜索特征与历史记忆进行递归交互，逐步挖掘目标相关线索。针对历史帧目标记忆缓存中噪声累积或者表征偏移问题，引入记忆扰动机制，通过模拟潜在的记忆偏差，增强模型对不可靠历史信息和背景干扰的鲁棒性。此外，通过时序聚合生成紧凑搜索特征，并沿光谱组维度进行脉冲自注意力建模，实现不同光谱组之间的信息交互。脉冲驱动的光谱门控融合模块可自适应评估不同光谱组特征的重要性，并进行加权融合，从而增强关键光谱组的特征响应，同时抑制光谱冗余信息。在多光谱无人机单目标跟踪数据集上进行实验，所提算法的精度与归一化精度分别达到83.5%和82.2%，能耗仅32.4 mJ。结果表明，所提算法在提升多光谱无人机单目标跟踪精度与复杂场景鲁棒性的同时，仍保持极低的能耗开销。

Abstract

Objectives

Multispectral unmanned aerial vehicle (UAV) single-object tracking leverages complementary spectral cues from different bands to enhance target representation in complex scenes. However

most existing trackers rely on artificial neural networks with high energy consumption

making them unsuitable for low-energy visual perception on UAV platforms. This paper aims to achieve accurate and robust multispectral tracking while maintaining low energy consumption.

Methods

A spike-driven framework with spectral-spatial-temporal modeling is developed for multispectral UAV single object tracking. The proposed method comprises a memory perturbation-enhanced spectral-spatial-temporal retrieval module and a spike-driven spectral gated fusion module. The former constructs a compact memory cache of target representations from historical frames and recursively guides the search features to interact with the stored memory

progressively retrieving target-relevant cues. To address noise accumulation and representation drift in the historical memory cache

a memory perturbation mechanism is introduced to simulate potential memory biases

thereby improving the tracker's robustness to unreliable historical information and background interference. The retrieved cues are then integrated through temporal aggregation to generate compact search representations. Spike-driven self-attention is subsequently applied along the spectral-group dimension to facilitate information exchange among different spectral groups. The spike-driven spectral gated fusion module further estimates the importance of individual spectral-group features and performs weighted aggregation

enhancing informative spectral responses while suppressing redundant responses.

Results

On the multispectral UAV single object tracking dataset

the proposed method achieves a precision of 83.5% and a normalized precision of 82.2%

with an energy consumption of only 32.4 mJ.

Conclusions

The proposed method improves tracking accuracy and robustness in complex scenes while maintaining extremely low energy consumption

demonstrating its effectiveness for energy-efficient multispectral UAV single-object tracking.

关键词

Keywords

references

WU X ， LI W ， HONG D F ， et al . Deep Learning for Unmanned Aerial Vehicle-Based Object Detection and Tracking： A Survey ［J］. IEEE Geoscience and Remote Sensing Magazine ， 2022 ， 10 （ 1 ）： 91 - 124 .

SUN N Y ， ZHAO J ， SHI Q ， et al . Moving Target Tracking by Unmanned Aerial Vehicle： A Survey and Taxonomy ［J］. IEEE Transactions on Industrial Informatics ， 2024 ， 20 （ 5 ）： 7056 - 7068 .

肖云，曹丹，李成龙，等 . 基于高空无人机平台的多模态跟踪数据集［J］. 中国图象图形学报， 2025 ， 30 （ 2 ）： 361 - 374 .

XIAO Yun ， CAO Dan ， LI Chenglong ， et al . A Benchmark Dataset for High-Altitude UAV Multi-modal Tracking ［J］. Journal of Image and Graphics ， 2025 ， 30 （ 2 ）： 361 - 374 .

许国伟，吴亮，翟晗，等 . 耦合置换注意力和可形变卷积的输电线金具目标检测［J］. 武汉大学学报（信息科学版）， 2026 ， 51 （ 3 ）： 544 - 556 .

XU Guowei ， WU Liang ， ZHAI Han ， et al . A Model Coupled Shuffle Attention and Deformable Convolution for Overhead Transmission Line Hardware Object Detection ［J］. Geomatics and Information Science of Wuhan University ， 2026 ， 51 （ 3 ）： 544 - 556 .

YE B T ， CHANG H ， MA B P ， et al . Joint Feature Learning and Relation Modeling for Tracking： A One-Stream Framework ［C］// European Conference on Computer Vision ， Tel Aviv， Israel ， 2022 .

BHAT G ， DANELLJAN M ， VAN GOOL L ， et al . Learning Discriminative Model Prediction for Tracking ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Seoul， South Korea ， 2019 .

YAN B ， PENG H W ， FU J L ， et al . Learning Spatiotemporal Transformer for Visual Tracking ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Montreal， Canada ， 2021 .

BIAN L H ， WANG Z ， ZHANG Y Z ， et al . A Broadband Hyperspectral Image Sensor with High Spatiotemporal Resolution ［J］. Nature ， 2024 ， 635 （ 8037 ）： 73 - 81 .

QIN H L ， XU T F ， LIU P F ， et al . DMSSN： Distilled Mixed Spectral⁃Spatial Network for Hyperspectral Salient Object Detection ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2024 ， 62 ： 1 - 18 .

QIN H L ， XU T F ， LI T H ， et al . MUST： The First Dataset and Unified Framework for Multispectral UAV Single Object Tracking ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， USA ， 2025 .

CHEN Y Z ， YUAN Q Q ， ZHONG B N ， et al . CASS： A Context-Aware Memory Framework with Spectral-Spatial Modulation for UAV Multispectral Video Tracking ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2026 ， DOI： 10.1109/TCSVT.2026.3708187 http://dx.doi.org/10.1109/TCSVT.2026.3708187 .

TENG X ， ZHAO D ， XIANG P ， et al . UAV-Based Multispectral Object Tracking with Positive⁃Negative Prompt Mining Network ［J］. IEEE Tran⁃sactions on Geoscience and Remote Sensing ， 2026 ， 64 ： 5515418 .

MAASS W . Networks of Spiking Neurons： The Third Generation of Neural Network Models ［J］. Neural Networks ， 1997 ， 10 （ 9 ）： 1659 - 1671 .

ROY K ， JAISWAL A ， PANDA P . Towards Spike-Based Machine Intelligence with Neuromorphic Computing ［J］. Nature ， 2019 ， 575 （ 7784 ）： 607 - 617 .

GERSTNER W ， RITZ R ， VAN HEMMEN J L . Why Spikes？ Hebbian Learning and Retrieval of Time-Resolved Excitation Patterns ［J］. Biological Cybernetics ， 1993 ， 69 （ 5 ）： 503 - 515 .

ZHANG Q Y ， CHENG J J ， MAO Q C ， et al . SpikeTrack： A Spike-Driven Framework for Efficient Visual Tracking ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Denver， USA ， 2026 .

SHAN Y M ， REN Z B ， WU H D ， et al . SDTrack： A Baseline for Event-Based Tracking via Spiking Neural Networks ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Denver， USA ， 2026 .

WANG Y ， ZHANG J Q ， SUN C Y ， et al . Spike⁃Track： High-Performance and Energy-Efficient Event-Based Object Tracking with Spiking Neural Network ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Denver， USA ， 2026 .

YANG J J ， FAN L W ， ZHANG J P ， et al . Fully Spiking Neural Networks for Unified Frame-Event Object Tracking ［C］// Advances in Neural Information Processing Systems ， Sydney， Australia ， 2026 .

LEI Z X ， YAO M ， HU J K ， et al . Spike2Former： Efficient Spiking Transformer for High-Performance Image Segmentation ［C］// The 39th Annual AAAI Conference on Artificial Intelligence ， Philadelphia， USA ， 2025 .

YAO M ， QIU X R ， HU T X ， et al . Scaling Spike-Driven Transformer with Efficient Spike Firing Approximation Training ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2025 ， 47 （ 4 ）： 2973 - 2990 .

LAW H ， DENG J . CornerNet： Detecting Objects as Paired Keypoints ［C］// European Conference on Computer Vision ， Munich， Germany ， 2018 .

REZATOFIGHI H ， TSOI N ， GWAK J ， et al . Generalized Intersection Over Union： A Metric and a Loss for Bounding Box Regression ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， USA ， 2019 .

LOSHCHILOV I ， HUTTER F . Decoupled Weight Decay Regularization ［C］// International Conference on Learning Representations ， Vancouver， Canada ， 2018 .

LI B ， YAN J J ， WU W ， et al . High Performance Visual Tracking with Siamese Region Proposal Network ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

WANG Q ， ZHANG L ， BERTINETTO L ， et al . Fast Online Object Tracking and Segmentation： A Unifying Approach ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， USA ， 2019 .

MAYER C ， DANELLJAN M ， YANG M H ， et al . Beyond SOT： Tracking Multiple Generic Objects at Once ［C］// IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）， Waikoloa， USA ， 2024 .

MAYER C ， DANELLJAN M ， BHAT G ， et al . Transforming Model Prediction for Tracking ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， New Orleans， USA ， 2022 .

YAO L L ， FU C H ， LI S H ， et al . SGDViT： Saliency-Guided Dynamic Vision Transformer for UAV Tracking ［C］// IEEE International Conference on Robotics and Automation （ICRA）， London， UK ， 2023 .

ZHENG Y Z ， ZHONG B N ， LIANG Q H ， et al . ODTrack： Online Dense Temporal Token Learning for Visual Tracking ［C］// AAAI Conference on Artificial Intelligence ， Vancouver， Canada ， 2024 .

KOU Y T ， GAO J ， LI B ， et al . ZoomTrack： Target-Aware Non-Uniform Resizing for Efficient Visual Tracking ［C］// Advances in Neural Information Processing Systems ， New Orleans， USA ， 2023 .

SONG Z K ， YU J Q ， CHEN Y P ， et al . Transformer Tracking with Cyclic Shifting Window Attention ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， New Orleans， USA ， 2022 .

CHEN X ， YAN B ， ZHU J W ， et al . Transformer Tracking ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， USA ， 2021 .

YAN L ， DONG X Y ， YANG J ， et al . HEATTrack： History Evidence Injection and Target-Aware Prompting for Aerial Multispectral Single-Object Tracking ［J］. IEEE Transactions on Geoscience and Remote Sensing ， 2026 ， 64 ： 5406719 .

TAN X Y ， QIN Y R ， HU M J . SpecTrack： Spectral Prompt Guided Adaptive Experts for Multispectral Object Tracking ［PP/OL］. ［ 2026-07-07 ］. https：//doi.org/10.48550/arXiv.2607.05988 https://doi.org/10.48550/arXiv.2607.05988 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

New Surveying and Mapping Infrastructure Based on UAV Dock Networks： Concept， Framework， and Implementation

Fast Feature Matching of UAV Images via Indexing Constraints of Vocabulary Trees

Automatic Detection of Deformation Cracks in Slopes Fused with Point Cloud and Digital Image

Overview on UAV Aeromagnetic Survey Technology

A Recognizing Method of Penguin Population Using UAV Images Based on Object Otiented Classification

Related Author

YU Wenshuai

WANG Zhijun

JIANG San

LI Qingquan

JIANG San

GUO Bingxuan

JIANG Wanshou

HU Wuting

Related Institution

Guangdong Key Laboratory of Urban Informatics

MNR Key Laboratory for Geo⁃Environmental Monitoring of Great Bay Area

Guangdong Laboratory of Artificial Intelligence and Digital Economy

College of Civil and Transportation Engineering, Shenzhen University

School of Architecture and Urban Planning, Shenzhen University

AI问答

⁰