Unsupervised Dense and Continuous Optical Flow Estimation Based on Image and Event Data

HU Jianlang; GUO Chi; LUO Yarong

doi:10.13203/j.whugis20230390

您当前的位置：

首页 >

文章列表页 >

Unsupervised Dense and Continuous Optical Flow Estimation Based on Image and Event Data

Photogrammetry and Remote Sensing | 更新时间：2026-11-05

- Unsupervised Dense and Continuous Optical Flow Estimation Based on Image and Event Data
- Geomatics and Information Science of Wuhan University Vol. 50, Issue 11, Pages: 2260-2272(2025)
- 作者机构：
  
  1.武汉大学卫星导航定位技术研究中心，湖北武汉，430079
  2.武汉大学计算机学院，湖北武汉，430072
  3.湖北珞珈实验室，湖北武汉，430079
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20230390
  CLC： P237
- Received：22 May 2024，
  
  Published：05 November 2025
- 稿件说明：
移动端阅览
胡建朗,郭迟,罗亚荣.基于图像和事件的无监督学习稠密连续光流估计[J].武汉大学学报（信息科学版）,2025,50(11):2260-2272.

HU Jianlang,GUO Chi,LUO Yarong.Unsupervised Dense and Continuous Optical Flow Estimation Based on Image and Event Data[J].Geomatics and Information Science of Wuhan University,2025,50(11):2260-2272.
胡建朗,郭迟,罗亚荣.基于图像和事件的无监督学习稠密连续光流估计[J].武汉大学学报（信息科学版）,2025,50(11):2260-2272. DOI：10.13203/j.whugis20230390

HU Jianlang,GUO Chi,LUO Yarong.Unsupervised Dense and Continuous Optical Flow Estimation Based on Image and Event Data[J].Geomatics and Information Science of Wuhan University,2025,50(11):2260-2272. DOI：10.13203/j.whugis20230390

摘要

为了获得稠密且连续的光流，并实现长时间间隔光流估计，提出一种基于图像和事件的多模态多尺度递归光流估计网络，它能够融合从输入的单个图像和对应事件流中提取的多尺度特征，并以从粗糙到精细和迭代递归的方式对输出的光流进行优化。为了摆脱对光流标注数据的依赖，采用无监督学习的方式对网络进行训练，并设计了动态损失过滤机制，该机制能够自适应地过滤训练过程中的不可靠监督梯度信号，进而实现更加有效的网络训练。采用MVSEC数据集对所提出的网络和策略进行综合对比分析，结果表明，所提方法具有更高的光流估计精度，尤其是在长时间间隔稠密光流估计方面，所提方法在3个室内序列上进行测试，并在平均端点误差和异常值百分比这两项指标上取得了最优结果，分别为1.43、1.87、1.68以及7.54%、14.36%、11.46%，均优于DCEIFlow方法，这说明所提方法不仅能够实现稠密且连续的光流估计，而且在长时间间隔光流估计方面也更加具有优势。

Abstract

Objectives

Dense and continuous optical flow plays an important role in many applications

including robot navigation

autonomous driving

motion planning

visual odometry

etc. Current related works mainly utilize shutter cameras and event cameras to output optical flow. However

dense and continuous flow estimation is still a challenge due to the fixed frame rate of shutter camera and the sparse event data. In addition

existing related approaches focus on the way how to integrate images and event data

but neglect to deal with the long-time-interval optical flow estimation.

Methods

To this end

we propose a multi-scale recurrent optical flow estimation framework fusing events and images. The network architecture contains three components: multi-scale feature extractor

image-event feature fusion module and flow recurrent updater. The multi-scale feature extractor is a convolutional neural network-based downsampler capable of mapping input image and event data into features at different scales. The image-event feature fusion module is applied to fuse features from two different modalities of data. The flow recurrent updater is a recurrent residual flow optimizer

incorporated the pyramid methods

estimating flow in coarse-to-fine way as well as performing flow feature refinement. Furthermore

to avoid expensive flow annotations and perform effective network training

we train network in the unsupervised way and design a novel training strategy

namely dynamic loss filtering mechanism

to filter out redundant and unreliable supervisory signals.

Results

We conduct a series of experiments on the MVSEC dataset. The results show that the proposed method performs well in both indoor and outdoor sequences. In particular

for long-time-interval dense optical flow estimation

the proposed method which tested on three indoor sequences achieves optimal performance in mean endpoint error and the percentage of anomalies

which are 1.43

1.87

and 1.68

as well as 7.54%

14.36%

and 11.46%

respectively.

Conclusions

The proposed method not only can perform dense and continuous optical flow estimation

but also has a remarkable advantage on long-time-interval optical flow estimation.

关键词

Keywords

references

TU Z G ， XIE W ， ZHANG D J ， et al . A Survey of Variational and CNN-Based Optical Flow Techniques ［J］. Signal Processing： Image Communication ， 2019 ， 72 ： 9 - 24 .

DE CROON G C H E ， DE WAGTER C ， SEIDL T . Enhancing Optical-Flow-Based Control by Learning Visual Appearance Cues for Flying Robots ［J］. Nature Machine Intelligence ， 2021 ， 3 （ 1 ）： 33 - 41 .

WANG C ， JI T T ， NGUYEN T M ， et al . Correlation Flow： Robust Optical Flow Using Kernel Cross-Correlators ［C］// IEEE International Conference on Robotics and Automation （ICRA）， Brisbane， Australia ， 2018 .

HO H W ， DE WAGTER C ， REMES B D W ， et al . Optical Flow for Self-Supervised Learning of Obstacle Appearance ［C］// IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）， Hamburg， Germany ， 2015 .

WANG H L ， CAI P D ， SUN Y X ， et al . Learning Interpretable End-to-End Vision-Based Motion Planning for Autonomous Driving with Optical Flow Distillation ［C］// IEEE International Conference on Robotics and Automation （ICRA）， Xi’an， China ， 2021 .

HUANG Y P ， ZHAO B G ， GAO C ， et al . Learning Optical Flow with R-CNN for Visual Odometry ［C］// IEEE International Conference on Robotics and Automation （ICRA）， Xi’an， China ， 2021 .

胡学敏，郑宏，郭琳，等 . 利用鱼眼相机对人群进行运动估计［J］. 武汉大学学报（信息科学版）， 2017 ， 42 （ 4 ）： 537 - 542 .

HU Xuemin ， ZHENG Hong ， GUO Lin ， et al . Crowd Motion Estimation Using a Fisheye Camera ［J］. Geomatics and Information Science of Wuhan University ， 2017 ， 42 （ 4 ）： 537 - 542 .

付婧祎，余磊，杨文，等 . 基于事件相机的连续光流估计［J］. 自动化学报， 2023 ， 49 （ 9 ）： 1845 - 1856 .

FU Jingyi ， YU Lei ， YANG Wen ， et al . Event-Based Continuous Optical Flow Estimation ［J］. Acta Automatica Sinica ， 2023 ， 49 （ 9 ）： 1845 - 1856 .

BARDOW P ， DAVISON A J ， LEUTENEGGER S . Simultaneous Optical Flow and Intensity Estimation from an Event Camera ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， NV， USA， 2016 .

PAN L Y ， LIU M M ， HARTLEY R . Single Image Optical Flow Estimation with an Event Camera ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Seattle， WA， USA， 2020 .

LEE C ， KOSTA A K ， ROY K . Fusion-FlowNet： Energy-Efficient Optical Flow Estimation Using Sensor Fusion and Deep Fused Spiking-Analog Network Architectures ［C］// International Conference on Robotics and Automation ， Philadelphia， USA ， 2022 .

GALLEGO G ， DELBRÜCK T ， ORCHARD G ， et al . Event-Based Vision： A Survey ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2020 ， 44 （ 1 ）： 154 - 180 .

WAN Z X ， DAI Y C ， MAO Y X . Learning Dense and Continuous Optical Flow from an Event Camera ［J］. IEEE Transactions on Image Processing ， 2022 ， 31 ： 7237 - 7251 .

GEHRIG M ， MILLHÄUSLER M ， GEHRIG D ， et al . E-RAFT： Dense Optical Flow from Event Cameras ［C］// International Conference on 3D Vision （3DV）， London， United Kingdom ， 2021 .

DING Z L ， ZHAO R ， ZHANG J Y ， et al . Spatio-temporal Recurrent Networks for Event-Based Optical Flow Estimation ［J］. Proceedings of the AAAI Conference on Artificial Intelligence ， 2022 ， 36 （ 1 ）： 525 - 533 .

LIU H T ， CHEN G ， QU S Q ， et al . TMA： Temporal Motion Aggregation for Event-Based Optical Flow ［C］// IEEE/CVF International Conference on Computer Vision （ICCV）， Paris， France ， 2023 .

ZHU A Z ， YUAN L ， CHANEY K ， et al . EV-FlowNet： Self-Supervised Optical Flow Estimation for Event-Based Cameras ［J］. arXiv e-Pprint ： 1802 .06898， 2018 .

LUCAS B D ， KANADE T . An Iterative Image Registration Technique with an Application to Stereo Vision ［C］// The 7th International Joint Conference on Artificial Intelligence ， Vancouver， BC， Canada， 1981 .

BRANDLI C ， BERNER R ， YANG M H ， et al . A 240 × 180 130 DB 3 µs Latency Global Shutter Spatiotemporal Vision Sensor ［J］. IEEE Journal of Solid-State Circuits ， 2014 ， 49 （ 10 ）： 2333 - 2341 .

ZHU A Z ， YUAN L Z ， CHANEY K ， et al . Unsupervised Event-Based Learning of Optical Flow， Depth， and Egomotion ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， CA， USA， 2019 .

AMIR A ， TABA B ， BERG D ， et al . A Low Power， Fully Event-Based Gesture Recognition System ［C］// IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， HI， USA， 2017 .

LEE C ， KOSTA A K ， ZHU A Z ， et al . Spike-FlowNet： Event-Based Optical Flow Estimation with Energy-Efficient Hybrid Neural Networks ［C］// Computer Vision—ECCV 2020 . Cham ： Springer ， 2020 ： 366 - 382 .

Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks ［C］// The 35th International Conference on Neural Information Processing Systems ， Online ， 2021 .

陈震，张道文，张聪炫，等 . 基于深度匹配的由稀疏到稠密大位移运动光流估计［J］. 自动化学报， 2022 ， 48 （ 9 ）： 2316 - 2326 .

CHEN Zhen ， ZHANG Daowen ， ZHANG Congxuan ， et al . Sparse-to-Dense Large Displacement Motion Optical Flow Estimation Based on Deep Matching ［J］. Acta Automatica Sinica ， 2022 ， 48 （ 9 ）： 2316 - 2326 .

WANG Y ， YANG Y ， YANG Z H ， et al . Occlusion Aware Unsupervised Learning of Optical Flow ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT， USA， 2018 .

IM W ， KIM T K ， YOON S E . Unsupervised Learning of Optical Flow with Deep Feature Similarity ［C］// Computer Vision—ECCV 2020 . Cham ： Springer ， 2020 ： 172 - 188 .

ZHU A Z ， THAKUR D ， ÖZASLAN T ， et al . The Multivehicle Stereo Event Camera Dataset： An Event Camera Dataset for 3D Perception ［J］. IEEE Robotics and Automation Letters ， 2018 ， 3 （ 3 ）： 2032 - 2039 .

STOFFREGEN T ， SCHEERLINCK C ， SCARAMUZZA D ， et al . Reducing the Sim-to-Real Gap for Event Cameras ［C］// Computer Vision—ECCV 2020 . Cham ： Springer ， 2020 ： 534 - 549 .

TEED Z ， DENG J . RAFT： Recurrent All-Pairs Field Transforms for Optical Flow ［C］// Computer Vision—ECCV 2020 . Cham ： Springer ， 2020 ： 402 - 419 .

MEISTER S ， HUR J ， ROTH S . UnFlow： Unsupervised Learning of Optical Flow with a Bidirectional Census Loss ［C］// The 32nd AAAI Conference on Artificial Intelligence ， New Orleans， Louisiana， USA， 2018 .

JIANG S H ， LU Y ， LI H D ， et al . Learning Optical Flow from a few Matches ［C］// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Nashville， TN， USA， 2021 .

DOSOVITSKIY A ， FISCHER P ， ILG E ， et al . FlowNet： Learning Optical Flow with Convolutional Networks ［C］// IEEE International Conference on Computer Vision （ICCV）， Santiago， Chile ， 2015 .

REN Z ， YAN J C ， NI B B ， et al . Unsupervised Deep Learning for Optical Flow Estimation ［C］// The 31st AAAI Conference on Artificial Intelligence ， San Francisco， California，USA，2017 .

HAN B ， YAO Q M ， YU X R ， et al . Co-Teaching： Robust Training of Deep Neural Networks with Extremely Noisy Labels ［C］// The 32nd International Conference on Neural Information Processing Systems ， Montréal， Canada ， 2018 .

PASZKE A ， GROSS S ， MASSA F ， et al . PyTorch： An Imperative Style， High-Performance Deep Learning Library ［C］// Advances in Neural Information Processing Systems 32： Annual Conference on Neural Information Processing Systems ， Vancouver， BC， Canada ， 2019 .

LOSHCHILOV I ， HUTTER F . Decoupled Weight Decay Regularization ［J］. arXiv e-Print：1711 . 05101 ， 2017 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Thoughts on Smart Nautical Charts

High-Resolution L-Band InSAR Study of Intense Near-Field Deformation Associated with Shallow Moderate Earthquakes

Research Progress on Uncertainty in Radiometric Benchmark Transfer for Ocean Targets

Research Progress in Spatiotemporal Modeling， Analysis， and Prediction of Urban Activity Flows in Built Environment

A Review of GNSS Intentional Interference Detection Technologies for Mass-Market Intelligent Terminals： Research Status and Prospects

Related Author

No data

Related Institution

No data

AI问答

⁰