利用BiP-GAN进行行人视频异常事件自动检测

张杰; 杨雪; 龚智龙; 关庆锋

doi:10.13203/j.whugis20240259

您当前的位置：

首页 >

文章列表页 >

利用BiP-GAN进行行人视频异常事件自动检测

人群动态观测 | 更新时间：2026-11-05

- 利用BiP-GAN进行行人视频异常事件自动检测
- BiP-GAN Pedestrian Video Anomaly Event Automatic Detection
- 武汉大学学报（信息科学版） 2025年50卷第7期页码：1266-1276
- 作者机构：
  
  中国地质大学(武汉)国家地理信息系统工程技术研究中心，湖北武汉，430074
- 作者简介：
  
  张杰，硕士，主要从事视频图像处理研究。18333981575@163.com
  杨雪，博士，副教授。yangxue@cug.edu.cn
- 基金信息：
  
  国家自然科学基金(42271449)
- DOI：10.13203/j.whugis20240259
  中图分类号： P208
- 收稿：2024-12-03，
  
  纸质出版：2025-07-05
- 稿件说明：
移动端阅览
张杰,杨雪,龚智龙，等.利用BiP-GAN进行行人视频异常事件自动检测[J].武汉大学学报（信息科学版）,2025,50(7):1266-1276.

ZHANG Jie,YANG Xue,GONG Zhilong,et al. BiP-GAN Pedestrian Video Anomaly Event Automatic Detection[J].Geomatics and Information Science of Wuhan University,2025,50(7):1266-1276.
张杰,杨雪,龚智龙，等.利用BiP-GAN进行行人视频异常事件自动检测[J].武汉大学学报（信息科学版）,2025,50(7):1266-1276. DOI：10.13203/j.whugis20240259

ZHANG Jie,YANG Xue,GONG Zhilong,et al. BiP-GAN Pedestrian Video Anomaly Event Automatic Detection[J].Geomatics and Information Science of Wuhan University,2025,50(7):1266-1276. DOI：10.13203/j.whugis20240259

摘要

视频监控系统在安全和监督领域扮演着至关重要的角色，如何在不需要人为干预的情况下从视频中自动精准识别具有潜在安全威胁的行人非正常行为或事件，减少对大量视频监控画面进行人工审查的压力，是目前计算机视觉领域的研究热点之一。近年来，人工智能技术的快速发展使得视频异常检测技术得到了大幅提升，但多变、多样环境下异常与正常行为的细微差异区分还存在挑战。构建了一种新的双向预测生成对抗网络（bidirectional prediction generative adversarial network，BiP-GAN）视频行人异常检测模型。该模型主要包括交叉循环注意力（criss-cross attention，CCA）-U-Net生成器和Globle-Patch判别器，利用光流模型在光流变化及图像序列运动特征上的捕获优势，将其用于生成器和判别器的损失函数计算。CCA-U-Net生成器以经典U-Net模块为基础，通过CCA模块增强模型对视频行为关键特征的识别能力。Globle-Patch判别器通过结合Globle判别器和Patch判别器在全局和局部特征的感受优势，提高模型全局及局部的特征感受能力，提高模型的鲁棒性和准确性。BiP-GAN的预训练策略采用前4帧正向预测和后4帧反向预测的双向预测模式，使模型更好地结合图像序列的上下文特征，生成图像质量更好的预测帧。另外，BiP-GAN采用Warm-up与余弦退火学习率函数（cosine annealing function，CAF）相结合的学习率衰减方法，加快模型寻找全局最优解，从而节省计算资源。实验利用公开数据集CUHK Avenue、UCSD ped2和ShanghaiTech对BiP-GAN进行了验证和分析，其曲线下面积的平均值分别为87.3、96.2、73.9，均高于已有经典模型（如Ada-GAN、Con-GAN、Mul-GAN）。消融实验表明了CCA-U-Net生成器、Globle-Patch判别器、双向预测策略以及Warm-up与CAF结合的学习率衰减方法对于模型的有效性。

Abstract

Objectives

Video surveillance system plays a vital role in the field of security and supervision. How to automatically and accurately identify abnormal pedestrian behaviors or events with potential security threats from videos without human intervention

and reduce the pressure of manual review of a large number of video surveillance images

is one of the current research hotspots in the field of computer vision. In recent years

the rapid development of artificial intelligence technology has greatly improved video anomaly detection technology. However

there are still challenges in distinguishing subtle differences between abnormal and normal behavior in changing and diverse environments.

Methods

We construct a new video pedestrian anomaly detection model based on bidirectional prediction generative adversarial network (BiP-GAN). The model mainly includes CCA-U-Net generator and Globle-Patch discriminator. The advantages of optical flow model in capturing optical flow changes and image sequence motion characteristics are used to calculate the loss function of the generator and discriminator. Based on the classic U-Net module

the criss-cross attention (CCA)-U-Net generator introduces CCA module to enhance the recognition ability of the model for the key features of video behavior. Globle-patch discriminator combines the global and local feature perception advantages of Globle discriminator and Patch discriminator

improves the global and local feature perception ability of the model

and the robustness and accuracy of the model. The pre-training strategy of BiP-GAN adopts the bidirectional prediction mode of the first 4 frames of forward prediction and the last 4 frames of reverse prediction

so that the model can better combine the context features of the image sequence and generate prediction frames with better image quality. In addition

BiP-GAN uses a learning rate decay method combining Warm-up and cosine annealing function (CAF) to speed up the model to find the global optimal solution

thus saving computing resources.

Results

BiP-GAN is verified and analyzed by using the public datasets CUHK Avenue

UCSD ped2 and ShanghaiTech. The average area under the curve of BiP-GAN is 87.3

96.2 and 73.9

respectively. All of them are higher than the existing classic models (such as Ada-GAN

Con-GAN

Mul-GAN). Ablation experiments show the effectiveness of the CCA-U-Net generator

Globle-Patch discriminator

bidirectional prediction strategy

and the learning rate decay method combining Warm-up and CAF for the model.

Conclusions

The proposed BiP-GAN model effectively enhances the accuracy and robustness of video anomaly detection through bidirectional prediction

attention mechanisms

multi-scale discrimination

and an optimized training strategy. Experimental results demonstrate its superiority over existing models

confirming its potential for practical application in intelligent surveillance systems.

关键词

Keywords

references

GEORGESCU M I ， BARBALAU A ， IONESCU R T ， et al . Anomaly Detection in Video via Self-Supervised and Multi-task Learning ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Nashville， TN， USA， 2021 .

ZHANG M H ， WANG J Y ， QI Q ， et al . Multi-scale Video Anomaly Detection by Multi-grained Spatiotemporal Representation Learning ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Seattle， WA， USA， 2024 .

TIAN Y ， PANG G S ， CHEN Y H ， et al . Weakly-Supervised Video Anomaly Detection with Robust Temporal Feature Magnitude Learning ［C］// IEEE/CVF International Conference on Computer Vision ， Montreal， QC， Canada， 2021 .

徐晓 . 基于卷积神经网络的视频监控异常事件检测研究［J］. 电子技术与软件工程， 2023 （ 6 ）： 193 - 197 .

XU Xiao . Research on Abnormal Event Detection in Video Surveillance Based on Convolutional Neural Network ［J］. Electronic Technology and Software Engineering ， 2023 （ 6 ）： 193 - 197 .

赵松，傅豪，王洪星 . 伪异常选择驱动学习的视频异常检测［J］. 计算机科学， 2023 ， 50 （ 5 ）： 146 - 154 .

ZHAO Song ， FU Hao ， WANG Hongxing . Video Anomaly Detection Driven by Pseudo-Anomaly Selection Learning ［J］. Computer Science ， 2023 ， 50 （ 5 ）： 146 - 154 .

吴德刚，赵利平，陈乾辉，等 . 基于双尺度串行网络的视频异常行为检测［J］. 广西科学， 2023 ， 30 （ 3 ）： 575 - 586 .

WU Degang ， ZHAO Liping ， CHEN Qianhui ， et al . Video Abnormal Behavior Detection Based on Dual-Scale Serial Network ［J］. Guangxi Science ， 2023 ， 30 （ 3 ）： 575 - 586 .

潘文康，邵振峰，廖明，等 . 利用深度时空自编码网络与多示例学习进行船只异常事件检测［J］. 武汉大学学报（信息科学版）， 2024 ， 49 （ 7 ）： 1109 - 1119 .

PAN Wenkang ， SHAO Zhenfeng ， LIAO Ming ， et al . Ship Abnormal Event Detection Using Deep Spatiotemporal Autoencoder Network and Multi-instance Learning ［J］. Geomatics and Information Scien‑ce of Wuhan University ， 2024 ， 49 （ 7 ）： 1109 - 1119 .

SHI H ， DONG S ， WU Y ， et al . Generative Adversarial Network for Car Following Trajectory Generation and Anomaly Detection ［J］. Journal of Intelligent Transportation Systems ， 2025 ， 29 （ 1 ）： 53 - 66 .

LIU W ， LUO W ， LIAN D ， et al . Future Frame Prediction for Anomaly Detection： A New Baseline ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition ， Salt Lake City， UT， USA， 2018 .

SONG H ， SUN C ， WU X ， et al . Learning Normal Patterns via Adversarial Attention-Based Autoencoder for Abnormal Event Detection in Videos ［J］. IEEE Transactions on Multimedia ， 2019 ， 22 （ 8 ）： 2138 - 2148 .

LUO L ， LI Y ， YIN H ， et al . Crowd-Level Abnormal Behavior Detection via Multi-scale Motion Consistency Learning ［C］// AAAI Conference on Artificial Intelligence ， Washington D C， USA ， 2023 .

DOSOVITSKIY A ， FISCHER P ， ILG E ， et al . FlowNet：Learning Optical Flow with Convolutional Networks ［C］// IEEE International Conference on Computer Vision ， Santiago， Chile ， 2015 .

CHEN D ， WANG P ， YUE L ， et al . Anomaly Detection in Surveillance Video Based on Bidirectional Prediction ［J］. Image and Vision Computing ， 2020 ， 98 ： 103915 .

WANG J ， ZHANG J ， JI G ， et al . Criss-Cross Attention Based Auto Encoder for Video Anomaly Event Detection ［J］. Intelligent Automation and Soft Computing ， 2022 ， 34 （ 3 ）： 1629 - 1642 .

LI N ， CHANG F ， LIU C . Spatial-Temporal Cascade Autoencoder for Video Anomaly Detection in Crowded Scenes ［J］. IEEE Transactions on Multimedia ， 2020 ， 23 ： 203 - 215 .

ZHAO Y ， DENG B ， SHEN C ， et al . Spatio-temporal Autoencoder for Video Anomaly Detection ［C］// ACM International Conference on Multimedia ， Mountain View， CA， USA， 2017 .

XU J ， MIAO Z ， XU W ， et al . Video Anomaly Detection Using Dual Discriminator Based Generative Adversarial Network ［C］// IEEE International Conference on Machine Learning and Applications ， Pasadena， CA， USA， 2021 .

LI D ， NIE X ， LI X ， et al . Context-Related Video Anomaly Detection via Generative Adversarial Network ［J］. Pattern Recognition Letters ， 2022 ， 156 ： 183 - 189 .

SAYPADITH S ， DETVONGSA S ， ONOYE T . Joint Generative Network for Abnormal Event Detection in Surveillance Videos ［C］// International SoC Design Conference ， Jeju， Korea ， 2022 .

LIU Y ， LIU J ， LIN J ， et al . Appearance-Motion United Auto-Encoder Framework for Video Anomaly Detection ［J］. IEEE Transactions on Circuits and Systems II： Express Briefs ， 2022 ， 69 （ 5 ）： 2498 - 2502 .

AHIR A ， PATERIYA P K ， KAUR D ， et al . A Review on Abnormal Activity Detection Methods ［C］// International Conference on Computational Techniques， Electronics and Mechanical Systems ， Pune， India ， 2018 .

WANG B ， NGUYEN T ， SUN T ， et al . Scheduled Restart Momentum for Accelerated Stochastic Gra‑dient Descent ［J］. SIAM Journal on Imaging Sciences ， 2022 ， 15 （ 2 ）： 738 - 761 .

SHAMAEE M S ， HAFSHEJANI S F ， SAEIDIAN Z . New Logarithmic Step Size for Stochastic Gradient Descent ［J］. Frontiers of Computer Scien‑ce ， 2025 ， 19 （ 1 ）： 1 - 10 .

SIMONYAN K ， ZISSERMAN A . Two-Stream Convolutional Networks for Action Recognition in Videos ［C］// Advances in Neural Information Processing Systems ， Montreal， Canada ， 2014 .

肖进胜，郭浩文，谢红刚，等 . 监控视频异常行为检测的概率记忆自编码网络［J］. 软件学报， 2023 ， 34 （ 9 ）： 4362 - 4377 .

XIAO Jinshen ， GUO Haowen ， XIE Honggang ， et al . Probability Memory Autoencoder Network for Surveillance Video Abnormal Behavior Detection ［J］. Journal of Software ， 2023 ， 34 （ 9 ）： 4362 - 4377 .

YANG J X ， CAI Y H ， LIU D ， et al . 3D U-Net for Video Anomaly Detection ［C］// International Conferen ce on Electronic Information Technology and Computer Engineering， Xiamen， China ， 2021 .

LIU W ， CAO J ， ZHU Y ， et al . Real-Time Anomaly Detection on Surveillance Video with Two-Stream Spatio-temporal Generative Model ［J］. Multimedia Systems ， 2023 ， 29 （ 1 ）： 59 - 71 .

ZHANG Y ， NIE X ， HE R ， et al . Normality Learning in Multispace for Video Anomaly Detection ［J］. IEEE Transactions on Circuits and Systems for Video Technology ， 2020 ， 31 （ 9 ）： 3694 - 3706 .

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

DCMR-Net：一种面向复杂噪声地震记录的多尺度残差去噪网络

多模态遥感影像匹配进展与展望：从传统模式到深度学习

人工智能驱动的GNSS大气效应建模、预测与应用研究进展

从专用模型到通用模型驱动的范式升级：GeoAI研究综述与展望

人工智能大地测量现状与趋势研究