Action Recognition Considering Skeleton Region Characteristics

LI Wenjing; LIU Xin

doi:10.13203/j.whugis20220020

您当前的位置：

首页 >

文章列表页 >

Action Recognition Considering Skeleton Region Characteristics

Cartography and GIS | 更新时间：2026-11-06

- Action Recognition Considering Skeleton Region Characteristics
- Geomatics and Information Science of Wuhan University Vol. 50, Issue 3, Pages: 571-578(2025)
- 作者机构：
  
  武汉科技大学资源与环境工程学院，湖北武汉，430000
- 作者简介：
- 基金信息：
- DOI：10.13203/j.whugis20220020
  CLC： P208
- Received：20 March 2024，
  
  Published：05 March 2025
- 稿件说明：
移动端阅览
李雯静,刘鑫.顾及人体骨架区域特征的行为识别研究[J].武汉大学学报（信息科学版）,2025,50(3):571-578.

LI Wenjing,LIU Xin.Action Recognition Considering Skeleton Region Characteristics[J].Geomatics and Information Science of Wuhan University,2025,50(3):571-578.
李雯静,刘鑫.顾及人体骨架区域特征的行为识别研究[J].武汉大学学报（信息科学版）,2025,50(3):571-578. DOI：10.13203/j.whugis20220020

LI Wenjing,LIU Xin.Action Recognition Considering Skeleton Region Characteristics[J].Geomatics and Information Science of Wuhan University,2025,50(3):571-578. DOI：10.13203/j.whugis20220020

摘要

基于人体骨架数据的行为识别研究目前已经取得较好的进展，然而现有方法大多仅考虑关节点的空间位置信息，忽视了关节点的区域变化特征。提出一种顾及人体骨架区域特征的行为识别方法，使用人体骨架数据表征人体行为特征，按照人体运动规律对骨架图进行区域划分，在关节坐标数据的基础上考虑区域内关节的角度变化情况，并将两种数据分别作为时空图卷积网络的输入，对两种数据流的预测结果进行融合。实验结果表明，所提方法较单个数据流的检测结果提高了1.9%；与几种经典模型比较，其Top-1和Top-5准确率分别达到了32.4%和54.2%，相较其他模型有更好的检测结果。

Abstract

Objectives

The research on action recognition based on human skeleton data has made good progress. However

most of the existing methods only consider the spatial position information of joint points and ignore the regional change characteristics of joint points. In order to solve this problem

an action recognition method considering the regional characteristics of skeleton is proposed.

Methods

First

based on the human body structure

the joints and bones are constructed into a spatiotemporal skeleton map which represents the human action characteristics. The skeleton map is divided into regions according to the law of human movement. Then

the coordinates of nodes in the skeleton graph and the angle change data of the nodes in the region are used as the inputs of the spatiotemporal graph convolution network. Finally

the prediction results of the two data streams are fused to realize human action recognition.

Results

In order to prove the effectiveness of the proposed method

it is verified on Florence 3D dataset and dynamics action dataset

respectively. The results show that the accuracy of the proposed method reaches 91.1% on Florence 3D dataset

which is 1.9% higher than that of a single data stream. The accuracies of Top-1 and Top-5 on dynamics action dataset reach 32.4% and 54.2%

respectively.

Conclusions

Compared with the existing methods

the proposed method is proved to have better recognition accuracy and higher effectiveness through multiple sets of experiments.

关键词

Keywords

references

樊恒，徐俊，邓勇，等 . 基于深度学习的人体行为识别［J］. 武汉大学学报（信息科学版）， 2016 ， 41 （ 4 ）： 492 - 497 .

FAN Heng ， XU Jun ， DENG Yong ， et al . Behavior Recognition of Human Based on Deep Learning ［J］. Geomatics and Information Science of Wuhan University ， 2016 ， 41 （ 4 ）： 492 - 497 .

毛琳，陈思宇，杨大伟 . 引导式的卷积神经网络视频行人动作分类改进方法［J］. 武汉大学学报（信息科学版）， 2021 ， 46 （ 8 ）： 1241 - 1246 .

MAO Lin ， CHEN Siyu ， YANG Dawei . A Guided Method for Improving the Video Human Action Classification in Convolutional Neural Networks ［J］. Geomatics and Information Science of Wuhan University ， 2021 ， 46 （ 8 ）： 1241 - 1246 .

周于涛，吴华意，成洪权，等 . 结合自注意力机制和结伴行为特征的行人轨迹预测模型［J］. 武汉大学学报（信息科学版）， 2020 ， 45 （ 12 ）： 1989 - 1996 .

ZHOU Yutao ， WU Huayi ， CHENG Hongquan ， et al . Pedestrian Trajectory Prediction Model Based on Self-Attention Mechanism and Group Behavior Cha-racteristics ［J］. Geomatics and Information Science of Wuhan University ， 2020 ， 45 （ 12 ）： 1989 - 1996 .

徐敬海，杜东升，李枝军，等 . 一种应用传感器网和实景三维模型的复杂建筑物实时动态监测方法［J］. 武汉大学学报（信息科学版）， 2021 ， 46 （ 5 ）： 630 - 639 .

XU Jinghai ， DU Dongsheng ， LI Zhijun ， et al . A Real-Time Dynamic Monitoring Method for Complex Building Applying Sensor Network and Reality 3D Model ［J］. Geomatics and Information Science of Wuhan University ， 2021 ， 46 （ 5 ）： 630 - 639 .

BAI L M . Intelligent Body Behavior Feature Extraction Based on Convolution Neural Network in Patients with Craniocerebral Injury ［J］. Mathematical Biosciences and Engineering ， 2021 ， 18 （ 4 ）： 3781 - 3789 .

刘勇，谢若莹，丰阳，等 . 智能家居中的居民日常行为识别综述［J］. 计算机工程与应用， 2021 ， 57 （ 4 ）： 35 - 42 .

LIU Yong ， XIE Ruoying ， FENG Yang ， et al . Survey on Resident’s Daily Activity Recognition in Smart Homes ［J］. Computer Engineering and Applications ， 2021 ， 57 （ 4 ）： 35 - 42 .

XIE S N ， SUN C ， HUANG J ， et al . Rethinking Spatiotemporal Feature Learning： Speed-Accuracy Trade-Offs in Video Classification ［C］// The 15th European Conference on Computer Vision ， Munich， Germany ， 2018 .

WANG X L ， GIRSHICK R ， GUPTA A ， et al . Non-local Neural Networks ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

HAN J G ， SHAO L ， XU D ， et al . Enhanced Computer Vision with Microsoft Kinect Sensor： A Review ［J］. IEEE Transactions on Cybernetics ， 2013 ， 43 （ 5 ）： 1318 - 1334 .

SAINATH T N ， VINYALS O ， SENIOR A ， et al . Convolutional， Long Short-Term Memory， Fully Connected Deep Neural Networks ［C］// IEEE International Conference on Acoustics， Speech and Signal Processing ， South Brisbane， Australia ， 2015 .

KE Q H ， BENNAMOUN M ， AN S J ， et al . A New Representation of Skeleton Sequences for 3D Action Recognition ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Honolulu， USA ， 2017 .

LI S ， LI W Q ， COOK C ， et al . Independently Recurrent Neural Network （IndRNN）： Building a Longer and Deeper RNN ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Salt Lake City， USA ， 2018 .

DU Y ， WANG W ， WANG L . Hierarchical Recurrent Neural Network for Skeleton Based Action Re-cognition ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Boston， USA ， 2015 .

FERNANDO B ， GAVVES E ， JOSÉ ORAMAS M ， et al . Modeling Video Evolution for Action Recognition ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Boston， USA ， 2015 .

DONG X W ， THANOU D ， RABBAT M ， et al . Learning Graphs from Data： A Signal Representation Perspective ［J］. IEEE Signal Processing Magazine ， 2019 ， 36 （ 3 ）： 44 - 63 .

YAN S J ， XIONG Y J ， LIN D H . Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition ［C］// The 32nd AAAI Conference on Artificial Intelligence ， New Orleans， Louisiana， USA， 2018 .

LI M S ， CHEN S H ， CHEN X ， et al . Actional-Structural Graph Convolutional Networks for Skeleton-Based Action Recognition ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Long Beach， USA ， 2019 .

LI J P ， WEI P ， ZHENG N N . Nesting Spatiotemporal Attention Networks for Action Recognition ［J］. Neurocomputing ， 2021 ， 459 （ 1 ）： 338 - 348 .

YANG H ， YAN D ， ZHANG L ， et al . Feedback Graph Convolutional Network for Skeleton-Based Action Recognition ［J］. IEEE Transactions on Image Processing ， 2021 ， 31 （ 1 ）： 164 - 175 .

SHAHROUDY A ， LIU J ， NG T T ， et al . NTU RGB D： A Large Scale Dataset for 3D Human Activity Analysis ［C］// IEEE Conference on Computer Vision and Pattern Recognition ， Las Vegas， USA ， 2016 .

KIM T S ， REITER A . Interpretable 3D Human Action Analysis with Temporal Convolutional Networks ［C］// IEEE Conference on Computer Vision and Pattern Recognition Workshops ， Honolulu， USA ， 2017 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Thoughts on Smart Nautical Charts

Geometric and Frequency-Domain Constrained Single-Step Diffusion for Seabed Terrain Super-Resolution Reconstruction

Three-State Fusion Support Problem of Marine Geographic Information for Ship Navigation

Intelligent Change Detection Method and Application Based on Wuhan-1 Satellite Imagery

Machine Learning-Based Remote Sensing Retrieval of Soil Moisture： Advances and Challenges

Related Author

No data

Related Institution

No data

AI问答

⁰