Efficient Head Pose Estimation Based on the Representation of Facial Features Rotation Displacement Relationship

LIU Qiuxia; YU Haiyang; LIU Zhifeng; XIA Haoting; LIU Tingting; GUO Zhenhui; LIU Hai

doi:10.14188/j.1671-8836.2025.0191

您当前的位置：

首页 >

文章列表页 >

Efficient Head Pose Estimation Based on the Representation of Facial Features Rotation Displacement Relationship

更新时间：2026-10-13

- Efficient Head Pose Estimation Based on the Representation of Facial Features Rotation Displacement Relationship
- J Wuhan Univ （Nat Sci Ed） Pages: 1-16(2026)
- 作者机构：
  
  1.中国人民解放军南部战区总医院内科重症医学科，广东广州 510010
  2.华中师范大学人工智能教育学部，湖北武汉 430079
  3.香港大学教育学部，中国香港 999077
- 作者简介：
- 基金信息：
- DOI：10.14188/j.1671-8836.2025.0191
  CLC： TP391.41
- Received：14 October 2025，
  
  Online First：13 October 2026，
- 稿件说明：
移动端阅览
刘秋霞，余海洋，刘志锋，等.基于五官旋转位移关系表征的高效头部姿态估计［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-16. DOI：10.14188/j.1671-8836.2025.0191.

LIU Qiuxia，YU Haiyang，LIU Zhifeng，et al.Efficient Head Pose Estimation Based on the Representation of Facial Features Rotation Displacement Relationship ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-16. DOI：10.14188/j.1671-8836.2025.0191（Ch）.
刘秋霞，余海洋，刘志锋，等.基于五官旋转位移关系表征的高效头部姿态估计［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-16. DOI：10.14188/j.1671-8836.2025.0191. DOI：

LIU Qiuxia，YU Haiyang，LIU Zhifeng，et al.Efficient Head Pose Estimation Based on the Representation of Facial Features Rotation Displacement Relationship ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-16. DOI：10.14188/j.1671-8836.2025.0191（Ch）. DOI：

摘要

头部姿态估计作为计算机视觉领域的关键研究任务，在人机交互、安防监控等场景中具有广泛应用前景。然而，实际的头部姿态应用面临诸多挑战，例如严重的遮挡、光照不足和极端的姿态角度。为此，本文提出一种基于五官旋转位移关系表征的头部姿态估计方法，该方法主要包含两个模块：五官关系挖掘模块和隐秘位移特征表示模块。五官关系挖掘模块通过精细建模左眼、右眼、双耳等五官区域的空间分布及相互依赖关系，显著提升模型对头部姿态关键信息的感知与理解能力；隐秘位移特征表示模块以五官旋转过程中的相对位移为核心，构建适配遮挡场景的稳健特征结构，有效突破遮挡干扰。在BIWI、AFLW2000数据集及其遮挡版本上的实验结果表明，本文方法在遮挡条件下的头部姿态估计性能优于多种现有方法，同时在无遮挡场景中准确率较高，充分验证了方法的有效性与鲁棒性。

Abstract

Head pose estimation

a key research task in computer vision

has broad application prospects in human-computer interaction

security monitoring and other scenarios. However

practical applications face many challenges

such as severe occlusion

insufficient lighting and extreme posture angles. Therefore

this article proposed a head pose estimation method based on the representation of rotational displacement relationships of facial features

which mainly included two modules: Facial Relationship Mining (FRM) Module and Covert Displacement Feature Representation (CDF) Module. Specifically

the FRM Module significantly enhanced the model’s ability to perceive and understand key head pose information by finely modeling the spatial distribution and interdependencies of facial regions. The CDF Module constructed a robust feature structure suitable for occluded scenarios centered on the relative displacement of facial features during rotation

effectively breaking through occlusion interference. Experimental results on BIWI

AFLW2000 datasets and their occluded versions show that the proposed method outperforms several state-of-the-art methods in occluded conditions while maintaining comparable accuracy in non-occluded scenarios

fully verifying its effectiveness and robustness.

关键词

Keywords

references

TOURANI S ， TOURANI S ， MAHMOOD A ， et al . Unsupervised discovery of facial landmarks and head pose ［C］// 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2025 ： 21192 - 21202 . DOI： 10.1109/CVPR52734.2025.01974 http://dx.doi.org/10.1109/CVPR52734.2025.01974 .

BOSCH N ， D’MELLO S K . Automatic detection of mind wandering from video in the lab and in the classroom ［J］. IEEE Transactions on Affective Computing ， 2021 ， 12 （ 4 ）： 974 - 988 . DOI： 10.1109/TAFFC.2019.2908837 http://dx.doi.org/10.1109/TAFFC.2019.2908837 .

JIANG J X ， STRELI P ， MEIER M ， et al . EgoPoser： robust real-time egocentric pose estimation from Sparse and Intermittent observations everywhere ［C］// Computer Vision – ECCV 2024 . Cham ： Springer ， 2025 ： 277 - 294 . DOI： 10.1007/978-3-031-72627-9_16 http://dx.doi.org/10.1007/978-3-031-72627-9_16 .

ROTH M ， GAVRILA D M . intrApose： Monocular driver 6 DOF head pose estimation leveraging camera intrinsics ［J］. IEEE Transactions on Intelligent Vehicles ， 2023 ， 8 （ 8 ）： 4057 - 4068 . DOI： 10.1109/TIV.2023.3274068 http://dx.doi.org/10.1109/TIV.2023.3274068 .

CHOTIKKAKAMTHORN K ， LIE W N ， RITTHIPRAVAT P ， et al . Medical application of deep-learning-based head pose estimation from RGB image sequence ［J］. Computers in Biology and Medicine ， 2025 ， 195 ： 110620 . DOI： 10.1016/j.compbiomed.2025.110620 http://dx.doi.org/10.1016/j.compbiomed.2025.110620 .

章毅，吕嘉仪，兰星，等 . 结合面部动作单元感知的三维人脸重建算法［J］. 软件学报， 2024 ， 35 （ 5 ）： 2176 - 2191 . DOI： 10.13328/j.cnki.jos.007029 http://dx.doi.org/10.13328/j.cnki.jos.007029 .

ZHANG Y ， LÜ J Y ， LAN X ， et al . AU-aware algorithm for 3D facial reconstruction ［J］. Journal of Software ， 2024 ， 35 （ 5 ）： 2176 - 2191 . DOI： 10.13328/j.cnki.jos.007029（Ch http://dx.doi.org/10.13328/j.cnki.jos.007029（Ch ）.

HEMPEL T ， ABDELRAHMAN A A ， AL-HAMADI A . Toward robust and unconstrained full range of rotation head pose estimation ［J］. IEEE Transactions on Image Processing ， 2024 ， 33 ： 2377 - 2387 . DOI： 10.1109/TIP.2024.3378180 http://dx.doi.org/10.1109/TIP.2024.3378180 .

BARRA P ， BARRA S ， BISOGNI C ， et al . Web-shaped model for head pose estimation： An approach for best exemplar selection ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 5457 - 5468 . DOI： 10.1109/TIP.2020.2984373 http://dx.doi.org/10.1109/TIP.2020.2984373 .

李俊，袁通达，陈黎 . 基于多尺度与多级语义融合Transformer的人体姿态估计［J］. 武汉大学学报（理学版）， 2025 ， 71 （ 4 ）： 473 - 484 . DOI： 10.14188/j.1671-8836.2024.0094 http://dx.doi.org/10.14188/j.1671-8836.2024.0094 .

LI J ， YUAN T D ， CHEN L . Human pose estimation based on multi-scale and multi-level semantic fusion transformer ［J］. Journal of Wuhan University （Natural Science Edition）， 2025 ， 71 （ 4 ）： 473 - 484 . DOI： 10.14188/j.1671-8836.2024.0094（Ch http://dx.doi.org/10.14188/j.1671-8836.2024.0094（Ch ）.

YU Y ， MORA K A F ， ODOBEZ J M . HeadFusion： 360° head pose tracking combining 3D morphable model and 3D reconstruction ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 40 （ 11 ）： 2653 - 2667 . DOI： 10.1109/TPAMI.2018.2841403 http://dx.doi.org/10.1109/TPAMI.2018.2841403 .

CELESTINO J ， MARQUES M ， NASCIMENTO J C ， et al . 2D Image head pose estimation via latent space regression under occlusion settings ［J］. Pattern Recognition ， 2023 ， 137 ： 109288 . DOI： 10.1016/j.patcog.2022.109288 http://dx.doi.org/10.1016/j.patcog.2022.109288 .

MARTYNIUK T ， KUPYN O ， KURLYAK Y ， et al . DAD-3DHeads： A large-scale dense， accurate and diverse dataset for 3D head alignment from a single image ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2022 ： 20910 - 20920 . DOI： 10.1109/CVPR52688.2022.02027 http://dx.doi.org/10.1109/CVPR52688.2022.02027 .

ABATE A F ， CASCONE L ， NAPPI M . Ricci curvature discretizations for head pose estimation from a single image ［J］. Pattern Recognition ， 2025 ， 166 ： 111648 . DOI： 10.1016/j.patcog.2025.111648 http://dx.doi.org/10.1016/j.patcog.2025.111648 .

ZOU Z M ， JIA D ， TANG W . Towards unsupervised learning of joint facial landmark detection and head pose estimation ［J］. Pattern Recognition ， 2025 ， 162 ： 111393 . DOI： 10.1016/j.patcog.2025.111393 http://dx.doi.org/10.1016/j.patcog.2025.111393 .

CAO Z W ， CHU Z C ， LIU D F ， et al . A vector-based representation to enhance head pose estimation ［C］// 2021 IEEE Winter Conference on Applications of Computer Vision （WACV） . New York ： IEEE Press ， 2021 ： 1187 - 1196 . DOI： 10.1109/WACV48630.2021.00123 http://dx.doi.org/10.1109/WACV48630.2021.00123 .

HEMPEL T ， ABDELRAHMAN A A ， AL-HAMADI A . 6d rotation representation for unconstrained head pose estimation ［C］// 2022 IEEE International Conference on Image Processing （ICIP） . New York ： IEEE Press ， 2022 ： 2496 - 2500 . DOI： 10.1109/ICIP46576.2022.9897219 http://dx.doi.org/10.1109/ICIP46576.2022.9897219 .

SHEKA A ， SAMUN V . Boosting of head pose estimation by knowledge distillation ［EB/OL］. ［ 2022-02-28 ］. https：//arxiv.org/pdf/2108.09183 https://arxiv.org/pdf/2108.09183 . DOI: 10.1109/usbereit51232.2021.9455063 http://dx.doi.org/10.1109/usbereit51232.2021.9455063 .

DHINGRA N . LwPosr： Lightweight efficient fine grained head pose estimation ［C］// 2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV） . New York ： IEEE Press ， 2022 ： 1204 - 1214 . DOI： 10.1109/WACV51458.2022.00127 http://dx.doi.org/10.1109/WACV51458.2022.00127 .

LIU H ， LIU T T ， ZHANG Z L ， et al . ARHPE： Asymmetric relation-aware representation learning for head pose estimation in industrial human–computer interaction ［J］. IEEE Transactions on Industrial Informatics ， 2022 ， 18 （ 10 ）： 7107 - 7117 . DOI： 10.1109/tii.2022.3143605 http://dx.doi.org/10.1109/tii.2022.3143605 .

ZHANG C ， LIU H ， DENG Y J ， et al . TokenHPE： Learning orientation tokens for efficient head pose estimation via transformers ［C］// 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2023 ： 8897 - 8906 . DOI： 10.1109/CVPR52729.2023.00859 http://dx.doi.org/10.1109/CVPR52729.2023.00859 .

DHINGRA N . HeadPosr： End-to-end trainable head pose estimation using transformer encoders ［C］// 2021 16th IEEE International Conference on Automatic Face and Gesture Recognition （FG 2021） . New York ： IEEE Press ， 2021 ： 1 - 8 . DOI： 10.1109/FG52635.2021.9667080 http://dx.doi.org/10.1109/FG52635.2021.9667080 .

LU X Y ， SUGANUMA M ， OKATANI T . Cascaded multi-scale attention for enhanced multi-scale feature extraction and interaction with low-resolution images ［PP/OL］. V4. arXiv （ 2026-07-13 ）. https：//doi.org/10.48550/arXiv.2412.02197 https://doi.org/10.48550/arXiv.2412.02197 .

李成龙，钟凡，马昕，等 . 基于卡尔曼滤波和随机回归森林的实时头部姿态估计［J］. 计算机辅助设计与图形学学报， 2017 ， 29 （ 12 ）： 2309 - 2316 . DOI： 10.3724/SP.J.1089.2017.16521 http://dx.doi.org/10.3724/SP.J.1089.2017.16521 .

LI C L ， ZHONG F ， MA X ， et al . Real-time head pose estimation based on Kalman filter and random regression forest ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2017 ， 29 （ 12 ）： 2309 - 2316 . DOI： 10.3724/SP.J.1089.2017.16521（Ch http://dx.doi.org/10.3724/SP.J.1089.2017.16521（Ch ）.

VASWANI A ， SHAZEER N ， PARMAR N ， et al . Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems . 2017 ： 6000 - 6010 . DOI： 10.5555/3295222.3295349 http://dx.doi.org/10.5555/3295222.3295349 .

刘婷婷，王敏红，邓李茜，等 . 基于褶纹基元关系感知的高效面部表情识别方法［J］. 武汉大学学报（理学版）， 2025 ， 71 （ 5 ）： 652 - 666 . DOI： 10.14188/j.1671-8836.2025.0014 http://dx.doi.org/10.14188/j.1671-8836.2025.0014 .

LIU T T ， WANG M H ， DENG L Q ， et al . Pleated primitive-aware semantic relationship learning for efficient facial expression recognition via transformers ［J］. Journal of Wuhan University （Natural Science Edition）， 2025 ， 71 （ 5 ）： 652 - 666 . DOI： 10.14188/j.1671-8836.2025.0014（Ch http://dx.doi.org/10.14188/j.1671-8836.2025.0014（Ch ）.

ESCOBAR M ， PUENTES J ， FORIGUA C ， et al . EgoCast： Forecasting egocentric human pose in the wild ［C］// 2025 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV） . New York ： IEEE Press ， 2025 ： 5831 - 5841 . DOI： 10.1109/WACV61041.2025.00569 http://dx.doi.org/10.1109/WACV61041.2025.00569 .

KHAN K ， MAURO M ， MIGLIORATI P ， et al . Head pose estimation through multi-class face segmentation ［C］// 2017 IEEE International Conference on Multimedia and Expo （ICME） . New York ： IEEE Press ， 2017 ： 175 - 180 . DOI： 10.1109/ICME.2017.8019521 http://dx.doi.org/10.1109/ICME.2017.8019521 .

GUPTA A ， THAKKAR K ， GANDHI V ， et al . Nose， eyes and ears： Head pose estimation by locating facial keypoints ［C］// ICASSP 2019 - 2019 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP） . New York ： IEEE Press ， 2019 ： 1977 - 1981 . DOI： 10.1109/ICASSP.2019.8683503 http://dx.doi.org/10.1109/ICASSP.2019.8683503 .

VALLE R ， BUENAPOSADA J M ， BAUMELA L . Multi-task head pose estimation in-the-wild ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2021 ， 43 （ 8 ）： 2874 - 2881 . DOI： 10.1109/TPAMI.2020.3046323 http://dx.doi.org/10.1109/TPAMI.2020.3046323 .

RUIZ N ， CHONG E ， REHG J M . Fine-grained head pose estimation without keypoints ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW） . New York ： IEEE Press ， 2018 ： 2155 - 215509 . DOI： 10.1109/CVPRW.2018.00281 http://dx.doi.org/10.1109/CVPRW.2018.00281 .

ZHOU Y J ， GREGSON J . WHENet： Real-time fine-grained estimation for wide range head pose ［C］// Proceedings of the British Machine Vision Conference 2020 . Online . British Machine Vision Association ， 2020 ： 189 . DOI： 10.5244/c.34.189 http://dx.doi.org/10.5244/c.34.189 .

TAN M X ， LE Q V . EfficientNet： Rethinking model scaling for convolutional neural networks ［PP/OL］. V5. arXiv （ 2020-09-11 ）. https：//doi.org/10.48550/arXiv.1905.11946 https://doi.org/10.48550/arXiv.1905.11946 .

YANG T Y ， CHEN Y T ， LIN Y ， et al . FSA-net： Learning fine-grained structure aggregation for head pose estimation from a single image ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2019 ： 1087 - 1096 . DOI： 10.1109/CVPR.2019.00118 http://dx.doi.org/10.1109/CVPR.2019.00118 .

ZHU X Y ， LEI Z ， LIU X M ， et al . Face alignment across large poses： A 3D solution ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2016 ： 146 - 155 . DOI： 10.1109/CVPR.2016.23 http://dx.doi.org/10.1109/CVPR.2016.23 .

KÖSTINGER M ， WOHLHART P ， ROTH P M ， et al . Annotated Facial Landmarks in the Wild： A large-scale， real-world database for facial landmark localization ［C］// 2011 IEEE International Conference on Computer Vision Workshops （ICCV Workshops） . New York ： IEEE Press ， 2011 ： 2144 - 2151 . DOI： 10.1109/ICCVW.2011.6130513 http://dx.doi.org/10.1109/ICCVW.2011.6130513 .

FANELLI G ， DANTONE M ， GALL J ， et al . Random forests for real time 3D face analysis ［J］. International Journal of Computer Vision ， 2013 ， 101 （ 3 ）： 437 - 458 . DOI： 10.1007/s11263-012-0549-0 http://dx.doi.org/10.1007/s11263-012-0549-0 .

ZHANG K P ， ZHANG Z P ， LI Z F ， et al . Joint face detection and alignment using multitask cascaded convolutional networks ［J］. IEEE Signal Processing Letters ， 2016 ， 23 （ 10 ）： 1499 - 1503 . DOI： 10.1109/LSP.2016.2603342 http://dx.doi.org/10.1109/LSP.2016.2603342 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Pleated Primitive-Aware Semantic Relationship Learning for Efficient Facial Expression Recognition via Transformers

Knowledge Graph Completion Based on Neighborhood Information and Nested Attention

Tongue Image Segmentation Based on Transformer Feature Channel Fusion

Exploring the Capabilities of the ChatGPT Model： Prospects and Challenges in Industrial Applications

I-Optimal Design of the Two-Response Scheffé Mixture Model

Related Author

YANG Bing

LIU Hai

ZHOU Qiyun

DENG Liqian

WANG Minhong

LIU Tingting

LIU Hai

Related Institution

Normal School， Hubei University

School of Electronic and Electrical Engineering， Shanghai University of Engineering Science

School of Intelligent Manufacturing， Zhejiang Institute of Mechanical and Electrical Engineering

College of Electronic and Electrical Engineering， Shanghai University of Engineering Science

Shanghai Baosight Software Co. Ltd

AI问答

⁰