Semantic-Action Consistency Based Action Map Generation for Underwater Foreign Objects

NIE Xiaoyang; TAO Wei; CAO Zhiyong; XIE Bangtian

doi:10.14188/j.1671-8836.2026.0124

您当前的位置：

首页 >

文章列表页 >

Semantic-Action Consistency Based Action Map Generation for Underwater Foreign Objects

更新时间：2026-10-28

- Semantic-Action Consistency Based Action Map Generation for Underwater Foreign Objects
- J Wuhan Univ （Nat Sci Ed） Pages: 1-15(2026)
- 作者机构：
  
  1.帝国理工学院电子电气工程系，伦敦，SW7 2AZ
  2.上海交通大学自动化与感知学院，上海 200240
  3.海底科学与划界全国重点实验室，上海 200240
  4.微特技术，湖北宜昌 443000
- 作者简介：
- 基金信息：
- DOI：10.14188/j.1671-8836.2026.0124
  CLC： TP18;S951.2
- Received：24 June 2026，
  
  Online First：28 October 2026，
- 稿件说明：
移动端阅览
聂骁阳，陶卫，曹志勇，等.基于语义动作一致性的水下异物动作图生成方法［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-15. DOI：10.14188/j.1671-8836.2026.0124.

NIE Xiaoyang，TAO Wei，CAO Zhiyong，et al.Semantic-Action Consistency Based Action Map Generation for Underwater Foreign Objects ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-15. DOI：10.14188/j.1671-8836.2026.0124（Ch）.
聂骁阳，陶卫，曹志勇，等.基于语义动作一致性的水下异物动作图生成方法［J］.武汉大学学报（理学版），XXXX，XX（XX）：1-15. DOI：10.14188/j.1671-8836.2026.0124. DOI：

NIE Xiaoyang，TAO Wei，CAO Zhiyong，et al.Semantic-Action Consistency Based Action Map Generation for Underwater Foreign Objects ［J］.J Wuhan Univ （Nat Sci Ed），XXXX，XX（XX）：1-15. DOI：10.14188/j.1671-8836.2026.0124（Ch）. DOI：

摘要

海洋牧场水下环境中常存在废弃网片、绳索、塑料和金属件等异物，这些异物不仅可能干扰养殖设施运行，还会影响水生生物活动空间和局部生态环境。针对不同类型目标需采取清除、避让或不处理等不同处置策略的需求，现有水下目标检测和语义分割方法主要学习目标的语义类别，相应动作通常在预测后通过预定义规则获得。由于动作类别依赖语义类别预测结果，模型训练主要关注目标类别识别准确性，难以对可能导致错误动作决策的预测结果进行针对性约束。针对这一问题，本文提出一种基于语义动作一致性的水下异物动作图生成方法，将动作预测直接纳入模型训练。模型通过语义分支和动作分支分别学习目标类别和动作类别，并利用语义与动作之间的对应关系约束两种预测结果保持一致，使目标识别同时受到动作预测结果的约束。在此基础上，引入风险惩罚损失，重点抑制需避让区域和无需处理区域被误判为可清除区域的高风险错误。实验结果表明，本文方法在SeaClear和SUIM数据集上的Decision Accuracy分别达到89.8%和91.3%，Critical Error分别降低至4.3%和3.9%，验证了该方法在水下异物动作图生成和高风险误判控制方面的有效性。

Abstract

Marine ranching environments often contain foreign objects such as abandoned nets

ropes

plastics

and metal components

which may not only interfere with the operation of aquaculture facilities but also affect the activity space of aquatic organisms and the local ecosystem. As different types of underwater targets require different treatment strategies

including removal

avoidance

or no action

existing underwater object detection and semantic segmentation methods mainly focus on learning semantic categories

while the corresponding actions are typically derived from predictions using predefined rules. Since action categories depend on semantic predictions

model training primarily emphasizes semantic recognition accuracy

making it difficult to explicitly constrain prediction errors that may lead to incorrect action decisions. To address this issue

we propose a semantic-action consistency based method for underwater foreign-object action map generation

which directly incorporates action prediction into model training. The model employs a semantic branch and an action branch to learn target categories and action categories

respectively

and exploits the correspondence between semantics and actions to enforce consistency between the two predictions

allowing semantic recognition to be jointly constrained by action prediction. Furthermore

a risk penalty loss is introduced to explicitly suppress high-risk errors in which regions requiring avoidance or no action are incorrectly predicted as removable. Experimental results show that the proposed method achieves Decision Accuracy values of 89.8% and 91.3% on the SeaClear and SUIM datasets

respectively

while reducing Critical Error to 4.3% and 3.9%. These results demonstrate the effectiveness of the proposed method in underwater foreign-object action map generation and high-risk error control.

关键词

Keywords

references

杨红生，章守宇，张秀梅，等 . 中国现代化海洋牧场建设的战略思考［J］. 水产学报， 2019 ， 43 （ 4 ）： 1255 - 1262 . DOI： 10.11964/jfc.20190211670 http://dx.doi.org/10.11964/jfc.20190211670 .

YANG H S ， ZHANG S Y ， ZHANG X M ， et al . Strategic thinking on the construction of modern marine ranching in China ［J］. Journal of Fisheries of China ， 2019 ， 43 （ 4 ）： 1255 - 1262 . DOI： 10.11964/jfc.20190211670 （Ch http://dx.doi.org/10.11964/jfc.20190211670（Ch ）.

LI C Y ， GUO C L ， REN W Q ， et al . An underwater image enhancement benchmark dataset and beyond ［J］. IEEE Transactions on Image Processing ， 2020 ， 29 ： 4376 - 4389 . DOI： 10.1109/TIP.2019.2955241 http://dx.doi.org/10.1109/TIP.2019.2955241 .

RAVEENDRAN S ， PATIL M D ， BIRAJDAR G K . Underwater image enhancement： A comprehensive review， recent trends， challenges and applications ［J］. Artificial Intelligence Review ， 2021 ， 54 （ 7 ）： 5413 - 5467 . DOI： 10.1007/s10462-021-10025-z http://dx.doi.org/10.1007/s10462-021-10025-z .

ZHAO Z Q ， ZHENG P ， XU S T ， et al . Object detection with deep learning： A review ［J］. IEEE Transactions on Neural Networks and Learning Systems ， 2019 ， 30 （ 11 ）： 3212 - 3232 . DOI： 10.1109/TNNLS.2018.2876865 http://dx.doi.org/10.1109/TNNLS.2018.2876865 .

XIAO Y Z ， TIAN Z Q ， YU J C ， et al . A review of object detection based on deep learning ［J］. Multimedia Tools and Applications ， 2020 ， 79 （ 33/34 ）： 23729 - 23791 . DOI： 10.1007/s11042-020-08976-6 http://dx.doi.org/10.1007/s11042-020-08976-6 .

ELMEZAIN M ， SAAD-SAOUD L ， SULTAN A ， et al . Advancing underwater vision： A survey of deep learning models for underwater object recognition and tracking ［J］. IEEE Access ， 2025 ， 13 ： 17830 - 17867 . DOI： 10.1109/ACCESS.2025.3534098 http://dx.doi.org/10.1109/ACCESS.2025.3534098 .

YANG H B ， LIU P ， HU Y Z ， et al . Research on underwater object recognition based on YOLOv3 ［J］. Microsystem Technologies ， 2021 ， 27 （ 4 ）： 1837 - 1844 . DOI： 10.1007/s00542-019-04694-8 http://dx.doi.org/10.1007/s00542-019-04694-8 .

SUN X ， SHI J Y ， LIU L P ， et al . Transferring deep knowledge for object recognition in low-quality underwater videos ［J］. Neurocomputing ， 2018 ， 275 （ C ）： 897 - 908 . DOI： 10.1016/j.neucom.2017.09.044 http://dx.doi.org/10.1016/j.neucom.2017.09.044 .

WANG X H ， OUYANG J H ， LI D Y ， et al . Underwater object recognition based on deep encoding-decoding network ［J］. Journal of Ocean University of China ， 2019 ， 18 （ 2 ）： 376 - 382 . DOI： 10.1007/s11802-019-3858-x http://dx.doi.org/10.1007/s11802-019-3858-x .

HAN F L ， YAO J Z ， ZHU H T ， et al . Marine organism detection and classification from underwater vision based on the deep CNN method ［J］. Mathematical Problems in Engineering ， 2020 ， 2020 （ 1 ）： 3937580 . DOI： 10.1155/2020/3937580 http://dx.doi.org/10.1155/2020/3937580 .

HAN F L ， YAO J Z ， ZHU H T ， et al . Underwater image processing and object detection based on deep CNN method ［J］. Journal of Sensors ， 2020 ， 2020 ： 6707328 . DOI： 10.1155/2020/6707328 http://dx.doi.org/10.1155/2020/6707328 .

RONNEBERGER O ， FISCHER P ， BROX T . U-Net： Convolutional networks for biomedical image segmentation ［C］// Medical Image Computing and Computer-Assisted Intervention — MICCAI 2015 . Cham ： Springer ， 2015 ： 234 - 241 . DOI： 10.1007/978-3-319-24574-4_28 http://dx.doi.org/10.1007/978-3-319-24574-4_28 .

CHEN L C ， ZHU Y K ， PAPANDREOU G ， et al . Encoder-decoder with atrous separable convolution for semantic image segmentation ［C］// Computer Vision — ECCV 2018 . Cham ： Springer ， 2018 ： 833 - 851 . DOI： 10.1007/978-3-030-01234-2_49 http://dx.doi.org/10.1007/978-3-030-01234-2_49 .

XIE E Z ， WANG W H ， YU Z D ， et al . SegFormer： Simple and efficient design for semantic segmentation with transformers ［C］// Advances in Neural Information Processing Systems . 2021 ， 34 ： 12077 - 12090 . DOI： 10.5555/3540261.3541185 http://dx.doi.org/10.5555/3540261.3541185 .

CHEN Z ， WANG Y ， TIAN W ， et al . Underwater sonar image segmentation combining pixel-level and region-level information ［J］. Computers and Electrical Engineering ， 2022 ， 100 ： 107853 . DOI： 10.1016/j.compeleceng.2022.107853 http://dx.doi.org/10.1016/j.compeleceng.2022.107853 .

CARUANA R . Multitask learning ［J］. Machine Learning ， 1997 ， 28 （ 1 ）： 41 - 75 . DOI： 10.1023/A： 1007379606734 http://dx.doi.org/10.1023/A：1007379606734 .

WALLINGFORD M ， LI H ， ACHILLE A ， et al . Task adaptive parameter sharing for multi-task learning ［C］// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2022 ： 7551 - 7560 . DOI： 10.1109/CVPR52688.2022.00741 http://dx.doi.org/10.1109/CVPR52688.2022.00741 .

CHEN L ， HUANG Y Z ， DONG J Y ， et al . Underwater optical object detection in the era of artificial intelligence： Current， challenge， and future ［J］. ACM Computing Surveys ， 2025 ， 58 （ 3 ）： 1 - 34 . DOI： 10.1145/3759243 http://dx.doi.org/10.1145/3759243 .

ZHANG L Y ， LI C Y ， SUN H F . Object detection/tracking toward underwater photographs by remotely operated vehicles （ROVs）［J］. Future Generation Computer Systems ， 2022 ， 126 ： 163 - 168 . DOI： 10.1016/j.future.2021.07.011 http://dx.doi.org/10.1016/j.future.2021.07.011 .

BOLYA D ， ZHOU C ， XIAO F Y ， et al . YOLACT： Real-time instance segmentation ［C］// 2019 IEEE/CVF International Conference on Computer Vision （ICCV） . New York ： IEEE Press ， 2019 ： 9156 - 9165 . DOI： 10.1109/iccv.2019.00925 http://dx.doi.org/10.1109/iccv.2019.00925 .

HAFIZ A M ， BHAT G M . A survey on instance segmentation： State of the art ［J］. International Journal of Multimedia Information Retrieval ， 2020 ， 9 （ 3 ）： 171 - 189 . DOI： 10.1007/s13735-020-00195-x http://dx.doi.org/10.1007/s13735-020-00195-x .

STRUDEL R ， GARCIA R ， LAPTEV I ， et al . Segmenter： Transformer for semantic segmentation ［C］// 2021 IEEE/CVF International Conference on Computer Vision （ICCV） . New York ： IEEE Press ， 2021 ： 7242 - 7252 . DOI： 10.1109/ICCV48922.2021.00717 http://dx.doi.org/10.1109/ICCV48922.2021.00717 .

GUO Y M ， LIU Y ， GEORGIOU T ， et al . A review of semantic segmentation using deep neural networks ［J］. International Journal of Multimedia Information Retrieval ， 2018 ， 7 （ 2 ）： 87 - 93 . DOI： 10.1007/s13735-017-0141-z http://dx.doi.org/10.1007/s13735-017-0141-z .

YU C Q ， WANG J B ， PENG C ， et al . BiSeNet： bilateral segmentation network for real-time semantic segmentation ［C］// Computer Vision — ECCV 2018 . Cham ： Springer ， 2018 ： 334 - 349 . DOI： 10.1007/978-3-030-01261-8_20 http://dx.doi.org/10.1007/978-3-030-01261-8_20 .

MISRA I ， SHRIVASTAVA A ， GUPTA A ， et al . Cross-stitch networks for multi-task learning ［C］// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2016 ： 3994 - 4003 . DOI： 10.1109/CVPR.2016.433 http://dx.doi.org/10.1109/CVPR.2016.433 .

LIU S K ， JOHNS E ， DAVISON A J . End-to-end multi-task learning with attention ［C］// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR） . New York ： IEEE Press ， 2019 ： 1871 - 1880 . DOI： 10.1109/CVPR.2019.00197 http://dx.doi.org/10.1109/CVPR.2019.00197 .

KENDALL A ， GAL Y ， CIPOLLA R . Multi-task learning using uncertainty to weigh losses for scene geometry and semantics ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . New York ： IEEE Press ， 2018 ： 7482 - 7491 . DOI： 10.1109/CVPR.2018.00781 http://dx.doi.org/10.1109/CVPR.2018.00781 .

CHEN Z ， BADRINARAYANAN V ， LEE C Y ， et al . GradNorm： gradient normalization for adaptive loss balancing in deep multitask networks ［C］// Proceedings of the 35th International Conference on Machine Learning . Stockholm ： PMLR ， 2018 ： 794 - 803 . DOI： 10.48550/arXiv.1711.02257 http://dx.doi.org/10.48550/arXiv.1711.02257 .

HE K M ， GKIOXARI G ， DOLLAR P ， et al . Mask R-CNN ［C］// 2017 IEEE International Conference on Computer Vision （ICCV） . New York ： IEEE Press ， 2017 ： 2980 - 2988 . DOI： 10.1109/iccv.2017.322 http://dx.doi.org/10.1109/iccv.2017.322 .

JOCHER G ， QIU J . Ultralytics YOLO ［CP/OL］. 2023 ［ 2026-08-12 ］. https：//github.com/ultralytics/ultralytics https://github.com/ultralytics/ultralytics .

ĐURAŠ A ， WOLF B J ， ILIOUDI A ， et al . A dataset for detection and segmentation of underwater marine debris in shallow waters ［J］. Scientific Data ， 2024 ， 11 ： 921 . DOI： 10.1038/s41597-024-03759-2 http://dx.doi.org/10.1038/s41597-024-03759-2 .

ISLAM M J ， EDGE C ， XIAO Y Y ， et al . Semantic segmentation of underwater imagery： Dataset and benchmark ［C］// 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS） . 2020 ： 1769 - 1776 . DOI： 10.1109/IROS45743.2020.9340821 http://dx.doi.org/10.1109/IROS45743.2020.9340821 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Economic Benefit Analysis Method for Marine Ranching Under Prompt Engineering

Efficient Program Verification Methods Based on Large Language Models

A Review of Collaborative Knowledge Construction Supported by Intelligent Technologies

I-Optimal Design of the Two-Response Scheffé Mixture Model

Syntax-Aware GraphRAG with Efficient LoRA-Based Adaptation

Related Author

ZHANG Yiyi

YANG Xi

ZHONG Xian

Related Institution

School of Digital and Intelligent Business， Wuhan Technical University

School of Mathematics and Computer Science， Guangdong Ocean University

School of Computer Science and Artificial Intelligence， Wuhan University of Technology

AI问答

⁰