近日，在IEEE国际多媒体学术会议（EEE International Conference on Multimedia& Expo，简称ICME）2023公布的录用结果中，公司研一学生邹鑫同学关于多模态学习的论文被顺利接收，论文题为《Hierarchical Attention Learning for Multimodal Classification》，指导老师为智能科学与技术系唐厂教授。
多模态学习旨在整合来自不同模态的一致信息和互补信息，以获得更加准确可靠的决策。然而现有的多模态学习方法通常关注不同模态的局部特征，而忽略了不同模态特有的全局特征和结构信息的学习。针对这一问题，该论文提出了一种新颖的层次注意学习网络（HALNet）用于多模态生物医学数据的分类任务。具体来说，HALNet有三个优点：1）提出了一个分层特征融合模块，利用图注意力网络和多头注意力机制学习多级特征，设计了一种渐近式融合的策略来聚合分层特征，形成全局表征；2）引入了一个跨模态高阶融合模块，以捕捉标签空间中的不同模态间潜在的跨模态关联信息；3）设计了一种对偶预测模式来产生更可信的决策结果。在三个真实世界的多组学多模态医学数据集上进行的大量实验表明，与该领域最先进的方法相比，HALNet取得了有竞争力的性能。下图描绘了该模型的整体架构。
HALNet：论文中提出的模型架构
IEEE ICME由IEEE四大协会Computer Society、Circuits and System Society、Signal Processing Society以及Communication Society共同主办，是计算机多媒体领域最重要和权威的两大国际旗舰会议之一，CCF B类学术会议，每年举办一次，今年录用率约为30%左右，涵盖文本分析、图形图像、视频处理、语音和音频信号处理等主题。
文章信息：Xin Zou,Chang Tang*, Wei Zhang, Kun Sun, Liangxiao Jiang, Hierarchical Attention Learning for Multimodal Classification, EEE International Conference on Multimedia& Expo (ICME),2023.
通讯员：孙琨
审核：曾德泽
校对：石剑峰
Copyright© TYC太阳成集团的官方网站|入口 版权所有
