建大新闻网讯    近日，我校信息与控制工程学院青年教师王秉路副教授在国际顶级会议AAAI（CCF-A类会议）上发表题为“TransGOP: Transformer-based Gaze Object Prediction”（TransGOP：基于Transformer的凝视物体预测）的学术研究论文。王秉路副教授为论文的第一作者，西安建筑科技大学为第一完成单位。

在凝视物体预测任务中，通常需要模型建立人类头部与物体之间的凝视关系来进行预测。以往基于卷积神经网络的凝视物体预测模型受限于固定感受野的特征提取能力导致预测性能较差，而Transformer独特的长距离关系全局建模能力，能够有效解决这一问题。论文将Transformer引入了凝视物体预测领域，提出了一种基于Transformer的端到端凝视物体预测模型TransGOP。首先，使用一个基于Transformer的目标检测器来检测场景图像中的所有物体位置和类别，再将头部图像和场景图像的融合特征输入到基于Transformer的凝视回归器中，以回归凝视热图。其次，为了利用目标检测器中的位置信息增强凝视回归器，论文提出了一种object-to-gaze交叉注意机制，让凝视回归器中的query能够学习目标检测器中的位置信息。为了进一步提升模型性能，论文还设计了凝视框损失函数，通过增强凝视物体框中的凝视热图能量值来联合优化对象检测器和注视回归器。最后，通过在GOO数据集上的大量实验证明了TransGOP的先进性能。

AAAI，全称Association for the Advancement of Artificial Intelligence（国际先进人工智能协会），是具有重要影响力的国际学术组织，旨在推动智能思维与行为机制的科学理解及机器实现，促进人工智能的科学研究和规范应用。我校信控学院硕士研究生郭晨熙、靳杨参与了相关研究工作。

文章链接：https://ojs.aaai.org/index.php/AAAI/article/view/28883