建大新闻网讯    近日，我校信息与控制工程学院青年教师董玮副教授在国际顶级会议NeurIPS 2023（CCF-A类会议）上发表题为“Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing”（利用重组适配器高效微调大视觉）的学术研究论文，董玮副教授为该论文的第一作者，西安建筑科技大学为第一完成单位，实现了我校科研工作在顶级会议NeurIPS上发表的零突破。

在计算机视觉领域，利用大规模预训练模型完成各种下游任务已经成为了一种通用的范式，大规模数据上的预训练所提供的先验知识能够帮助模型在下游任务上更高效的训练。早期的工作在下游任务中直接对完整的预先训练模型进行微调。然而，完全微调策略存在计算与存储耗费过高的问题。最近的研究侧重于参数高效的模型迁移，其理念是冻结大部分预训练参数，只更新或引入一小部分的特定任务参数进行微调。目前主流的参数高效微调方法包括提示微调(Prompt Tuning)、视觉适配器(Visual Adapter)和线性特征调制(Linear Feature Modulation)等。

本研究专注于设计轻量级适配器，强调适配参数可重用性在进一步压缩微调成本方面的重要性，并提出了一种新的微调方法。有别于其他方法将多个适配器独立的插入模型中，本研究则在多个适配器之间以及适配器内部共享参数，学习低维再缩放系数，将线性投影重新组合为共享适配器，并将其命名为适配器重组(Adapter Re-Composing, ARC)。大量的实验结果印证了使用共享“解空间基”的重组适配器的可行性，同时共享适配器参数进一步减少了计算资源消耗。

NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是关于机器学习和计算神经科学的国际会议，与ICML和ICLR一起被评为机器学习和人工智能研究领域具有重大影响的三大顶级会议之一。电子科技大学计算机科学与工程学院王鹏教授为该论文的通讯作者，我校信控学院硕士研究生闫大伟、西北工业大学计算机学院博士研究生林智君参与了相关科研工作。

文章链接：https://arxiv.org/abs/2310.06234

相关代码：https://github.com/DavidYanAnDe/ARC