EN
2022年03月24日研究成果

大规模图文预训练模型“文澜”

文继荣团队

       中国人民大学高瓴人工智能学院教授、智源首席科学家文继荣带领团队研发了大规模图文预训练模型“文澜”。“文澜”不依赖人工标注的强语义相关的图文对数据,而是基于互联网上的海量图文对弱相关性数据进行训练;采用基于双塔结构的 BriVL 模型,在应用时也有明显的巨大效率优势;使用跨模态对比学习的同时引入了 Momentum 机制以及动态维护负样本队列,可以在相对较少的 GPU 资源下得到性能较好的预训练模型。在众多下游任务中(如跨模态检索和视觉问答),文澜都取得了最优的结果,显示了强大的跨模态理解能力和跨域知识迁移能力。



图片1-文.png 


(图片来源:学者提供)

分享到: