EN
2022年03月25日研究成果

预训练模型GLM

杨植麟团队

清华大学助理教授、智源青年科学家杨植麟团队提出预训练模型GLM,打破BERT和GPT的瓶颈,历史上首次实现单一模型在理解、生成、seq2seq三种任务上取得最优效果。提出P-tuning算法,历史上首次实现自回归模型在理解任务上超越自编码模型,并在知识探测和小样本学习的多个数据集上取得世界第一,性能提升20%。提出Inverse Prompting算法,显著改善了对语言模型生成结果的控制,效果大幅度超越当前最好方法,在问答和诗歌生成任务中接近人类水平,并首次实现根据现代题材创作古体诗。


Zhengxiao DuYujie QianXiao LiuMing DingJiezhong QiuZhilin YangJie Tang.All NLP Tasks Are Generation Tasks: A General Pretraining Framework.arXiv:2103.10360

Xiao LiuYanan ZhengZhengxiao DuMing DingYujie QianZhilin YangJie Tang.GPT Understands, Too.arXiv:2103.10385

Xu ZouDa YinQingyang ZhongMing DingHongxia YangZhilin YangJie Tang.Controllable Generation from Pre-trained Language Models via Inverse Prompting. arXiv:2103.10685


分享到: