目前预训练语言模型在自然语言处理领域取得了广泛的成功,并改变了自然语言处理的学 习范式。未来预训练语言模型还会取得什么样的突破?有没有更高效的学习范式出现?本报告的内容 简单总结预训练语言模型目前的一些改进方向,包括迁移方法、知识嵌入、多模态、跨语言、特定领 域等,并对预训练模型的未来发展趋势进行展望。
预训练语言模型:还能走多远?
邱锡鹏