近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。本次报告将从三方面介绍预训练研究的最新进展:(1)跨任务,介绍预训练模型如何从单语数据中学习自然语言的通用表示,并将其用于不同任务中;(2)跨语言,介绍预训练模型如何从单语数据和双语数据中学习同一语义在不同语言中的对应知识,并将其用于不同语言中;(3)跨模态,介绍预训练模型如何从跨模态数据中学习同一语义在不同模态数据中的对应知识,并将其用于跨模态任务中。最后,将和大家一起探讨该方向在实际落地中存在的一些问题,及可能的解决方案。
段楠