主要介绍华为诺亚方舟实验室语音语义团队在预训练语言模型方向上的研究和商业化探索, 以及我们对该研究未来发展方向的思考。我们最近的研究主要关注在预训练语言模型的解释分析,设 计更加高效的预训练任务,融合蒸馏 / 量化等多种技术的高效压缩,以及我们在自然语言理解等多个 业务场景的落地尝试。在未来发展发向上,我们关注在提升预训练语言模型的知识表示和推理能力, 推进依赖推理的信息检索系统的发展。
预训练语言模型:还能走多远?
尚利峰