尽管大语言模型在人工智能多个领域显示出极强的通用性,但理解其内部机理仍缺乏可规模化的手段和理论,这给下一代大模型的设计和优化带来了挑战。自2023年以来,机理可解释性(Mechanistic Interpretability) 为大语言模型的规模化可解释性带来全新的活力,为分析大模型的行为和机理提供了很好的工具。本次报告将介绍我们在大语言模型可解释性方面的研究进展,并展望可解释性技术对大模型训练数据、幻觉、安全性等重要问题的结合点。
大模型
邱锡鹏
问答