本期播客聚焦腾讯 AI 科学家姚顺雨及其团队发布的论文《上下文学习基准测试》,探讨当前大模型在上下文处理能力上的缺失这一行业痛点。节目指出,现有评测基准无法真实反映大模型在实际应用中的上下文处理水平,因为传统评测侧重于大海捞针式的检索或简单的长文本理解,而真实场景需要模型理解目标价值并精准应用。CL-BENCH 旨在精准测试模型从复杂上下文中学习新知识并应用的能力,通过构建复杂的上下文和严格的评分体系,揭示即使是最强的大模型在真实世界的上下文学习任务中也表现不佳。节目还分析了当前大模型在长上下文技术路线上的局限性,并提出了构建强上下文依赖的训练数据、采用课程学习方法等工程上的发展方向。
Sign in to continue reading, translating and more.
Continue