EP 35. ICML现场对话AI研究员符尧：亲历AI诸神之战，解读LLM前沿研究，Llama 2，AI Agents

本篇podcast的主题是介绍了ICML 2023国际机器学习会议的特点和重要性。ICML是一个专注于机器学习研究的国际性会议，拥有悠久的历史，并且在深度学习兴起之前就吸引了一些前沿的机器学习研究。本篇讲述了ICML 2023在夏威夷的举办以及讨论了大语言模型的研究和应用，包括模型能力的提升和推理方面的工作。此外，还介绍了一些值得关注的研究成果和研究者，为关注机器学习和人工智能领域的读者提供了重要的资源。 反常识观点 在LLAMA模型的研究中发现，注入新的能力可能会导致模型遗忘旧的能力。这是个令人惊讶的现象，因为我们通常认为模型的能力应该是累积增加的，而不是相互竞争和取舍的关系。这表明在大模型能力平衡的问题上还存在着一些挑战，需要找到更好的方法来解决。