#385.告别 RAG 幻觉：为什么 AI 的未来记忆在“权重”里？

本次播客探讨了如何解决大语言模型在处理小众或特定任务时遇到的知识不足问题，主讲人 Jack Morris 提出将知识直接训练进模型权重的方法，挑战了目前主流的检索技术。他分析了全上下文学习和检索增强生成（RAG）的局限性，如成本高昂和推理效率低下，并指出即使增加 token 数量，模型也未必能有效推理。Morris 强调了 embedding 作为文件系统的局限性，认为其不具备适应性，无法捕捉文本间所有可能的关系。他建议通过生成合成数据并微调模型，将知识注入模型，同时避免灾难性遗忘，并探讨了 LoRa、前缀微调和记忆层等参数化方法的优劣，为构建更智能、更高效的 AI 系统提供了新思路。