#134. 大模型

本期访谈节目邀请了大语言模型专家 Mengdi，主要讨论了大语言模型（LLM）的兴起、技术特点以及未来发展方向。访谈从 LLM 的概念、ChatGPT 的突破（大力出奇迹）开始，深入探讨了强化学习在模型推理中的作用，以及 DeepSeek 等模型的创新之处（例如，高效的推理能力）。最后，专家对 LLM 的泛化能力、局限性以及未来发展趋势（例如，多模态模型和 AI Agent）进行了展望，并建议想要进入该领域的学习者从实践入手，例如复现 GPT-2 模型的预训练过程。 专家强调，大模型领域发展迅速，对现有学科和科研体制带来巨大冲击，未来发展充满不确定性。