Talk | 法国国家信息自动化研究所康祉祺：MISA - 如何又好又快地让模型持续学习到复杂的新知识

持续学习旨在让模型在动态数据流中增量累积知识并克服灾难性遗忘。针对通用持续学习中在线学习与模糊任务边界的挑战，研究提出了 MISA 方法，通过遗忘感知初始化与适配（ISA）及 Logit Masking 技术提升模型性能。该方法利用预训练数据优化 Prompt 参数，引入遗忘感知最小化（FUM）增强泛化能力，并通过 Logit Masking 抑制新旧任务间的知识干扰。实验证明，MISA 在无需重放缓冲区的情况下，显著提升了模型在持续学习场景下的鲁棒性，且具备即插即用特性，为解决持续学习中的初始化、泛化及遗忘难题提供了高效的架构设计。