视频版：https://www.bilibili.com/video/BV1rbXsYyEaz

1. 前言 00:00

AI 模型训练，涉及非常多的概念和算法和系统设计，

学会了 Llama_factory，就成了 AI 模型训练的专家。

2. 基座模型的选择 01:23

从 ModelScope 上手工下载部署基座模型，

https://modelscope.cn/models

https://huggingface.co/models

Llama_factory 的模型名称，略有瑕疵，用户要避免误解。

3. 模型训练的类型 05:32

Pre-training，SFT，RLHF，DPO，KTO，如何选择模型训练类型？

我们将单独做一期节目，分享我们的实战经验。

4. SFT 的训练方式 07:58

Full, freeze, lora，

其中普遍使用的是 LoRA，我们先从 LoRA 学起。

5. 量化和加速设置 08:51

flash_attention + liger_kernel 可以并用，

但是 unsloth 不能与它们并用。

6. 训练参数设置 11:57

略显草率的 UI 设计，用户要避免迷失，

通用的参数设置，与训练类型相关的参数设置，与训练类型相关的的补充设置，

以及训练结果的记录和分析，SwanLab，

不应该安排在页面同一个框内。

7. 数据集 16:07

先手工从 ModelScope 下载数据集，

下载完成后，然后再启动 Llama_factory，

哪些数据集，适用于哪些模型的哪些训练方法，需要阅读 Llama_factory 的 github pages，

https://github.com/hiyouga/LLaMA-Factory/blob/main/data/README.md

8. 命令行 preview 18:25

前序 configs，都是为了设置这个命令行中的各个参数，

能否单独用 Unsloth？当然可以，

其实所谓单独使用 Unsloth，等同于手工设置命令行。

9. 训练与体验 19:57

训练过程，日志，与调优，

专业的冷门的问题，“请问，鹿角铲是装饰品，还是古代祭祀用的礼器，还是工具？”

10. 总结 24:32

学会了 Llama_factory，就成了 AI 模型训练的专家，

参考文献，

1. 知乎上的指南，“LLaMA-Factory QuickStart” (https://zhuanlan.zhihu.com/p/695287607)，

2. Llama_factory 官方指南 (https://llamafactory.readthedocs.io/zh-cn/latest/)，

3. Llama_factory 论文，“LlamaFactory: Unified Efficient Fine-Tuning of 100+ Language Models” (https://arxiv.org/abs/2403.13372)。

学习使用 Llama_factory 成为 AI 模型训练专家

AI 前线