[基础知识] 训练换脸模型的整体大致流程

admin

1. 准备Dst素材。
多个模型可以共用一套完备的dst素材。
收集上万张不同身份、角度、光照的人脸 。
专人使用可以加上dst本人的视频切脸素材。
可以使用dfl的素材：RTM，FFHQ，Celeb数据集等。
必须是切脸对齐和写入遮罩的素材

2. 准备Src素材.
素材源切脸（使用XFaceKit-Lab）：可以是视频、截屏、图片集

素材筛选：删除低质人脸、错误人脸
遮罩修改：修改不正确的遮罩
要求：尽量清晰度高、角度-表情-面部光照尽量丰富
[支持dfl的人脸素材、但是需要写入遮罩
切脸的范围要选择WholeFace（WF）
可以在lab的遮罩浏览中查看遮罩]



3.选择模型
使用预训练模型（就是常说的别人训练过的底丹）：可以减少训练时间，快速得到效果，不能自定义模型架构参数

自己从头开始训练：可以自主体会训练过程，可以自定义模型参数，需要从头训练、耗时长，没有经验的用户可能效果很差
[目标是视频换脸或者追求相似度选择vdf模型，目标是获得通用泛化能力强尽量选择viae架构的模型]
4. 训练模型
训练素材：就是指前期准备好的对齐人脸图片（包含遮罩信息的）

训练迭代：每一个单独的加载素材计算之后，更新模型参数的过程（ 加载人脸、计算重建人脸和目标人脸差异，在调整模型参数的），
训练就是反复进行大量的训练迭代。

样本的Loss值：重建人脸和目标人脸差异数值，用于量化模型对人脸的重建差异。（src-loss，dst-loss）（迭代loss，平均loss）

5.测试调整
在实际场景中测试效果，补充缺少的素材体调整模型