Lora模型训练








Lora训练过程

步骤1:IP角色形象设计
首先需要确定角色的大致形象,包括角色的性别、年龄、发型、服装等,
通过DeepSeek等AI工具丰富和完善角色形象。

步骤2:素材集的准备
通过midjourney等AI工具生成大量角色形象的图片,
并进行筛选和整理,确保素材的多样性和质量。

步骤3:素材信息标注
对素材集的内容进行信息标注,包括角色的表情、动作、服饰等,以便于后续的训练。
可以通过Comfyui的反推节点或者手动标注。

步骤4:调整训练参数
调整炼丹炉的参数,包括学习率、批量大小等,以优化训练过程。
这个环节需要根据实际情况进行调整,以达到最佳的训练效果。

步骤5:Lora拟合度测试
对训练出来的Lora模型进行拟合度测试,确保模型能够准确地生成角色形象。
同时判断Lora的权重,以达到最佳的生成效果。

步骤6:完成训练
经过以上步骤,就可以完成IP角色Lora模型的训练了。
技术细节
模型优点
选用最新的Flux 1.0模型,作为Lora的底模
融入多个风格Lora进行训练,提升整体效果
训练集涵盖各种场景和动作,确保模型泛化性
待改进
版本单一,考虑训练不同底模,提升模型多样性
风格化明显,不适用于所有场景