Lora模型训练

赛博炼丹 FLUX

Lora训练过程

步骤1

步骤1:IP角色形象设计

首先需要确定角色的大致形象,包括角色的性别、年龄、发型、服装等,
通过DeepSeek等AI工具丰富和完善角色形象。

步骤2

步骤2:素材集的准备

通过midjourney等AI工具生成大量角色形象的图片,
并进行筛选和整理,确保素材的多样性和质量。

步骤3

步骤3:素材信息标注

对素材集的内容进行信息标注,包括角色的表情、动作、服饰等,以便于后续的训练。
可以通过Comfyui的反推节点或者手动标注。

步骤4

步骤4:调整训练参数

调整炼丹炉的参数,包括学习率、批量大小等,以优化训练过程。
这个环节需要根据实际情况进行调整,以达到最佳的训练效果。

步骤5

步骤5:Lora拟合度测试

对训练出来的Lora模型进行拟合度测试,确保模型能够准确地生成角色形象。
同时判断Lora的权重,以达到最佳的生成效果。

步骤6

步骤6:完成训练

经过以上步骤,就可以完成IP角色Lora模型的训练了。

技术细节

🎨

模型优点

选用最新的Flux 1.0模型,作为Lora的底模

融入多个风格Lora进行训练,提升整体效果

训练集涵盖各种场景和动作,确保模型泛化性

🔍

待改进

版本单一,考虑训练不同底模,提升模型多样性

风格化明显,不适用于所有场景

获取方式