Nano Banana资讯

如何仅用一张图训练LoRA模型(Furry向)

哈喽,今天我们来学习如何仅用一张图制作LoRA模型。大家可能会遇到这样的问题:自己喜欢的角色比较冷门,几乎没有二创素材,仅有官方立绘或CG图。本文将介绍在极少量图像条件下,如何稳定训练出角色LoRA模型。

以下是整体流程:

  1. 准备基础图像:为展示极限情况,本次训练仅使用一张图。为避免版权与风格干扰,我们先用ComfyUI生成一张基础人物形象——使用标准提示词生成正面立绘;随后裁切面部特写,并进行水平镜像,以扩充基础数据。
  2. 高清放大:使用超分模型对裁切后的面部特写进行高清放大,提升细节质量。
  3. 多角度扩展:借助多模态模型(如Google的Nano Banana PRO)生成同一角色的不同角度、表情与姿态图像。不推荐直接使用360°生成工作流,因其输出风格易与原始图像耦合,导致训练时混淆角色特征与画风。而多模态模型可生成风格可控、一致性较高的多角度图像,人物表现和图像质量均较可靠。
  4. 角度补充与构图筛选:使用CD-Draw 5.0 PRO等工具批量生成不同角度与表情的图像,多次抽样后截取满意构图,注意保持截取区域的一致性(如统一为面部区域),并再次进行高清放大。最终获得一组涵盖正、侧、背等角度的高清面部特写,作为后续生成全身立绘的基础。
  5. 生成全身立绘:参考已有提示词,先让模型生成侧面全身图;再将该图加入ControlNet参考图中,辅助生成背面立绘。此方法可显著提升背面生成的准确性和稳定性。建议多抽样,确保正/侧/背角度分布均衡,且构图清晰、无遮挡。

打标(Tagging)环节

在打标前,需检查图像尺寸与分组是否合理。主包开发了一款AI辅助工具,模拟8K分辨率下的分桶逻辑,可检测是否存在分桶过碎的问题,并支持设置最小图组数以提升图像集中度、降低分桶数量。该工具交互直观,操作便捷,虽不能100%复现训练时的实际分桶结果,但在大多数情况下具备良好适配性。

打标阶段推荐使用另一款主包开发的AI标签编辑工具,支持以下功能:

  • 缓存翻译:首次使用时调用DeepSeek API进行中英翻译,完成后可导出缓存文件;下次导入即可复用,无需重复调用API。
  • API接入:需前往DeepSeek官网申请API Key,单次翻译成本极低(几分钱至几毛钱)。
  • 关键词检索:支持中英文搜索,但中文检索依赖缓存中的翻译结果,因此英文检索更精准。
  • 批量处理:支持对当前图片集批量添加/编辑标签;也支持将全部标签汇总后统一管理。
  • 标签精简原则:
    • 保留构图(如full body、side view)、背景(如studio background)、服饰(如black jacket)等必要描述;
    • 因训练集极小,需保留角色核心特征,如毛色(white, purple)、耳型、尾型等;
    • 避免保留易冲突特征,如纹身——穿衣时纹身可能错位或覆盖衣物,不穿衣时又易缺失;建议生成图像时让角色着装,使模型理解纹身位置关系;
    • 眼睛特征建议始终保留,因其是关键稳定特征,且模型易将其模糊或变色;
    • 非每张图都需相同触发词,例如背面图未露出眼睛,则不应强制添加eye相关标签;
    • 避免同义词冗余,只保留最准确、最具区分度的词汇(如strong优于powerful);
    • 触发词应使用无意义英文数字组合(如xj7n2),避免与其他角色触发词冲突;
    • 毛色标注需谨慎:例如“purple”若非主毛色,易造成误导;白色毛发易偏灰,可额外添加white以锚定色相。

完成打标后,将所有标签替换原图对应的TXT文件,即完成数据预处理。

训练准备:手动正则法(Manual Regularization)

手动正则法区别于常规训练方式,其核心在于引入reg(regularization)文件夹,用于增强泛化能力、抑制过拟合与风格污染。

需创建三个文件夹:

  • body:存放全身立绘图像;
  • face:存放前述高清面部特写图像;
  • reg:与常规做法不同,本方案对reg图像有特殊要求:
    • 不得包含训练角色的面部特写或火纹等高辨识度局部特征;
    • 可放入姿态多样、毛色相近但不完全一致的其他Furry角色图像(如tiger boy、wolf boy),但须去除种族与毛色标签;