Обучение LoRA на вымышленном персонаже: датасет, Kohya и ComfyUI

Своя LoRA — самый надёжный способ получить постоянного вымышленного персонажа: одну и ту же внешность, причёску и узнаваемые черты в любых сценах, позах и стилях. В этом гайде разбираем обучение LoRA от начала до конца: как собрать датасет из собственных генераций, как написать подписи и выбрать триггер-слово, какие параметры выставить в Kohya_ss для SDXL и Flux, можно ли обучить LoRA в ComfyUI или в облаке бесплатно и как проверить результат. Если вы пока не готовы к обучению, начните с материала как сохранить постоянного ИИ-персонажа без тренировки — паспорт персонажа, seed и встроенные функции сервисов часто закрывают задачу.

Зачем своя LoRA: постоянный вымышленный персонаж

Модели Stable Diffusion и Flux отлично рисуют «какую-нибудь» девушку по описанию, но плохо повторяют одну и ту же. Даже при одинаковом промте меняются форма лица, разрез глаз, пропорции, мелкие детали вроде родинки или шрама. Для одиночных картинок это не проблема, а для серии — комикса, визуальной новеллы, истории в нескольких сценах, аватара ИИ-компаньона — критично.

Есть несколько способов бороться с этим без обучения: подробный «паспорт» персонажа в промте, фиксированный seed, референсы через IP-Adapter, функции вроде AI Character в онлайн-сервисах. Они работают, но у каждого есть предел. Своя LoRA решает задачу глубже: вы буквально учите модель новому понятию — «вот так выглядит моя героиня». После обучения достаточно написать триггер-слово, и модель воспроизводит внешность в любой сцене, от портрета до общего плана.

Коротко о том, что такое LoRA вообще, как её подключать и подбирать вес, — в отдельном гайде LoRA в Stable Diffusion. Здесь — только обучение.

Жёсткое правило: только сгенерированные вымышленные персонажи, никаких фото реальных людей

Почему правило такое жёсткое. LoRA, обученная на фото конкретного человека, позволяет генерировать его в любых сценах без его согласия. Именно поэтому крупные площадки удаляют такие модели, а правила генераторов 18+ прямо запрещают использование чужой внешности. Мы не даём инструкций для такой работы и не рекомендуем сервисы, которые её допускают. Подробнее о правовой стороне — в статье законно ли создавать ИИ-контент 18+.

Практическое следствие для датасета: не используйте чужие фото даже «для лица», даже частично, даже в смеси с генерациями. Не берите картинки из чужих галерей и соцсетей. Всё, что попадает в обучение, — ваши собственные генерации вымышленного взрослого персонажа.

Датасет: 20–40 своих генераций, ракурсы, одежда

Качество LoRA на 80% определяется датасетом. Параметры обучения можно подобрать за пару попыток, а плохой набор картинок никакие настройки не спасут.

Шаг 1. Придумайте и зафиксируйте персонажа

Начните с текстового описания: возраст (например, 27 лет), телосложение, цвет и длина волос, форма лица, цвет глаз, отличительные черты. Сгенерируйте несколько десятков вариантов в любимой модели и выберите тот, который нравится. Затем ищите в генерациях этого же человека: фиксируйте seed, используйте один и тот же подробный промт, при необходимости доводите лицо через inpaint. Задача — набрать картинки, где героиня узнаваема.

Шаг 2. Разнообразие — ключ к гибкости

Если все картинки одинаковые, LoRA выучит не персонажа, а конкретную позу, фон и одежду. Нужно, чтобы менялось всё, кроме внешности:

• Ракурсы: анфас, три четверти, профиль, вид чуть сверху и снизу.
• Планы: примерно треть крупных портретов, треть по пояс, треть в полный рост.
• Одежда: разные наряды, чтобы одежда не «приросла» к персонажу.
• Фон и свет: студия, улица, интерьер, дневной и вечерний свет.
• Эмоции: нейтральное лицо, улыбка, серьёзное выражение.

Шаг 3. Отбор и подготовка

Для персонажа обычно хватает 20–40 изображений; это ориентир из практики сообщества, а не жёсткое правило. Лучше 25 отличных картинок, чем 60 средних: каждый слабый кадр тянет качество всей LoRA вниз. Удаляйте кадры с лишними пальцами, искажёнными глазами и артефактами — модель их тоже выучит. Разрешение — не ниже базового для модели: 1024 пикселей по короткой стороне для SDXL и Flux, 512–768 для SD 1.5. Обрезать все картинки до квадрата при этом совсем не обязательно: Kohya поддерживает бакеты с разными пропорциями.

Подписи (captions) и триггер-слово

Каждой картинке в датасете нужна текстовая подпись в файле с тем же именем и расширением .txt: image01.png и image01.txt. Подпись объясняет модели, что изображено, и помогает отделить персонажа от остального.

Триггер-слово

Выберите короткое уникальное слово, которого нет в обычном словаре модели, например «nrgl_mira». Оно ставится в начало каждой подписи. После обучения именно это слово вызывает вашего персонажа. Не используйте имена знаменитостей и существующих персонажей — это и путает модель, и нарушает правило о реальных людях.

Что писать в подписи

Главный принцип: описывайте то, что должно меняться, и не описывайте то, что должно стать частью персонажа. Если в подписи есть «red dress, city street», модель поймёт, что платье и улица — отдельные понятия, и не будет их навязывать. Если постоянную черту (например, цвет глаз) описывать не стоит, чтобы она «впиталась» в триггер-слово.

Пример подписи для SDXL-модели в стиле тегов:

nrgl_mira, 1woman, adult woman, 27 years old, solo, upper body, looking at viewer, smile, white shirt, indoors, soft window light

Для Flux лучше работают описания обычными предложениями: «nrgl_mira, an adult woman in her late twenties, standing in a sunlit kitchen, wearing a grey sweater, smiling softly».

Автоматические подписи

Вручную подписывать 30 картинок долго. В Kohya_ss есть вкладка с утилитами для автоматических подписей (теговые модели вроде WD14 и описательные модели). Используйте их как черновик: обязательно пройдитесь по каждому файлу, добавьте триггер-слово, уберите ошибки и лишние теги, закрепите «adult woman» и возраст.

Kohya_ss: параметры для SDXL и Flux

Kohya_ss — графический интерфейс к скриптам sd-scripts. По данным README проекта, он поддерживает обучение LoRA, LoHa, LoKr, Dreambooth, fine-tuning и Textual Inversion для SD 1.5/2.x, SDXL, SD3, Flux.1 и ряда других моделей. Устанавливается на Windows и Linux через uv или pip по инструкциям из репозитория; на macOS работа не гарантируется. Официальной «портативной» сборки README не описывает: сборки kohya ss portable, которые встречаются в сети, делают сторонние авторы, и проверять их нужно самостоятельно.

Структура папок

Kohya ожидает папку с изображениями, внутри которой есть подпапка вида «10_nrgl_mira woman». Число в начале — количество повторов каждой картинки за эпоху, дальше — триггер-слово и класс. Рядом создайте папки для результатов (output) и логов.

Стартовые параметры для SDXL

Ниже — ориентиры, которые часто встречаются в руководствах сообщества. Это не результат нашего теста: оптимальные значения зависят от модели и датасета, поэтому начинайте с них и корректируйте по результату.

Сохраняйте LoRA после каждой эпохи или каждые несколько эпох. Потом вы сравните промежуточные версии и выберете лучшую — чаще всего это не последняя.

Экономия видеопамяти

Обучение SDXL и тем более Flux требует заметно больше памяти, чем генерация. Помогают gradient checkpointing, кеширование латентов и текстовых эмбеддингов на диск, меньший batch size (1–2), fp8-режим базовой модели для Flux. О выборе видеокарты — в нашем гайде по выбору видеокарты для Stable Diffusion.

Сэмплы во время обучения

Kohya умеет генерировать пробные картинки по ходу обучения. Задайте 2–3 промта с триггер-словом в разных сценах — так вы увидите, в какой момент персонаж становится узнаваемым, а в какой начинается переобучение.

Обучение в ComfyUI и в облаке

Обучение LoRA в ComfyUI

Для ComfyUI существуют пользовательские наборы нод для обучения LoRA, в том числе обёртки над теми же sd-scripts. Схема работы та же: нода загрузки датасета, параметры сети, запуск обучения, сохранение файла. Плюс — всё в одном интерфейсе, где вы потом генерируете. Минус — такие расширения развиваются быстрее документации, настройки иногда меняются от версии к версии. Если вы только начинаете, Kohya_ss проще: там все параметры собраны на одном экране с подсказками. Основы ComfyUI — в гайде ComfyUI для начинающих.

Облачные GPU

Если своей видеокарты не хватает, Kohya можно запустить на арендованном облачном GPU: README проекта описывает шаблоны для Runpod и Novita, установку через Docker и Colab-блокнот от стороннего автора. Обучение LoRA бесплатно возможно в бесплатном Colab, но доступность GPU там не гарантирована, а правила платформы могут ограничивать отдельные виды контента. Подробнее о вариантах — в статье Stable Diffusion в облаке.

Z-Image Turbo LoRA training

Для новых моделей вроде Z-Image Turbo инструменты обучения LoRA появляются по мере развития экосистемы, и поддержка в разных тренерах может отличаться. Перед стартом проверьте, поддерживает ли выбранная версия тренера нужную архитектуру, и ориентируйтесь на карточку модели и документацию инструмента, а не на пересказы.

Онлайн-тренеры на площадках

Некоторые площадки моделей предлагают обучение LoRA прямо в браузере. Это удобно, но проверьте правила: загружаемый датасет проходит модерацию, а фото реальных людей запрещены. Наше правило действует везде — только ваши генерации вымышленного взрослого персонажа.

Проверка результата и переобучение

Когда обучение закончено, у вас есть несколько файлов .safetensors — по одному на сохранённую эпоху. Скопируйте их в папку LoRA своего интерфейса и сравните.

Как тестировать

1. Возьмите 3–4 промта, которых не было в датасете: новая одежда, новая локация, другой план.
2. Сгенерируйте их с одинаковым seed для каждой эпохи и веса LoRA 0,7–1,0.
3. Сравните: где лицо узнаваемо, а одежда и фон при этом слушаются промта.

Признаки недообучения и переобучения

Итерации

Первая LoRA редко бывает идеальной, и это нормально даже для опытных авторов: обычно нужно две-три попытки, прежде чем персонаж станет по-настоящему стабильным. Нормальный процесс — сгенерировать с первой версией новые удачные кадры, добавить их в датасет, убрать слабые и обучить второй раз. Каждая итерация делает персонажа стабильнее и гибче. Чтобы лицо на общих планах не терялось, используйте после генерации детейлер: подробнее в гайде ADetailer и inpaint.

Типичные ошибки при обучении LoRA

Большинство неудачных LoRA ломаются на одних и тех же вещах. Проверьте себя по этому списку до запуска, а не после нескольких часов обучения.

• Однообразный датасет. Тридцать портретов анфас на сером фоне дадут LoRA, которая умеет только портрет анфас на сером фоне. Добавьте планы в полный рост, разные сцены и одежду.
• Брак в картинках. Лишние пальцы, «поплывшие» глаза, артефакты на коже модель запоминает так же старательно, как удачные детали. Отбраковывайте жёстко.
• Непоследовательная внешность. Если в половине кадров у героини каре, а в половине длинные волосы, LoRA выучит нечто среднее. Решите, какие черты постоянные, и держите их во всех изображениях.
• Нет триггер-слова или оно слишком общее. Слово вроде «girl» или «woman» конфликтует со словарём модели. Используйте уникальное сочетание букв.
• Обучение не на той базе. LoRA для SDXL не подойдёт к SD 1.5 или Flux. Если генерируете в Pony или Illustrious, обучайте на соответствующей базе.
• Слишком высокий learning rate и много эпох. Результат — пережжённые цвета и персонаж, который «прилипает» к каждой генерации. Начинайте с умеренных значений и сравнивайте эпохи.
• Возраст не закреплён. В подписях и промтах всегда указывайте «adult woman» и возраст 25+, чтобы персонаж оставался явно взрослым в любом стиле, включая аниме.

Отдельный совет: храните датасет, подписи и файл конфигурации Kohya вместе с готовой LoRA. Когда через месяц захочется улучшить персонажа или обучить его под новую базовую модель, вы начнёте не с нуля, а с проверенного набора, и повторите удачный результат.

Если обучать не хочется: персонажи в онлайн-сервисах

Обучение LoRA — это видеокарта, время и несколько попыток. Если вам нужен постоянный вымышленный персонаж без всей этой кухни, у онлайн-генераторов есть встроенные функции. В Promptchan есть функция AI Character для постоянного лица в генерациях, а в Pornworks — раздел персонажей (героев) и шаблоны с LoRA, которые подключаются одним кликом. Правила там такие же: только вымышленные взрослые, никаких реальных людей.

Персонажи без обучения: открыть Pornworks ↗Партнёрская ссылка · 18+

Постоянный персонаж без LoRA: попробовать Promptchan ↗Партнёрская ссылка · 18+

Итоги

Своя LoRA — лучший инструмент для постоянного вымышленного персонажа, но её качество определяется датасетом. Соберите 20–40 разнообразных собственных генераций взрослой героини, тщательно подпишите их с уникальным триггер-словом, начните с умеренных параметров Kohya_ss и сохраняйте каждую эпоху. Тестируйте на новых промтах и не бойтесь второй итерации. И помните главное: никаких фото реальных людей — только персонажи, которых вы придумали и сгенерировали сами.