ControlNet в Stable Diffusion: позы OpenPose, глубина и контуры

ControlNet — инструмент, который превращает Stable Diffusion из «лотереи» в управляемый процесс. Вместо того чтобы генерировать десятки картинок в надежде на нужную позу, вы задаёте позу, глубину сцены или контуры напрямую — и модель рисует по этой схеме. В гайде разбираем, что такое ControlNet простыми словами, какие бывают типы (OpenPose, Depth, Canny, Lineart, Union), как установить ControlNet и где взять модели для SD 1.5 и SDXL, как собрать схему в ComfyUI и как подобрать силу, чтобы не «передавить» генерацию.

ControlNet простыми словами

Обычная генерация работает только от текста: вы описываете сцену, а модель сама решает, где будут руки, как повернута голова и где проходит линия горизонта. Промт «woman sitting on a chair, legs crossed» может дать десяток разных поз, и ни одна не совпадёт с той, что у вас в голове.

ControlNet добавляет к тексту второй вход — изображение-подсказку. Это может быть схематичный скелет из точек и линий, чёрно-белая карта глубины или контурный рисунок. Дополнительная нейросеть «читает» эту карту и направляет генерацию так, чтобы результат ей соответствовал. Текст по-прежнему отвечает за то, что нарисовано (персонаж, одежда, стиль), а ControlNet — за то, как оно расположено.

Отсюда главное применение для создателей вымышленных персонажей: точная поза, повторяемая композиция в серии кадров, перенос структуры собственного наброска в готовую картинку. Чтобы понять, где ControlNet стоит среди других способов улучшить результат, загляните в обзор как улучшить качество ИИ-генерации.

Типы: OpenPose, Depth, Canny, Lineart, Union

Каждый тип ControlNet обучен на своей разновидности карт. Для работы обычно нужно две вещи: препроцессор, который делает карту из исходной картинки, и модель ControlNet, которая по этой карте управляет генерацией.

OpenPose

Это самый популярный тип ControlNet для работы с персонажами. Карта — это цветные линии и точки на чёрном фоне, обозначающие суставы. Модель не видит одежду, лицо и фон исходника — только скелет. Поэтому поза передаётся, а внешность полностью определяется промтом и моделью. Варианты OpenPose с руками и лицом точнее передают положение кистей и поворот головы.

Depth

Карта глубины показывает расстояние до объектов: светлое ближе, тёмное дальше. Depth хорошо передаёт общий силуэт и расположение в пространстве, но даёт модели больше свободы в деталях, чем Canny. Отличный выбор, когда нужен тот же ракурс и композиция, что в вашей предыдущей генерации.

Canny и Lineart

Canny находит все резкие границы на картинке и заставляет модель повторять их почти буквально. Lineart работает с линиями рисунка и особенно полезен, если вы рисуете скетч от руки и хотите получить из него готовую иллюстрацию. Оба типа сильно ограничивают модель, поэтому силу для них обычно ставят ниже.

Union

ControlNet Union для SDXL объединяет много типов управления в одной модели. Например, по описанию на странице модели xinsir, ControlNet Union SDXL поддерживает более десяти типов условий и совместим с моделями сообщества на базе SDXL и с LoRA. Удобно: один файл вместо набора отдельных моделей, меньше места на диске и меньше путаницы с версиями. Качество отдельных типов при этом стоит проверять на своих задачах.

Установка и модели для SD 1.5 и SDXL

Главное правило совместимости

Модель ControlNet обучается под конкретную архитектуру. ControlNet для SD 1.5 не работает с SDXL-чекпойнтами, и наоборот. Модели на базе SDXL — Pony, Illustrious и их производные — обычно используют SDXL-ControlNet, но качество может отличаться: у аниме-моделей бывают свои специально обученные варианты. Для Flux существуют отдельные модели ControlNet. Если не уверены, на какой базе ваш чекпойнт, посмотрите в нашем обзоре лучших моделей Stable Diffusion.

Как установить ControlNet в Stable Diffusion Forge

В Forge ControlNet встроен: отдельное расширение ставить не нужно, блок ControlNet появляется под настройками генерации. Достаточно скачать модели ControlNet в формате .safetensors и положить их в папку models/ControlNet, затем обновить список моделей в интерфейсе. В классическом Automatic1111 ControlNet ставится как расширение через вкладку Extensions.

Где искать модели

Модели ControlNet публикуются на Hugging Face и площадках моделей. Для SD 1.5 популярен набор ControlNet 1.1 (OpenPose, Depth, Canny, Lineart, Softedge, Tile и другие). Для SDXL распространены отдельные модели от разных авторов и универсальные Union-модели. Скачивайте файлы в формате .safetensors и читайте карточку: там указаны база и рекомендуемые препроцессоры.

Поза из OpenPose-редактора (без чужих фото)

Самый частый совет в сети — «возьмите фото с нужной позой и прогоните через препроцессор». Мы так не делаем и не рекомендуем: фотографии реальных людей не должны становиться сырьём для генераций, даже если от них остаётся только скелет. Есть более удобные и чистые способы.

Как работать с OpenPose-редактором

1. Откройте редактор: это может быть openpose editor online в браузере или расширение внутри интерфейса.
2. Задайте размер холста таким же, как у будущей генерации, например 832×1216 для вертикального SDXL-кадра.
3. Перетаскивайте точки суставов, пока скелет не примет нужную позу. Следите за пропорциями взрослого человека.
4. Экспортируйте PNG с картой позы.
5. Загрузите карту в ControlNet, выберите препроцессор none (карта уже готова) и модель OpenPose.

Поза из своей генерации

Получили удачную позу в одной картинке и хотите повторить её с другой одеждой или в другой сцене? Прогоните свою генерацию через препроцессор OpenPose или Depth — и используйте карту для новой картинки. Это удобный способ держать единую позу и композицию в серии кадров с одним вымышленным персонажем.

ControlNet в ComfyUI: схема нод

В ComfyUI ControlNet поддерживается базовыми нодами, а препроцессоры (OpenPose, Depth, Lineart и другие) обычно ставят отдельным набором нод через ComfyUI Manager. Если вы только осваиваете интерфейс, сначала пройдите гайд ComfyUI для начинающих.

Минимальная схема

1. Load Checkpoint — ваша модель SDXL или SD 1.5.
2. CLIP Text Encode ×2 — позитивный и негативный промт.
3. Load Image — карта позы или исходная своя генерация.
4. Препроцессор (если загружаете не готовую карту) — например, DWPose или Depth Anything.
5. Load ControlNet Model — файл из ComfyUI/models/controlnet.
6. Apply ControlNet — принимает оба кондишена (позитив и негатив), модель ControlNet и карту; на выходе — изменённые кондишены.
7. KSampler — получает кондишены уже из Apply ControlNet.
8. VAE Decode и Save Image.

Несколько ControlNet можно подключать цепочкой: выход одного Apply ControlNet идёт на вход следующего. Например, OpenPose для позы плюс Depth с небольшой силой для композиции. ComfyUI сохраняет весь граф в метаданных картинки, так что удачную схему легко переиспользовать.

SDXL ControlNet и Union в ComfyUI

Для Union-моделей в ComfyUI есть нода выбора типа управления: вы указываете, что подаёте карту позы или глубины, и одна модель обрабатывает её правильно. Удобно при работе с SDXL, где отдельные модели занимают много места.

Сила и шаги: как не «передавить»

Главная ошибка новичков — ставить силу ControlNet на максимум. Модель начинает копировать карту буквально, игнорируя промт: появляются деревянные позы, искажения, «сломанные» руки там, где карта неточна.

Эти значения — ориентиры из практики сообщества, а не результат нашего измерения. Подбирайте значения под свою модель и конкретную задачу, ведь разные чекпойнты реагируют на ControlNet по-разному: сгенерируйте одну и ту же сцену с силой 0,5, 0,7 и 0,9 и выберите лучший баланс.

Частые проблемы

• Поза не передаётся. Проверьте, что модель ControlNet под вашу базу, и что для готовой карты выбран препроцессор none.
• Руки и пальцы «ломаются». Используйте вариант OpenPose с кистями, уменьшите силу, доработайте результат через ADetailer и inpaint.
• Пропорции не совпадают. Размер карты должен совпадать с размером генерации или иметь те же пропорции.
• Несколько персонажей смешиваются. ControlNet задаёт позы, но не распределяет описания между персонажами; для этого подойдёт Regional Prompter.

Практические сценарии для серии кадров

ControlNet раскрывается, когда вы работаете не с одной картинкой, а с серией: историей в нескольких сценах, набором аватаров или визуальной новеллой с одним вымышленным персонажем. Вот несколько приёмов, которые хорошо работают на практике.

Одна поза — разные образы

Сделайте карту позы один раз и меняйте только промт: вечернее платье, деловой костюм, спортивная одежда, разные локации. Персонаж стоит одинаково, и серия выглядит как единая фотосессия. Для стабильного лица дополните схему своей LoRA персонажа или подробным описанием внешности.

Одна сцена — разные ракурсы

Сгенерируйте интерьер, прогоните его через препроцессор Depth и используйте карту с небольшой силой (около 0,4–0,5) для следующих кадров. Комната, мебель и перспектива сохраняются, а персонаж и его положение меняются по промту. Так проще держать единое место действия в длинной истории.

Скетч — готовая иллюстрация

Нарисуйте грубый набросок композиции от руки или в графическом редакторе: где стоит героиня, где окно, где источник света. Подайте его в Scribble или Lineart. Модель превратит каракули в полноценную картинку, сохранив ваш замысел. Это лучший способ получить авторскую композицию, а не «среднюю по датасету».

Если вы художник и хотите использовать ControlNet как помощника — для референсов поз, этюдов света и проверки композиции, а не для финальной картинки, — посмотрите гайд нейросеть для художников.

Комбинация с детейлером и апскейлом

Типичный полный процесс выглядит так: ControlNet задаёт позу, модель генерирует базовую картинку, детейлер дорабатывает лицо и руки, апскейл с ControlNet Tile добавляет детализацию в высоком разрешении. В ComfyUI всё это собирается в одном графе и запускается одной кнопкой. Начните с простой схемы OpenPose, а остальные блоки добавляйте по одному, проверяя результат на каждом шаге.

Взрослые пропорции

Рисуя скелет в редакторе, следите за пропорциями взрослого человека: соотношение головы и роста, ширина плеч, длина ног. ControlNet передаёт пропорции карты в генерацию, поэтому неправильный скелет может исказить результат. В промте всегда указывайте возраст 25+ и «adult woman».

Без установки: управление позой онлайн

Если ставить ControlNet локально нет желания или видеокарты, часть задач решают онлайн-генераторы. В Pornworks есть готовые модели, шаблоны с LoRA и настройки генерации, а в Promptchan — выбор поз и композиции прямо в интерфейсе. Правила те же: только вымышленные взрослые персонажи, никаких реальных людей.

Генерация без установки: открыть Pornworks ↗Партнёрская ссылка · 18+

Итоги

ControlNet — главный способ управлять позой и композицией в Stable Diffusion. Для персонажей чаще всего хватает OpenPose, для сцен — Depth, для точного повторения рисунка — Canny и Lineart, а для SDXL удобна универсальная Union. Следите за совместимостью модели с базой, берите позы из редактора или своих генераций, начинайте с умеренной силы и выключайте влияние до конца генерации — тогда результат будет и точным, и живым.