ИИ Воркфлоу Есть какой-нибудь воркфлоу/туториал ComfyUI IMG2IMG?

[JonoFret]

Есть у кого-нибудь надёжный img2img-воркфлоу или туториал для ComfyUI, который можете посоветовать? Пытаюсь улучшить свой процесс и хотел бы посмотреть, что сейчас хорошо работает у других. Кидайте ссылку или делитесь своим сетапом, если не против.

 

[bytepete9]

Klein 9B Distilled (edit или оригинальный t2i, лучше взять оба, чтобы вообще разобраться). Для воркфлоу просто поищи «Klein» в разделе шаблонов/комьюнити ComfyUI. Для загрузки модели бери GGUF-версию — она намного легче по VRAM. Сейчас доступен только вариант BigLove от Klein. Файлы можно найти, поискав юзера Granddyser на Hugging Face.
Ещё квантованные модели Gemma 4 E4B через кастомную LLM-ноду очень лёгкие и отзывчивые, особенно abliterated-варианты. Они отлично встраиваются в твой процесс генерации и позволяют добавить шаг предобработки, чтобы дорабатывать или генерировать промпты на лету, если тебе такой воркфлоу по душе.
К сожалению, за LoRA в основном придётся идти на Civitai: на Hugging Face архивы для этих моделей есть, но там отстойный поиск. Civitai может быть тем ещё диким западом, полным постов на эго, а качество и совместимость LoRA для Klein разные. Но если ты используешь вариант BigLove, у тебя и без LoRA уже будет много свободы. А когда используешь их, обычно хватает одной-двух.
Для справки: у меня RTX 3090.

 

[CalSump6]

Всем привет, не знаю, туда ли я пишу
но я вообще новичок в comfyui и по сути ничего о нём не знаю, так что простите за тупой вопрос
Проблема в том, что я только что скачал comfyui, и программа не видит мои чекпоинты, хотя они лежат в папке model/checkpoints, и файлы, очевидно, заканчиваются на .safetensors
Пробовал перезагружать comfyui и всё перезапускать, но он тупо отказывается их замечать. Например, пытаюсь запустить cyberrealisticpony и ponyrealism.
Надеюсь, кто-нибудь поможет, спасибо!

 

[bytepete9]

Если ты используешь десктопное приложение с официального сайта ComfyUI, установщик должен был попросить выбрать папку для программы, и всё окажется вот здесь:
YOUR_INSTALL_PATH/
└── ComfyUI/
───└── models/
──────├── checkpoints/ <-- Кидай сюда свои чекпоинты .safetensors
──────├── loras/ <-- Кидай сюда LoRA
──────├── vae/ <-- Кидай сюда VAE
Если ставил вручную через свой venv и терминал, то будет похоже, по сути та же папка, куда ты клонил репозиторий через git, со структурой выше
Можно просто нажать клавишу R, не перезапуская ComfyUI, и списки обновятся

 

[CalSump6]

Огромное спасибо! Он реально был в папке comfyui в моих документах, а не в той, что на диске C.
Хотел спросить, нет ли у тебя простого в использовании image2image воркфлоу на основе SDXL? Который бы вёл себя примерно как генерация картинок в grok или gemini. Обычно в нормальном i2i модель меняет только очень конкретные детали, а исходная картинка остаётся нетронутой. А я хочу, чтобы она брала «личность», то есть черты лица, форму тела и одежду с референса, а потом по промпту ставила её в совершенно другое действие, чем на референсе. Например, аниме-персонаж просто стоит на референсе на белом фоне, понимаешь? Я хочу получить портрет крупным планом на фоне морского пляжа ночью при лунном свете. В целом вся логика как когда просишь grok или gemini сделать что-то другое из твоей картинки обычным текстовым промптом.
Для справки, я пытаюсь всё это делать на Illustrious XL gguf, а карта у меня 5060 8gb
Извините за длинные тексты, я совсем новичок во всём этом.

 

[bytepete9]

с 5060 на 8gb ты, скорее всего, без проблем потянешь Klein 4b edit, а то и 9b, если брать gguf-версии модели.
Официальный воркфлоу для 4b вот тут, https://docs.comfy.org/tutorials/flux/flux-2-klein#flux-2-klein-4b-workflows
Промптинг у Klein не такой, как у других: он понимает обычный связный язык, а не набор тегов-ключевиков. Допустим, ты добавил референс, можно начать с малого и писать что-то вроде "Поменяй одежду женщины на белую плиссированную юбку и красную кожаную куртку"; в более сложных случаях добавляешь больше референсных картинок и используешь точные промпты, чтобы вести модель к нужному результату.
И это не всё: кроме лица, одежды и т.д. можно менять целиком освещение, пускать солнечные лучи через окно или в нужную сторону, менять день на ночь и так далее.
С умным промптингом и Klein лоры тебе даже не понадобятся, разве что в редких случаях.

 

[CalSump6]

Если честно, мне нужны модели и воркфлоу, которые позволяют nsfw и при этом умеют выдавать фотосессии в стиле 3D-рендера по 2D-референсам. Я почти уверен, что flux-модели не подходят для этого nsfw, да?

 

[bytepete9]

Неверно. Это про Flux2 Pro/Dev, а Flux2 Klein 9B/4B вполне способны и сильно лучше SDXL, когда разберёшься, как ими пользоваться.
Начни с файнтюна через https://huggingface.co/Granddyser
Раз у тебя 5060, можешь взять NV4 https://huggingface.co/Granddyser/biglove-klein2/blob/main/bigLove_klein2_nf4.safetensors
(он дистиллированный, то есть: только CFG 1.0 и от 4 до 8 шагов для ожидаемого результата, размер латента ставь на 1.0MP разрешения

 

[EnzoJam12]

Знаешь какие-нибудь правки к этому воркфлоу, чтобы он работал на Apple Silicon?
BF16 или FP16 было бы отлично для bigLove, или формат LoRA вместо полной модели.

 

[PiaReads4]

охуенная инфа. этот метод намного лучше, чем ezcreate или вся эта онлайн-хрень. спасибо, босс epoLove:. Есть ли кроме этого форума другие, где есть актуальные гайды по генерации image-to-video или video-to-video? Не думаю, что гайды здесь по этому очень свежие. WAN 2.2 или LTX 2.3? auseChampRev:

 

[bytepete9]

Со звуком > Без звука, Wan тоже так себе (юзай только если совсем припёрло), так что если можешь запустить LTX 2.3, бери его, либо с активным использованием Лор на оригинальной модели Lightricks, либо файнтюны Sulphur и 10eros.
https://huggingface.co/TenStrip/LTX2.3-10Eros
https://huggingface.co/TenStrip/LTX2.3-10Eros_Workflows
https://huggingface.co/SulphurAI/Sulphur-2-base
Простых гайдов нет, с видео всё сложнее. Тут не бывает одной кнопки, которая делает всё, зато это не зацензуренный сайт для пейпигов, как все эти онлайн-сервисы... Я угораю с тех, кто считает Grok хорошим: в основном это убогий софткор и куча отклонённых промптов, пока токены сливаются впустую.

 

[CalSump6]

похоже, у тебя всё получилось, у меня выдавало какую-то совершенно неоновую кашу, поделишься своим воркфлоу, пожалуйста? я как раз ищу замену ezcreate

 

[bytepete9]

Для Flux 2 Klein 9B
CFG 1.0 для Klein 9B Distilled (обычно это та, где в названии нет base, и ей для обычного инференса нужно 4 шага)
CFG 4.0~ для Klein 9B Base (это недистиллированный вариант, ему нужно около 20 шагов для обычного инференса)
То, что ты описываешь, получается из-за путаницы с вышесказанным.
Если ставить CFG 4 на дистиллированную модель Klein, получишь ровно это. Так что перепроверь, что ты используешь и как. Если нужен стартовый воркфлоу, они есть на официальном сайте документации ComfyUI.

 

[CalSump6]

Сижу на 4B fp8, есть идеи, как включить на нём nsfw, чтобы были детальные вагина или анус? Он их по сути замазывает. Лор для 4B найти не могу

 

[PiaReads4]

https://filester.me/d/35qIS2l
извини за поздний ответ, я тут редко бываю, залил, если тебе ещё нужно, diffusion-модель заменил на gguf-версию

 

[pagerbuzz70]

Хотел добавить пару слов в обсуждение LTX vs WAN.
WAN - Хорошее следование промпту, физика и движение, особенно для NSFW. Огромная экосистема, куча моделей/лор/воркфлоу на выбор. Звука из коробки нет, для него нужен отдельный воркфлоу.
LTX - Бесящее следование промпту (улучшение через LLM почти обязательно), посредственная физика и движение. Зато отличный звук, в основном он обучен как модель «говорящей головы». Производительность отличная для такого качества. Модель новее, экосистема меньше.
В целом думаю, что LTX — это то, что нужно, особенно по мере роста экосистемы. Для хреновго следования промпту есть обходные пути, и, надеюсь, скоро выйдет новая версия.

 

[bytepete9]

У WAN 2.2 уже год зрелости, и больше, если считать WAN 2.1, а ещё с конца прошлого месяца есть Bernini R, который немного гибридизирует WAN 2.2. Всё на одной исходной архитектуре.
LTX по дизайну, особенно в 2.3, любит насыщенные промпты из-за текстового энкодера и того, как его обучали, и большинство опирается на LLM для промптинга, я тоже. Я заставил claude code накодить ноду специально для этого, чтобы снизить нагрузку на vram, но при этом использую llama cpp локально вместо ужасной поддержки vision в ollama (референсные картинки — это полезно уже просто как фича). Впрочем, сейчас наверное есть 100 способов юзать LLM через comfy, будь то нода или локальный API, или, если деньги девать некуда, не дай бог, внешний SaaS.
По сути, у нас есть доступ к обоим, лучше выучить оба. Тем более оба влезают в 24GB vram, или меньше (нежелательно)

 

[stapler5]

никогда не понимал хайп вокруг ltx, для i2i qwen rapid aio в разы лучше

 

[bytepete9]

ltx для видео+аудио, а не для картинок
И если ты всё ещё сомневаешься насчёт Klein, попробуй One Node, это самый простой вход для тех, кто мало шарит. https://github.com/yanokusnir-ai/one-node-flux-2-klein

 

[TheoJig5]

пробовал, вообще не понравилось. низкое качество картинок, слишком медленно и полностью меняет лица на твоём "input". не стоит того, имхо.