Я вообще на работе, но это срочно в номер. ?

Мои предсказания полностью сбылись, SDXL turbo реализовали на Comfy UI как только я пошел спать.

Надо обновить Comfy UI, скачать саму модель и вот эту милую картинку. Картинку закидываем в комфи в качестве воркфлоу, в доп. настройках включаем Auto Queue.

Stability AI радует плюшками. Недавно выпустили Stable Video Diffusion, бесплатный аналог Runway и ему подобным, вот только что показали SDXL, который генерит в реальном времени, пока печатаешь промпт.
Попробовать можно на Clipdrop.
К сожалению, бесплатные попытки кончаются так же быстро, как он выдает картинки, но к счастью, это все же Stability AI, так что модель уже доступна бесплатно на Huggingface. Ждем минут 15, пока кто-ниубдь ее не прикрутит к Automatic1111 и к Comfy.

Stable Diffusion вообще без видеокарты

Вот буквально только что кто-то выложил на гитхаб рабочую версию Stable Diffusion, которая работает полностью на процессоре.

Есть версия для винды и линукса, установилась у меня в 1 клик. Генерит изображение в 4 шагов за 20 секунд или 10 шагов примерно за минуту. Процессор у меня 5800x3D. Не знаю, можно ли сравнивать с количеством шагов в обычном SD. Для сравнения, на видюхе картинка 512 х 512 , 30 шагов генерится пару секунд в зависимости от видеокарты. По моим прикидкам, получается где-то в 50 раз медленнее, чем на 4070 ti.

Настроек очень мало, по сути только размер, количество шагов и CFG. Чекпоинт стоит Dreamshaper 7, выглядит так, как будто можно поставить другой, но это неточно. Качество картинок как будто похуже, чем в обычном SD на видюхе. Вероятно, это связано с малым количеством шагов и отсутствием нормального VAE. Непонятно, какой там семплер к тому же.

В общем, впечатляет, что эта штука легко устанавливается условно на любой компьютер и стабильно, хоть и медленно работает. Называется FastSDCPU, потому что предыдущие попытки реализовать SD на проце были не фаст.

До двух раз быстрее

Или как очень долго запрягать и более-менее быстро ехать за новыми дровами от Nvidia

2 дня назад Nvidia прямо на сайте у себя написала, что с новыми драйверами версии 545.84 Stable Diffusion будет работать до 2х раз быстрее*.

• Только на видеокартах серии RTX (потому что ускорение происходит за счет задействования тензорных ядер) и при условии установки специального аддона для Automatic1111.

Оказалось, что в отличие от практически всех остальных аддонов для авто11, установить его практически невозможно. Он устанавливает 210 (карл) пакетов зависимостей через PIP, делает это так долго, что люди думают, что установка просто зависла. Некоторые из них он установить не может по той или иной причине, конфликтует с уже установленными пакетами и т.д. В общем, на гитхабе за 2 дня набралось уже больше 50 тем с проблемами (issues).

Второй и главный подвох в том, что для каждой комбинации чекпоинта, размера изображения и размера бэтча надо предварительно генерить специальный тензор-движок, на что уходит 5-10 минут. При этом это все еще и не работает с контрол нетом, под лоры надо тоже делать движки, SDXL не поддерживается, и ломается Highres Fix.

На реддите ребята, которые все же смогли все это запрячь, говорят об ускорении от 20 до 70%. Т.е. это может быть оправдано, если собираешься генерить огромную партию однотипных изображений.

Я для себя пока что решил, что я не так много генерю, чтобы можно было оправдать объем необходимой мордовни. Надеюсь, технология будет развиваться, и станет проще и удобнее в использовании.

Что ж, могу с гордостью сказать, что присоединился к клубу из, наверно, трехзначного количества человек, которым удалось освоить Gaussian Splatting.

Обещанное второе видео о том, как можно увеличивать изображения в Stable Diffusion и получать генерации высокого разрешения, а также добавлять детали с помощью моего любмимого трюка с Tile ControlNet.