flux lite 8B - 33 секунды на 3060

Разрабы убрали несколько слоев из середины модели и сократили число параметров с 12b до 8b, сократился и размер с 22 GB до 15 GB(fp16) и всего 7.6 GB в fp8. В теории, должна влезть в 8 GB VRAM. Затестил на своих 12 и 22 GB. Если у кого есть 8 GB - напишите скорость комментах.

Пишут, что flux lite чуть хуже рисует текст и хуже работает с Лорами. 8 шаговая лора hyper-flux работет, почти также как и в dev (хотя comfy пишет, что есть некоторые ошибки загрузки лоры).

Разрабы Lite рекомендуют ставить guidance_scale 3.5 и число шагов 22-30.

Затестил lite в форматах fp16, fp8 и Q4_0.

```
2080ti-22GB, 80%_power, 1024x1024 22 steps, guidance 3.5
dev_fp8: 16 GB, 1.99s/it, 46s

lite_fp16 17 GB, 1.58s/it, 40s
lite_fp8 15 GB, 1.57s/it, 37s
lite_q4 13 GB, 1.83s/it, 43s

dev_fp8_8st_lora 17 GB, 1.88s/it, 25s
lite_q4+8st_lora 13 GB, 2.50s/it, 20s
lite_fp8_8st_lora 15 GB, 1.51s/it, 15s

3060-12GB, 80%_power, 1024x1024 22 steps, guidance 3.5
dev_fp8 11 GB, 4.36s/it, 109s

lite_fp8 9 GB, 3.04s/it, 75s
lite_q4 10 GB, 3.52s/it, 81s

lite_q4_8st_lora 10 GB, 4.61s/it, 40s
lite_fp8_8st_lora 10 GB, 2.87s/it, 33s
```

close\-up photo of a face of a young french woman fully covered with artistic paint. Left part of is fully covered with black paint and right part is fully white. There is red text "Tensor" on her right forehead on white background. There is red text "Banana" on her right cheek under her eye on white background. Her neck is also covered in black paint. Lips are bright red. Background is dark, there's low light in photo

Сиды у картинок разные, выбирал самые хорошие. У hyper flux 8 step lora сила 0.125. Хайрез картинку скину в комменты.

Явного различия в качестве flux-dev-fp8 против flux-lite-fp8 пока не заметил. в lite-q4 кожа попроще, но я от него и не ждал чуда, текст пишет, но в довольно простом стиле.

С 8 шаговой Hyper лорой, конечно, все быстрее, но кожа становится чуть пластиковой, текст попроще. Но она все еще намного лучше чем schnell. У schnell самая пластиковая кожа и отсутствие мелких деталей.

Заодно затестил свежий PixelWave (один из первых полноцененных файнтюнов flux, 5 недель тренировки на 4090, 3000 изображений). А также SD3.5 Large и Medium.

PixelWave fp8 приятно удивил реалистичностью. Но с 8-step-lora работает хуже (малая насыщенность). PixelWave_fp8 по скорости такой же как dev_fp8.

SD3.5-large-8b неплохо отрабовал, но кожа пластиковая. SD3.5-medium-2.6b попытался, но не смог (проблемы с соблюдением всех условий, проблемы с текстом).

Файлов Lite в fp8 и nf4 пока нет, есть автоматическая конвертация в fp8 в комфи (в ноде Load Diffusion Model выбрать weight_dtype fp8_e4m3fn_fast).

flux lite fp16(16 GB): https://huggingface.co/Freepik/flux.1-lite-8B-alpha/tree/main
flux lite gguf(4-9 GB): https://huggingface.co/city96/flux.1-lite-8B-alpha-gguf/tree/main

hyper flux 8 step lora: https://huggingface.co/ByteDance/Hyper-SD
flux pixelwave: https://huggingface.co/mikeyandfriends/PixelWave_FLUX.1-dev_03/tree/main