Итак, после большого перерыва мы(ML Boost Camp) возвращаемся с теоретической лекцией по NLP. Будет обзор основных технологий от словарей до GPT с примерами соревнований, где они давали призовые места. Приходите сегодня в 20-00 по мск. Трансляция будет тут

Анонс движа по Kaggle!

Как вы, возможно, знаете, я терпеть не могу такое явление, как инфопродукты, курсы как стать программистом за месяц и прочее. А значит надо запустить свой курс)

Я уже давно хотел сделать такой движ, но не хватало времени, но сейчас объединился с Артемом, так что должно быть попроще. Состоять он будет из двух частей. Сначала будет публичная часть - теория ML+советы по kaggle(где-то 6-8 лекций по 1-2 часа). Дальше мы разобьемся на команды по 5 человек и каждая команда возьмет одно уникальное актуальное соревнование с Kaggle. Мы с Артемом будет тоже в командах, направлять и помогать. В каждом соревновании строго одна команда, так что шаринга быть не должно. Это уникальная возможность поучаствовать с нами в одном соревновании(между прочим, мне за такое предлагали до 5тыс евро) и, надеюсь, узнать что-то для себя новое.

Если вам такое интересно, до добавляйтесь в группу https://t.me/ml_boost_camp и проходите опрос. Участие бесплатное

Делитесь этим постом, чтобы больше желающих могло поучаствовать. Если такой формат зайдет, то дальше будет больше. Идей очень много, да и оффлайн тоже хочется провести. Пишите в комментариях свои пожелания и мнения.

Также, напишите мне, если вы хотите помочь в организации bootcamp от своего лица, или от лица компании

История того, как меня заскамили

Как вы могли заметить, я тут не особо пишу посты (Но, возможно, скоро что-то интересное будет), так как стал больше времени уделять обустройству личной жизни.

И вот две недели назад познакомился в тиндере с красивой, милой девушкой и сразу же завязалось приятное общение. Оказалась, что она из Амстердама и скоро приезжает на Кипр. Я заподозрил подвох, но номер телефона был голландский, фотки были оттуда, да и я сам так пару раз делал. Решил созвониться по видео, и она не отказала. На видео была она, да, потолстевшая, но мне ок, да, с непривычным макияжем, но она была на работе и может от этого зависит. После этого посылала свои фото, которые не гуглились и я расслабился.

Первые 5 дней все было хорошо, и я подумал, что как же мне повезло и начал уже думать над долгосрочными планами, но потом она упомянула, что занимается инвестициями, что вызвало подозрение, но пусть делает что хочет, еще через пару дней вкинула, что за пару дней заработала 20тыс баксов, еще через пару дней предложила и мне инвестировать с личного счета и что деньги никому переводить не надо. Я сказал, что это звучит как мошенничество, и думал, в таком случае она пропадет, но она написала грустное сообщение и мне стало неловко за мое недоверие( Так что я извинился и мы опять начали общаться.

Я уж подумал, не, ну так долго развод продолжаться не может и видимо все хорошо. Но через еще несколько дней она опять предложила поторговать и я опять сказал что это мошенничество и на этот раз меня уже забанили

Итого:
- Я хорошо провел почти 2 недели за хорошим общением
- Немножко разбил себе сердце(
- Получил важный опыт
- Потратил часов 20 у мошенницы и, надеюсь, этим кому-нибудь спас деньги)

Пытались ли вас развести?

Уважаемые дамы, с днём борьба за права женщин! Оставайтесь такими же прекрасным и умными. Творческой реализации вам и научных достижений!

Мы в команде давно заметили, что с VAE в Stable Diffusion 1.5 что-то не так. Оказалась, что не только мы. Тут на редите появился пост об этом. Давайте разберем проблему.

Зачем нужно VAE?
Оказалось, что генерировать картинку(и обучать) размером 1024 на 1024 может быть очень сложно, но к счастью, в картинках много избыточности(т. е. взяв рандомные пиксели мы получим шум и надо сгенерировать миллиарды рандомных картинок, чтобы хотя бы одна выглядела как что-то информативное), а значит их можно хорошо сжимать. Поэтому придумали 2 идеи.

Сжатие картинки
Сначала генерировать маленькую картинку(пиксельное пространство), а потом растягивать, или сжимать картинку в маленькую матрицу(латентное пространство) и уметь потом обратно возвращаться. Модель которая делает второе и назвали VAE.

Требования к VAE
В VAE авторы закладывали 2 важные вещи, без которых sd работал бы плохо:
1) Чтобы соседние пиксели картинки влияли только на соседние значения матрицы в латентном пространстве(и наоборот, чтобы в левом верхнем углу латентной матрицы была информация только о левом верхнем углу картинки
2) Чтобы небольшой изменение чисел в латентной матрице не приводило к сильному изменению картинки. Чтобы латентное пространство не было разряжено

Устойчивость VAE
Чтобы этого добиться, мы при обучении немного меняем значения латентной матрицы, и при этом хотим восстанавливать оригинальную картинку. Но оказалось, что это не помогло.

Какую проблему нашли
Авторы поста на редите начали занулять по одному числу в латентной матрицы sd размером 64 на 64 и смотреть как при этом, после декодирования, изменится оригинальная картинка. Предполагалось, что изменение одного числа не должно сильно сказаться на всю картинку, а только на небольшую область, и у всех чисел влияние будет равнозначным. Но этого не произошло. Ярко желтые пиксели(см фото в коментах) сильно ломали всю картинку

К чему привело
И когда обучали SD, он должен был научиться делать какие-то пиксели глобальными, и если этот пиксель предсказывали немного другим, то это влияло на всю картинку. Это должно было привести к тому, что sd обучался дольше, чем должен был, и возникновению артефактов, в том числе мог меняется оттенок всей картинки при инпейтинге.

Итого
К сожалению эту проблему не поправить, так как SD уже настроился на эту особенность и потребуется полноценное обучение на новом VAE. У SDXL такой проблемы нет.

Мы продолжим следить за событиями
Информацию увидел у https://t.me/derplearning

Всем привет. С 20го декабря пару недель буду в Тайланде, Если вы чилите там, и хотите встретиться - пишите в личку.

Еще, у меня периодически просят кого-нибудь порекомендовать, думаю создать базу желающих, чтобы было из кого это делать. Что думаете?

Прямо сейчас просят работящего NLPшника, если интересно, напишите, свяжу