????
Если вы на этой неделе еще не выделили времени "для себя", чтобы позаниматься самобичеванием по поводу того, что вы делаете недостаточно - вечер пятницы отличное время для этого!
Не благодарите
#memes

все так
#memes

Ух, как-то я ушла в конце апреля в отпуск, и так отпустила, что вылетела из своего режима ведения паблика ?

Еще меня немного завалило апатией, потому что ровно в том же конце апреля мне пришел отказ от работы, куда я собеседовалась с января (!!!), прошла около 7 стадий интервью (3 технических + тестовое). Спустя огонь и воду, эйчары несколько недель капали мне на мозг, прося ответ на еще выданный оффер, организовывали мне звонки с тимлидом, фирмой, помогающей с переездом, пока оффер проходит стадию одобрения CEO... Ну, и когда я ментально уже запаковала чумоданы, меня этот самый CEO благополучно послал в пешее эротическое ????

В общем, поскольку советы давать легче, чем им следовать, никому не советую до получения оффера развешивать уши, а еще точно не советую принимать отказы так близко к сердцу, даже если вы потратили на процесс отбора кучу сил и времени... Мб оно и к лучшему и это ред флег, и вам туда не надо ?

Спустя пару месяцев самокопания и попыток порадовать внутреннего ребенка (я вот начала учить японский, например!?), я решила, что мне надо немного переформатировать канал. Поэтому пока что в тестовом режиме вместо попыток быть "новостным каналом про все на свете", буду писать про темы ближе к тому, чем я занимаюсь (потому что что-то у меня все время происходит, но не по расписанию :D )

как-то так, держу в курсе, всем чмок в пупок?
#deeplearnme_diary

Stealing Part of a Production Language Model

Наткнулась тут на прикольную статью, которая хайпово называется КрАжА ~~твоего сердечка~~ КусОчКа ПродАкЩн LLM мОдеЛи.

Звучит ну очень по-хацкерски, но на самом деле это просто отдельная область, которая называется attacks на нейросетевые модели, в частности LLM. В этой конкретной работе авторы при помощи ~~ядерного оружия~~~~?~~ линейной алгебры и большого набора (стоимостью 20$ обращений к чатгпт апи) log probs ответов модели на промпты находят hidden size скрытого представления данных и “embedding projection layer of a transformer model” (я сильно глубоко не вчитывалась, но как будто это скрытое представление матрицы Q)?

Статья мне понравилась, потому что она опирается на базовый линал (в основном на собственные значения матриц и SVD - обожаю SVD!!!!). Единственное, чего я не оч понимаю - что все эти вычисления полагаются на то, что все вектора скрытых представлений живут в линейном пространстве (для которого все эти собственные значения и разложения работают). Не, ну мы все видели эту картинку про Word2Vec, где король-мужчина=королева, но насколько так же линейно все в пространстве скрытых представлений нейросетей…. Хз, я про это иногда думаю, но пока ничего не читала глубокого на тему.❓❓❓

В общем, хз, насколько нам ценны детали о размерностях продакшн ллм моделей, но раз OpenAI так ревностно инфу эту хранит, то почему бы им назло ее не раскопать? В любом случае интересный кейс применения линала и в целом область?

#paper #maths #research #llm

Блин, я ничего не понимаю в роботах и во мне умер инженер конструктор, но я правда считаю, что робототехника это одна из самых интересных областей для работы и для мл там сейчас простора дофига

Вот показывают, как hugging face чуваки занимаются робототехникой как хобби ?

Я сначала просто умильнулась, а потом такая "Погодите-ка!"
Они реально сделали робота, который распознает свое окружение не классическими object detection моделями, а LLM, которая по изображению может написать, что находится на картинке ???
Понятно, что это просто игрушка, но я за областью не слежу, теперь реально и обжект детекшон заменили ллм?❓

#llm #ai_applications #memes

Telegram

Derp Learning

Коротко о том, как развлекается кофаундер и CSO HuggingFace***🤗*** Чуваки сделали умного робота из ⣀⠓⡉⢈⡉ ⠖ ⣠⢈⡊⢆⢈ машинки на пульте управления и трёх open source нейронок: Whisper - распознаёт речь. Idefics2 - ЛЛМ с виженом. Parler-TTS - голос робота. Все под…

XGBoost External Memory

Представьте ситуацию, где у вас есть примерно дофига данных (скажем, csv таблица на 50GB), которые никак не влезут даже в 32GB оперативки ?

В области нейросеточек эта дилемма уже давно разрешилась еще на этапе расцвета Computer Vision с тоннами картинок, необходимых для обучения. Еще не доходя распределенных вычислений и запуска обучения на супер компьютере, есть простой инструмент, который упрощает работу с большими данными. Это классы dataset и dataloader (например, в путорче). Их основная идея - реализовать класс датасета, который сможет по индексу загружать в память один элемент датасета, а даталоадер будет эффективно распараллеливать загрузку этих элементов, склеивать в батчи и освобождать память после.

Идеологически такой подход, наверное, ближе всего к итераторам/генераторам - которые последовательно перебирают элементы некоторой коллекции, не держа коллекцию в памяти. ?

Теперь представьте, что вы хотите обучить XGBoost модель, а не нейросетку…

Вот оказывается, у XGBoost есть своя имплементация похожей концепции. Называется XGBoost External Memory Version. Строится она ровно на итераторе, но небольшое отличие от dataset/dataloader в том, что надо написать итератор не по отдельным элементам датасета, а по большим чанкам (например, поделить исходный файл на несколько маленьких и по кусочкам его загружать). ?

Для этого итератора потом можно собрать объект внутреннего XGBoost формата DMatrix (не волнуйтесь, он не загружает все чанки в память, а при создании создает свой файлик кеша, который потом использует для более эффективного обращения с данными при обучении)

Объект DMatrix потом используется как параметр метода xgboost.train (классы XGBClassifire/XGBRegressor с интерфейсом sklearn не поддерживаются), и вот вуаля - обучение в режиме Large Dataset ! Enjoy ???

#framework #boosting #table_data #useful_links

~~Цундере~~ Пассивно-агрессивная conda ???

#memes #python

Kubernetes Release Themes

На прошлой неделе был релиз v1.30 Kubernetes и я узнала, что у каждого релиза есть своя тема. И у этого релиза тема - UwU смайлик. И, соответственно, мотто “Kubernetes v1.30 makes your clusters cuter!”. ????? Так что срочно бежим обновлять кубернетесы!?

Я поскроллила по старым релизам, мне еще понравился экзистенциальная Mandala и неоновый Electrifying.

Вообще, девопсы - какие-то самые няшные на свете люди, по ходу. Мне нравится вся эта декоративная мишура, когда я полгода назад начала работать с Helm меня умиляло, что на кажду helm команду тебе в терминале принтят “Happy Helming!”, пустячок, а приятно UwU

#kubernetes #devops #helm

~~Это мы или не мы~~
https://t.me/kabinet_memologa/65233

Telegram

Кабинет Мемолога