С Новым Годом всех выживших.
Я его встречаю без снега, увы. Хотя бы погода хорошая. В этом году мой канал на YouTube вырос в два с половиной раза. Одна из моих моделей оказалась среди лучших по русскоязычным тестам в категории до 10B. Может быть, и 2025 год не разочарует, посмотрим.

Я создал новый телеграм-чат, главным образом для публикации видео, в связи с блокировкой YouTube в России.
👉 @ruslandevlabs 👈
Видео на YouTube будут выходить как обычно, и здесь будут посты в прежнем формате, но также буду заливать все видео в соответствующий раздел этого чата.
Также, если я обучаю новую модель и получается неплохо - веса и данные тоже буду выкладывать туда.
Всех с наступающим.

Новое видео - про Llama 3.2 и Llama Stack:
https://youtu.be/0I2zhDn8d3Q?feature=shared

Это целая коллекция моделей, во-первых, есть мультимодальность (версии 11B и 90B), они поддерживают изображения.
Это первый серьезный шаг в сторону опенсорсного аналога GPT-4o. В Llama 3.1 добавили image encoder + адаптер и обучили на парах изображение-текст. А как насчет голосового ввода? В технической статье Llama говорится, что в Мета тренируют speech adapter для новых моделей, с которыми можно будет разговаривать. Ждем.
Также коллекция Llama 3.2 включает легковесные текстовые 1B и 3B, которые можно запускать на мобильных девайсах. Как именно? Фреймворк Llama Stack теперь поддерживает iOS платформу. В моем видео есть пример, как развернуть Llama3.2-11B-Vision-Instruct на Llama Stack в облаке с RTX 4090, работает отлично.

Написал статью на Хабре про O1, модель рассуждений. Немного затронул такие темы, как Chain of Thoughts промптинг и обучение модели для генерации собственных цепочек мыслей.
https://habr.com/ru/articles/847354/
В статье упоминается и одна из первых попыток реализовать модель рассуждений на базе открытых весов - Llama-3.1-Instruct-O1 от SambaNova. Мне понравилось демо на HuggingFace.

Всем привет, я вернулся к теме AI - недавно вышла OpenAI o1, модель, которая решает олимпиадные задачи по информатике и еще много сложных проблем, используя продвинутую стратегию инференса - Chain of Thoughts. Можно ли обучить открытую LLM такому, и если да, то с чего начать? Как раз об этом мое новое видео.
https://youtu.be/J2NEtlnHyRw

Написал статью о моделях llama 3.1 и Mistral Large 2, в которой сравнил их сильные и слабые стороны: https://vk.com/@immers.cloud-llama-31-i-mistral-large-2

Видео про llama 3.1
https://youtu.be/pkTIyx6Fqmk
Спойлер - я не особенно впечатлен качеством llama 3.1 8b, но у модели есть свои интересные стороны - например, поддержка нескольких языков.
Продолжаю эксперименты по файнтюнингу на мультиязычных данных.