*?* Открытые решения в сфере ML/Data в России

Исследовательский центр ИТМО** провел анализ использования Open Source в области машинного обучения и работы с данными в России. Результаты показали, что отечественные компании активно развивают и применяют открытые технологии, ориентируясь как на внутренний, так и на международный рынок.

Исследование также отмечает, что идея о том, что участие в опенсорс-разработках помогает конкурентам, постепенно теряет свою актуальность. Всё больше компаний нацелены на развитие всей отрасли.

Лидером среди российских разработчиков открытого ПО стали Яндекс, Сбер и Т-банк. У Яндекса насчитали 120 открытых решений, среди которых выделяются: CatBoost — библиотека для градиентного бустинга, YTsaurus — платформа для работы с большими данными и YDB — распределённая SQL база данных. Вне основного рейтинга был отмечен проект ClickHouse.

▪️ Источник: https://opensource.itmo.ru

@neural

Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас ⚡️

Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «Digital и IT» ?️

https://t.me/addlist/Oa_vsjsHLx4zZjky

Добавиться в подборку

? OpenVLA: Open-Source Vision-Language-Action модели.

OpenVLA - набор моделей с 7млрд. параметров, которые предназначены для универсального управления роботами.

OpenVLA состоит из комбинации визуальных энкодеров SigLIP, DinoV2 и языковой модели Llama 2, выступающей в качестве основы. Обучение производилось на наборе данных Open-X, который состоит из 970 тыс. траекторий манипуляций в различных средах.

Модели принимают на вход языковую инструкцию и изображение рабочей области с камеры робота. Затем, OpenVLA предсказывает нормализированные действия робота, состоящие из 7-DoF дельт конечных эффекторов в виде координатных положений (x, y, z, roll, pitch, yaw, gripper).

Для выполнения на реальной роботизированной платформе действия должны быть де-нормализованы с учетом статистики, вычисляемой для каждого робота и каждого набора данных.

OpenVLA готовы к использованию для управления роботами в комбинациях действий и обстановках, если они схожи с действиями и задачами, которые присутствуют в Open-X (например, для сред BridgeV2 с роботом Widow-X).

Модели не умеют самообучаться на условиях, не представленных в предварительном обучении; для решения таких случаев разработчики подготовили подробные инструкции по самостоятельному дообучению на вашем наборе демонстраций.

Семейство OpenVLA состоит из 5 модификаций базовой OpenVLA-7B:

?openvla-7b-prismatic - адаптация для использования с Prismatic VLMs project codebase;

?openvla-7b-finetuned-libero-spatial - - файнтюн с помощью LoRA на датасете LIBERO-Spatial бенчмарка LIBERO;

?openvla-7b-finetuned-libero-object - файнтюн с помощью LoRA на датасете LIBERO-Object;

?openvla/openvla-7b-finetuned-libero-10 - файнтюн с помощью LoRA на датасете LIBERO-10 (Long).

▶️Установка :

```
# Create venv
conda create -n openvla python=3.10 -y
conda activate openvla

# Install PyTorch
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y

# Clone and install the openvla repo
git clone https://github.com/openvla/openvla.git
cd openvla
pip install -e .

# for training only
# Install Flash Attention 2
pip install packaging ninja
ninja --version; echo $? # --> should return code "0"
pip install "flash-attn==2.5.5" --no-build-isolation
```

?Лицензирование : MIT License.

?Страница проекта
?Arxiv
?Набор моделей
?Github

@ai_machinelearning_big_data

#AI #ML #OpetVLA #Robotics

⚡️ Gemma 2 9B GGUF — набор квантизованных версий Gemma 2

Встречайте набор моделей, полученных квантизацией Gemma 2 с разной степенью сжатия.
Для квантизации использовался этот датасет

Особенности:
- GGuf версии очень слабы, более-менее адекватная - 9B (Q4 и Q5)- Фокус "специализации": текст (стилистика, словарный запас, обсуждения), применимо только к English-language content, программирование - обучение синтаксису и паттернам написания кода ( прокачка скиллов модели по ЯП не уточняются), математика - решение задач, логика постоения ответов.
- Модель не поддерживает системные промты

? Hugging Face
? Неквантизованная Gemma 2

@ai_machinelearning_big_data

? ESM3 - это новая, мощнейшая мультимодальная генеративная языковая модель для биологии.

ESM3 может cмоделировать 500 миллионов лет эволюции для генерации новых белков и молекул.

Модель обучена с использованием более 1x1024 FLOPS и 98B параметров!

Используя модель авторы смоделировали эволюционный процесс и создали новый тип белка GFP (зеленый флуоресцентный белок), отличающийся от всего, что встречается в природе. Это буквально модель для программирования биологии.

▪Почитать подробнее: https://www.evolutionaryscale.ai/blog/esm3-release
▪Статья: https://evolutionaryscale-public.s3.us-east-2.amazonaws.com/research/esm3.pdf

@ai_machinelearning_big_data

⚡️ Maestro — это инструмент искусственного интеллекта, который использует возможности передовых нейронных сетей для выполнения ваших задач.

https://www.youtube.com/shorts/rHAKj_erZzA

▪ Github: https://github.com/Doriandarko/maestro

@neural

YouTube

Мощнейшие LLM модели в одном скрипте Python, напишут тебе крутейший код! #python #shorts

***🖥*** Maestro — это инструмент искусственного интеллекта, который использует возможности передовых нейронных сетей для выполнения ваших задач.Этот Python-скрипт...

Аналитики и все, кто интересуется аналитикой!

В телеграме появился канал Datalytics, где раскрываются самые актуальные и важные темы в мире аналитики.

Вот лишь некоторые из них:

? Аналитик и продуктовое мышление: как усилить свою карьеру через развитие продуктового мышления. Узнайте, как аналитик может стать ценным партнером бизнеса и создать win-win ситуацию для всех.

? Opportunity sizing: мощный инструмент в арсенале аналитика. Научитесь приоритизировать усилия, проверять гипотезы, общаться с бизнесом на языке импакта и влиять на продуктовый roadmap.

?‍♂️ Долгосрочные личные цели в профессиональном развитии: как их выставлять и следовать им даже, если меняешь работы как перчатки?

Datalytics — это место, где делятся инсайтами, лайфхаками и реальными кейсами из практики аналитиков. Вы получите ценные знания и навыки, которые помогут вам расти профессионально и создавать еще больше ценности для своих компаний, а следовательно расти в зарплате и зоне ответственности.

Подписывайтесь на Datalytics, чтобы прокачать свои аналитические скиллы и стать аналитиком, которого хотят все продакты и бизнесы: @datalytx

Присоединяйтесь к нашему сообществу аналитиков прямо сейчас! ?

*? Огромная коллекция стилей Midjourney.*

Midlibrary собрали более 5300 стилей художников, архитекторов, дизайнеров, иллюстраторов и фотографов.

Самое интересное — можно увидеть, как разные версии Midjourney справляются с генерацией каждого стиля, что очень удобно.

https://midlibrary.io/styles

@neural

Больше не нужно искать тематические каналы и по отдельности на них подписываться — мы сделали это за вас ?

Вам остается только перейти по ссылке, сохранить папку себе и регулярно получать полезные ресурсы и знания из сферы «Продакт, ИИ»

https://t.me/addlist/pr7M9cPgdo0zOGE6

Хочешь в подборку?

Telegram

Продакт/ИИ

Кира ***😉*** invites you to add the folder “Продакт/ИИ”, which includes 12 chats.

*? Полезная библиотека, которая позволит сократить время обучения языковых моделей до 25%.*

YaFSDP — это яндексовая версия подхода FSDP (от англ. Fully Sharded Data Parallel — параллелизм с полным разбиением данных. Один из методов ускорения обучения нейросетей). Компания выложила в открытый доступ библиотеку, которая значительно (до 25%) ускоряет обучение больших языковых моделей с открытым исходным кодом, а также сокращает потребление ресурсов графических процессоров до 20%.

О том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают, рассказали на Habr.

? Статья

@neural