https://ailist.ru/free/

AIList.ru

Бесплатные нейросети и AI инструменты из России | AIList.ru

Бесплатные нейросети и AI инструменты из России. Подборки бесплатных сервисов для работы, учебы и творчества

? Eagle-X5: Обновление семейства MMLM от NVIDIA Research Projects.

Eagle - это семейство MLLM высокого разрешения, построенное на LLaVA. В обновленном до версии X5 наборе представлено 3 модели:

?Eagle-X5-7B

?Eagle-X5-13B

?Eagle-X5-13B-Chat

Архитектура Eagle-X5:

?LLM: Eagle-X5 использует Vicuna-v1.5-7B и Vicuna-v1.5-13B для создания текстовых ответов и рассуждений о визуальном вводе;

?Vision Encoders: в моделях Eagle-X5 пять энкодеров, предварительно натренированы на различных задачах и разрешениях - CLIP, ConvNeXt, Pix2Struct, EVA-02 и SAM (Segment Anything);

?Fusion Module: визуальные признаки, полученные от каждого энкодера, объединяются с помощью поканальной конкатенации;

?Projection Layer: используется для проецирования обработанных визуальных признаков в пространство встраивания LLM.

Обучение модели Eagle-X5 проходит в три этапа:

?каждый vision encoder индивидуально настраивается с замороженной LLM методом next-token-prediction supervision. Этот этап приводит визуальные представления в соответствие с языковым пространством и устраняет искажения;

?проекционный слой тренируется парами изображение-текст для дальнейшего выравнивания визуального и языкового пространства;

?SFT-этап, на котором вся модель точно настраивается на основе мультимодальных наборов данных: пары изображение-текст, VQA и мультимодальных диалоговых наборах.

Eagle показывает высокие результаты в мультимодальных бенчмарках LLM, особенно в задачах, чувствительных к разрешению - OCR и понимание документов.

Установка и запуск с GradioUI:

`# Clone repository
git clone https://github.com/NVlabs/EAGLE.git
cd Eagle

# Create venv and install requirements
conda create -n eagle python=3.10 -y
conda activate eagle
pip install --upgrade pip # enable PEP 660 support
pip install requirements

# Run Gradio
python gradio_demo.py --model-path ${MODEL_CKPT} --conv-mode vicuna_v1`
?Лицензирование моделей:  CC-BY-NC-SA-4.0 License.

?Набор моделей
?Arxiv
?Demo
?Github [ Stars: 56 | Issues: 1 | Forks: 3]

Microsoft обновили лучший курс для новичков в ИИ — его настолько круто прокачали, что теперь это версия 2.0.

Больше никакого скучного текста — каждый шаг снабдили видеоуроками, практикой и дополнительными материалами. Лучшие спецы Microsoft проведут вас за ручку от настройки Python до создания своей первой нейросети.

Уже лежит на GitHub абсолютно бесплатно.

@exploitex

Короче... я тут пальцы веером, нашла-нашла на английском! А давно и на русском есть https://t.me/skladitshki/1034

Telegram

Склад айтишки

Книга "Глубокое обучение с fastai и PyTorch: минимум формул, минимум кода, максимум эффективности"