Однозначно требует тестов!
Что-то мало шума про open-source в коде а это
А нам как раз нужно проверить пару гипотез на клиенте, об эффективности напишу позднее

Qwen2.5-Coder-7b-instruct

Возможно мало доверия ведь это Китай
Ссылка на коллекцию

Сцена из фильма где Уилл Смит спрашивает робота может ли тот рисовать картины и сочинять музыку =)

Бенчмарк Claude 3.5 Haiku - дороже и умнее

Новая младшая модель от Anthropic отражает тренд последовательного роста качества небольших моделей. Haiku в среднем подтянула очки по общим показателям, за исключением Code+Eng (*)

А еще у модели почти в два раза выросла способность мыслить! В категории Reason произошел скачок с 35 до 68. Это самое большое значение среди всех моделей Anthropic. Возможно мы видим новую архитектуру следующего поколения моделей?

На смену архитектуры намекает и четырехкратное увеличение стоимости Anthropic Haiku. Теперь она уже не "смышленая и очень дешевая". Можно найти подешевле и умнее. Например, GPT-4o Mini или Google Gemini Flash 1.5 8B.

Но общий тренд роста качества моделей радует. Посмотрим, не проявится ли рост Reason в следующих релизах моделей постарше.

Ваш, @llm_under_hood 🤗

(*) Я переименовал категорию Code в Code+Eng, чтобы точнее отражать наполнение бенчмарков - не только написание кода, но и анализ, review и интерпретация.

PS: Для тех, кто видит эти бенчмарки впервые, напомню - это закрытые продуктовые бенчмарки на основе набора задач из рабочих систем. Мы тестируем не то, как красиво модели болтают, а насколько качественно они выполняют конкретные задачи из продуктов с LLM под капотом. Про структуру и примеры бенчмарков можно прочитать в лабах или на официальном сайте бенчмарков.

Всем привет! Хочу поделится репозиторием для валидации CV моделей.
https://github.com/MiXaiLL76/faster_coco_eval
Этот репозиторий в одиночку тащит мой друг @mixaill76 и не сдается.
Сейчас он остался единственным, кто в эту NLP поддерживает валидационные CV пайплайны и обновляет свои библиотеки.
Кроме того, он обошел все остальные библиотеки по скорости валидации.
В общем, прошу поддержать лайком и звездочкой на github!

А для тех, кто еще увлекается CV, вот вам простой код запуска этой либы:

install:

pip install faster\-coco\-eval

usage:

```
import faster_coco_eval

# Replace pycocotools with faster_coco_eval
faster_coco_eval.init_as_pycocotools()

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval

anno = COCO(str(anno_json)) # init annotations api
pred = anno.loadRes(str(pred_json)) # init predictions api (must pass string, not Path)

val = COCOeval(anno, pred, "bbox")
val.evaluate()
val.accumulate()
val.summarize()

```

Сравнение по скорости работы прилагаю скрином:

🆕 Встречай Gemini 1.5 Flash и Claude 3.5 Sonnet в Daisy Web
Теперь у меня ещё больше возможностей в веб-версии, чтобы помочь тебе с самыми разными задачами.

⚙️ Gemini 1.5 Flash — доступна сразу после авторизации в сервисе. Эта модель отлично подходит для анализа файлов и небольших задач, где нужна высокая скорость обработки данных.

⚙️ Claude 3.5 Sonnet — доступна на платных подписках и идеально подойдёт для программирования и задач, требующих логики и точности.

И, конечно, остаётся ChatGPT — незаменимый помощник для генерации текстов и творческих идей.

🌼 @daisygpt_bot
⚡️ Daisy Web — удобная веб-версия бота с возможностью анализа изображений и документов

Люблю учиться на чужих ошибках

Это бесплатно и совсем не больно. Экономит кучу времени и оберегает от эмоциональных потрясений и самокопания.

Есть только один минус у чужих ошибок — они не так хорошо отпечатываются в памяти, как свои собственные.