Рейтинг LLM в роулплее на русском

Вы не просили, я - сделал. Рейтинг оценивает два фактора: качество русского языка + логика в роулплее на русском.

Победители среди малых моделей:
Лучшая грамотность: vikhr-7b-instruct-0.2 (грамотная, но глупенькая)
Лучшая логика: Starling-LM-7B-beta (возможно, просто повезло)
Лучшая сбалансированность: vikhr-7b-instruct-0.4 (язык + логика)

Подробнее на гитхабе, там же полный xls файл.
https://github.com/Mozer/russian-llm-top

talk-llama-fast v0.1.6

Баг фикс:
в двух предыдущих версиях 0.1.4-0.1.5 стартовый промпт практически не записывался в контекст. Лама вообще ничего не помнила из старта (кроме первых 64 токенов). Пофиксил.

https://github.com/Mozer/talk-llama-fast/releases/tag/0.1.6

GitHub

Release 0.1.6 · Mozer/talk-llama-fast

-bug fix with start prompt: start prompt was not written correctly into context when running with default --batch-size 64 parameter or without it. Llama couldn't remember anything from the star...

Там llama-3 наконец-то починили! В llama.cpp была ошибка в обработке токенизатора, из-за этого на языках, отличных от английского, были проблемы с ошибками и интеллектом. Проблем не было только в неквантованных весах и в загрузчике exllama. Чтобы все заработало, рекомендуют переквантовать/перекачать новые gguf llama-3 и всех файнтюнов, которые вышли на ее основе. Но так же есть вариант с добавлением параметра \-\-override\-kv tokenizer.ggml.pre=str:llama3 в llama.cpp (для main.exe или server.exe)

Я протестировал именно его, без переквантования gguf. По моим замерам количество речевых ошибок на русском действительно уменьшилось, процентов на 20-30. На скрине - количество хороших и плохих ответов на один и тот же развернутый вопрос в роулплей диалоге на русском. В talk-llama-fast пока нет поддержки, когда-нибудь добавлю.

Koboldcpp тоже обновился: авторы рекомендуют переквантовать/перекачать gguf модели. Но у меня и со старыми моделями новый кобольд "3333+777?" считает нормально (старый не умел).

Слух: openAI выкатили и тестируют новую GPT-4.5 на chat bot arena под названием "gpt-2 chatbot". Слух косвенно подтвердил сам Сэм Альтман.

По отзывам пользователей:
- улучшили логику
- улучшили математику
- улучшили ответы на других языках

Стихи писать не умеет на русском. Надо потом нормально затестить, но там часовой лимит закончился.

https://chat.lmsys.org/

На Ютубе наткнулся - фейковый Джейсон Стейтем снимает шортсы и тик-токи. Аккаунту уже 2 года и 164 тыс подписчиков. А что так можно было? 🤯🤯

https://youtube.com/shorts/kMsrystSEDQ?si=oTqRG9xrIxZD84cx

YouTube

Where does Jason Statham spend his money?

Where does Jason Statham spend his money? #statham #wife #money Subscribe to our accounts:KEANU REEVES https://www.youtube.com/@unreal\_keanuROBERT DOWNEY J...