CodeChat в GigaCode ???

CodeChat поможет оптимизировать или отрефакторить имеющийся код, сгенерировать тесты или документацию, а также объяснить или написать код под конкретную задачу. Задавайте вопросы как по всему открытому файлу, так и по определенному фрагменту кода — просто выделите его в редакторе и сформулируйте запрос к CodeChat.
CodeChat умеет отвечать на вопросы не только про код.

Просто обновите плагин в вашей IDE. Если еще не пробовали GigaCode то направляем вас сюда https://gigacode.ru

Чуть позже расскажем про метрики нашей CodeChat модели.

Бесплатный Copilot

Ловите небольшой подгон. Потому что, кто не знал, есть такой инструмент как GigaCode

И он позволяет встроить бесплатный ассистент по коду. В целом - удобно

Надо более расширенный материал или гайд как лучше пользоваться им?

?‍? - да давай
?‍? - и на этом спасибо, сами разберемся

Вот про наше детище рассказывает популярный блогер. Приятно. Спасибо!?

⚡️ruMT-Bench: генеративный подход к оценке alignment для LLM на русском языке

Несколько месяцев назад мы реализовали генеративный подход к оценке чат версий моделей основанный на MT-Bench. Выкладываем также бенчмарк в открытый доступ. Несмотря на то, что MT-Bench адаптированный под русский язык уже выкладывали , мы делимся своей версией с тщательным переводом асессорами на русский язык, и демонстрируем возможности подхода для моделей доступных на русском языке.

ruMT-Bench содержит инструктивные multi-turn вопросы, разбитые по 8 различным областям знаний. GPT-4 оценивает ответы моделей по шкале от 1 до 10. Окончательная оценка определяется средним значением по всем репликам. Для некоторых сложных задач, требующих точного ответа (например, математика и код), в промт судьи (GPT-4) включается эталонный ответ, который помогает оценить ответы от модели. Замеры на корреляцию с оценками асессоров на lm-sys чат-бот арене показали [ссылка1,ссылка2], из которого следует вывод, что MT-Bench сильнее других бенчмарков на английском языке коррелирует с оценками людей.

GitHub | ?Huggingface

? GigaSearch теперь в Telegram- и ВК-ботах

GigaChat отвечает за свои слова — на вопросы об исторических событиях и личностях сервис предоставляет информацию со ссылками на источники. Перейти по ним и прочитать подробнее можно прямо из ответа. Функция работает благодаря системе генерации на основе качественной поисковой выдачи GigaSearch.

? Ищите ответы в Telegram, ВК или веб-версиях GigaChat!

Компания Recursal AI выпустила промежуточный отчёт об обучении EagleX (RWKV-v5) модели, в котором она обошла LLaMA 2 7b на некоторых бенчмарках.

Модель продолжают учить, но уже сейчас по мультиязычной перплексии модель обходит почти все остальные модели, и имеет очень хороший скор на winogrande и wnli. Это значит, что модель скорее всего будет неплохо работать на мультиязычном RAG. В glue у модели тоже подозрительно высокий счёт, авторы пишут, что проверили датасет на контаминированность и ничего не нашли.

Из забавного: авторы забыли добавить датасет с математикой в обучающую выборку, так что скоры там очень плохие. Добавили обратно, так что к выходу модели с ней станет получше.
Обещают к апрелю закончить обучение, прогнав через неё 2Т токенов и выпустить под пермиссивной лицензией Apache 2.0. В июле в планах обучить MoE модель, которая будет по качеству как GPT 3.5.

Как здорово, что кто-то развивает архитектуры, отличные от трансформеров!

? Пост с анонсом
? Huggingface