Dealer.AI

Description
Жоский ИИ дядя.
Твой личный поставщик AI ???

Канал о мире интересного AI: DL, NLP/NLU,
RL, Retrieval, RecSys.
Advertising
We recommend to visit

Официальный новостной канал криптобиржи OKX | www.okx.com на русском языке.

💬 Комьюнити: t.me/okx_russian

👨‍💻 Поддержка: [email protected]

АДМИН: @DaniiOKX
Маркетинг: @CoffeeTrends

Last updated 2 weeks, 1 day ago

Here in simple language about TON and crypto

Founder: @metasalience
contact : @deftalk_bot

Last updated 3 months, 2 weeks ago

Канал о TON и все что с ним связано:
1. Аналитика
2. Инсайды
3. Авторское мнение

Ведро для спама: @ton_telegrambot

Бот с курсами криптовалют: @TonometerBot

Чат: @chaTON_ru

Админ: @filimono

Last updated 2 weeks, 3 days ago

1 year, 5 months ago

Мы строили, строили и наконец построили.

*? ruGPT-3.5. Открытая русскоязычная LLM от СбераДрузья, мы выложили в open source* нашу языковую модель (pretrain), на основе которой обучали GigaChat!

? Претрейн довольно большой — 13B (13 миллиардов параметров). Модель видела много разнообразного текста (книги, статьи, чаты и т.д.), в основном на русском языке, а также на английском (около10%). Дополнительно дообучали на коде.

? ruGPT-3.5 13B можно дообучать на инструктивных датасетах и получать свои версии ChatGPT, которые бы хорошо понимали русский язык.

? Решили выложить с открытой лицензией (MIT), так что каких-либо ограничений в этом плане в отличии от LLaMA нет.

Написали небольшой пост про это, прошу поддержать, кому интересно.

? Хабр | Hugging Face

Хабр

Сбер открывает доступ к нейросетевой модели ruGPT-3.5

Друзья, свершилось. Сегодня мы рады сообщить вам о релизе в открытый доступ нейросетевой модели, которая лежит в основе сервиса GigaChat. Про то, что такое GigaChat и как мы его обучаем, вы можете...

**Мы строили, строили и наконец построили.**
1 year, 5 months ago
И шутеечки вдогонку

И шутеечки вдогонку

1 year, 5 months ago

Heroes of NLP and Magic... Или объявлена неделя NLP соревнований...

Теперь придётся дублировать себя почкованием и тп, что успеть в две соревки...

CommonLit Challenge уже был когда-то на просторах kaggle, нужно оценивать работы студентов по некоторой шкале оценок, выделяя детали, идею и беглость языка.

Оценка естественно раз по баллам, то и метрика MCRMSE (среднее корней MSE по шкалам) уже предвкушаю биас на редкие оценки)

Обязательно советую посмотреть лучшие решения прошлого соревнования:

-сперва конечно мастера необычных и простых решений https://youtu.be/nof28KMutAk,
-потом уже более привычный космолет https://www.kaggle.com/competitions/commonlitreadabilityprize/discussion/258554

Удачи!

Kaggle

CommonLit - Evaluate Student Summaries

Automatically assess summaries written by students in grades 3-12

**Heroes of NLP and Magic... Или объявлена неделя NLP соревнований...**
1 year, 5 months ago

Помоги LLM выбрать лучшие ответы.

На kaggle завезли соревку по задаче реранкинга генераций GPT-3.5. Нужно из топ-5 генераций выбрать топ-3 лучших в ранжированном виде. Метрика MAP@3, что логично. Домен "сложный научный". В обучении 200 пар)

В общем расчехляйте свои пайпы по созданию reward моделек. И вперёд за медальками.

Kaggle

Kaggle - LLM Science Exam

Use LLMs to answer difficult science questions

**Помоги LLM выбрать лучшие ответы.**
1 year, 5 months ago

Эх мечты... Мечты..

1 year, 5 months ago

Неплохая демонстрация простыми словами, что происходит в потрошках трансформера. Да ещё и с гифоном.

https://prvnsmpth.github.io/animated-transformer/

prvnsmpth.github.io

The Animated Transformer

An intuitive explanation of the Transformer model architecture.

Неплохая демонстрация простыми словами, что происходит в потрошках трансформера. Да ещё и с гифоном.
1 year, 5 months ago

Машинное отучение.

Нет, автор не ошибся. Да он в своём уме, если че это всё Google - они анонсировали на платформе kaggle новое соревнование.  Оно станет частью соревновательного трека NeurIPS2023.

Вообще интересная идея. На мой взгляд, машинное отучение может стать прекрасным дополнением для выравнивания обучения (alignment).
Есть мнение, что RL PPO нужен в тч для указания что НЕ надо делать модели при генерации, помимо, того чтобы отранжировать лучшие. Кто-то из моих коллег по цеху даже считает это первостепенной задачей.

Так вот. Результаты соревнования: новые методы и эвристики - уверен помогут на этапе SFT модели выполнить роль регулирования забываемости. Ведь помимо того, что нужно не забыть после pretrain ( см. катострофическое забывание), нам нужно и исключить влияние тех плохих источников данных, что мы упустили в сет обучения.

В общем участвуем и/или ждём обзоров решения победителей к концу года.

Подробнее тут:
https://ai.googleblog.com/2023/06/announcing-first-machine-unlearning.html?m=1

И тут: https://unlearning-challenge.github.io/

Googleblog

Announcing the first Machine Unlearning Challenge

**Машинное отучение**.
1 year, 5 months ago

Steam (не)против нейросетей.

Что мы любим делать в свободное от работы время, а лучше в выходные? Конечно зайти в любимую игру и пройти очередной уровень или затащить катку.

Причём тут на канале про ML игры?- спросите вы. Ответ прост - нейросети уже давно влились в gamedev, а с появлением генеративных сеток возможности разработчиков возросли. Это касается не только оптимизации алгоритмов и поведения ИИ персонажей, но и контента, дизайна и др.

Но не всё в последнее время так гладко. И вот уже Valve отказывает разработчикам в выпуске игр на своей платформе, если при её создании использовались нейросети.
В чем соль? Да в том же, что и рассказывал ранее, тк нейросети для обучения используют данные из различных источников,то компания Valve запросила подтверждения отсутствия нарушения авторских прав в разрезе этих данных. Поэтому выход игры не может быть одобрен до предоставления доказательств.

Самое интересное, что и после удаления билдов, созданных нейросетями и обновлению их на ручные, Valve также отказала в выпуске.

При этом, например, уже в Steam есть несколько игр с прямым указанием, что при создании использовался ИИ. Даже авторы, ожидаемого ремейка 2023г, System shock не скрывают этого и будут далее юзать генеративки для создания игр (а именно MidJourney).

Вот так регулирование AI просачивается и в мой любимый мир игр.. (

Reddit

From the aigamedev community on Reddit: Valve is not willing to publish games with AI generated content anymore

Explore this post and more from the aigamedev community

**Steam (не)против нейросетей**.
We recommend to visit

Официальный новостной канал криптобиржи OKX | www.okx.com на русском языке.

💬 Комьюнити: t.me/okx_russian

👨‍💻 Поддержка: [email protected]

АДМИН: @DaniiOKX
Маркетинг: @CoffeeTrends

Last updated 2 weeks, 1 day ago

Here in simple language about TON and crypto

Founder: @metasalience
contact : @deftalk_bot

Last updated 3 months, 2 weeks ago

Канал о TON и все что с ним связано:
1. Аналитика
2. Инсайды
3. Авторское мнение

Ведро для спама: @ton_telegrambot

Бот с курсами криптовалют: @TonometerBot

Чат: @chaTON_ru

Админ: @filimono

Last updated 2 weeks, 3 days ago