?TensorRT-LLM?Ваш любимый нейронный ускоритель получил расширение!

TensorRT - движок, который применяет оптимизации для эффективного использования NVIDIA-GPU в Deep Learning.

Что интересного?

?Интеграция с NVIDIA Triton Inference Server
?Поддержка Multiple GPU
?Python API (очень напоминает API HF)
?Есть поддержка 17 моделей (с примерами): Blib2, LLaMa 1/2, GPT-like, StarCoder, Bert, etc
?Поддержка квантизации: FP32, FP16, BF16, FP8, INT8, INT4
?Beam-search & Greedy-search
... и многое другое!

Multi-head Attention (MHA), Multi-query Attention (MQA), Group-query Attention (GQA), In-flight Batching, Paged KV Cache for the Attention, Tensor Parallelism, Pipeline Parallelism, INT4/INT8 Weight-Only Quantization (W4A16 & W8A16), SmoothQuant, GPTQ, AWQ, RoPE

@gradientdip

Конечно, сейчас проект сыроват, но все впереди

GithubPerformance (не нашел сравнения с обычным TensorRT)
Документация

Всем привет, мы строили строили и наконец построили!

Первая супер-библиотека по spelling corruption SAGE.

Работа была не простой, вместе с ребятами из команды AGI NLP- мои герои снова:
@alenusch, @qwertysobaka, @go_bobert.
мы сделали оч крутой инструмент. Он позволяет атаковать тексты при помощи добавления опечаток, перестановок и пр., а также делать обратное - фиксить их.

Интересно?
Го читать на хабр!

https://habr.com/ru/companies/sberdevices/articles/763932/

Наша библиотека SAGE:
https://github.com/ai-forever/sage

AI-service в Клауде:
https://cloud.ru/ru/datahub/generative-spell-checking

Telegram

Dealer.AI

Друзья, сегодня проходит второй день Конференции Диалог2023. Мы рады сообщить, что наша работа по атакам на текст вошла в Сборник статей, тема: Augmentation methods for spelling corruptions. Авторы мои коллеги, товарищи и подписчики:@alenusch, @qwertysobaka…

⚡️Началось открытое голосование за номинантов премии HighLoad++. Среди прочих достойных номинантов представлена и модель Kandinsky!

Верю, что команда заслуженно сможет получить эту награду?

Спасибо всем за фидбэки, участие в развитии модели и её применении, ценные советы? Все ваши комментарии не остаются не учтёнными, мы всё внимательно собираем и постепенно стараемся исправлять.

Голосовать