Рубрика - управление железом.

Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.

И тут прям флэшбэк:

В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.

Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)

Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.

Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.

Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.

#RAMdrive #devops
———
#tsingular

В марте 24-го люди, вестимо, думали, что это шутка. А походу нет...

Официальный советы по промпт-инженерингу o1:

Держите промпты простыми и прямолинейными: модель o1 превосходно понимает и отвечает на краткие, четкие инструкции без необходимости в обширных объяснениях

Избегайте промптов с цепочкой рассуждений (речь про Chain Of thoughts и «думай шаг за шагом»):
так как модель выполняет логические выводы внутри себя, не нужно побуждать ее «думать шаг за шагом» или «объяснять своё рассуждение вслух»

Используйте разделители для ясности: используйте разделители, такие как тройные кавычки `````, XML-теги или заголовки разделов, чтобы четко обозначить разные части ввода, помогая модели правильно интерпретировать различные секции

Ограничьте дополнительный контекст при генерации с RAG:
при предоставлении дополнительного контекста или документов включайте только самую релевантную информацию, чтобы предотвратить усложнение ответа моделью

Это интересно, то есть промпт-инженеринг в такой модели уже совсем не нужен, кроме систематизации данных – жду не дождусь доступа

Видимо, в gpt5 уже и промпты не нужны будут, да?