Благодарю всех, кто проголосовал!

Мы готовы начинать обучение 😉

Будет и текст, и видео.

Но сперва начнём с текста.

Друзья, собираюсь делать обучение по промптингу. По ИИ-агентам.

💵 Это будет бесплатно.

Расскажу на днях больше про всё это, но сейчас вопрос к вам.

В каком формате вы лучше воспринимаете информацию? Важно — почувствуйте, как на самом деле вы лучше воспринимаете, прежде чем ответить. Мы не всегда отдаём себе в этом отчёт.

⚡️ А в благодарность вот вам мой плейлист с очень быстрой музыкой. Я её слушаю, когда нужно быстро работать и сфокусироваться (то есть каждый день). Работает лучше всякого кофе. А вместе с кофе и вообще клавиатура плавится.

https://open.spotify.com/playlist/4OfmVneFPJeYlHPcsIMSFy?si=c2838fecb4294356

Многие AI-приложения, центральная функция которых связана с LLM, убыточны

Экономика не сходится при использовании API гигантов. Если же используется собственная модель, то проблема может заключаться в дороговизне серверов.

При этом, если использовать файнтюнинг модели в OpenAI, то цена на вызов такой модели возрастает вдвое.

Да, конечно, за последний месяц сперва на Gemini 1.5, а затем и на GPT-4o + GPT-4o-mini снизились цены.
Но пока что это выглядит как демпинг, когда две компании пытаются обогнать друг друга в цене. Остальные так не могут. API российских ИИ-компаний вообще стоят в 10 раз дороже.

Только недавно как раз в интервью Эйдан Гомес (CEO Cohere) делился про почти нулевую маржинальность ИИ-бизнеса, и сильный демпинг. И что крупные поставщики API для доступа к ИИ-моделям должны делать придумать доп проекты, чтобы оставаться на плаву.

Между тем, более 40% новых единорогов в США — это стартапы, связанные с ИИ.

Что же является выходом в этой ситуации?

1️⃣ Использовать batch-режим — то есть результат на вызов API придёт в течение 24 часов. Это предлагают многие поставщики ИИ-услуг. Такой вариант хорош исключительно в тех случаях, когда ответ на запрос будет большим. Очень узкое использование.

2️⃣ Почти полностью убрать ИИ, заменив его на NLP или алгоритмы, и лишь в некоторых случаях вызывать ИИ.

3️⃣ Использовать различные оптимизаторы. Например, младшие и дешёвые модели выполняют большинство задач, а на флагманскую модель ложится самая сложная часть задачи. Либо младшие модели могут подготовить более качественный запрос для старшей модели, чтобы её вызывали реже, либо сам вызов стоил меньше токенов. Еще можно использовать LLM кэш, если вопросы плюс-минус одни и те же.

4️⃣ Использовать RAG или долгосрочную память в векторной БД, чтобы уменьшить промпт и контекст. Безусловно, использование этих инструментов также не бесплатно, но всё же может быть более выгодным, чем хранить длинный контекст или длинный промпт. Или же можно просто сделать очень короткий контекст и саммаризацию более старых сообщений.

5️⃣ Ещё один вариант — ждать и надеяться, что модель подешевеет в будущем, что её лучше сожмут без потери качества, что оптимизируют её внутреннюю работу, что уменьшат галлюцинации. Это тоже неплохо. Но в этом случае выигрывают те, у кого уже будет готовый продукт, пусть и убыточный — им останется только внедрить модель, и всё.

Кстати, для ИИ-стартапов очень важно, чтобы продакт и CEO понимали, как работает ИИ, что вся эта магия стоит денег. В идеале это должны быть бывшие ML-щики или другие разработчики, которые решили перейти в роль менеджеров, но сохранили ключевые компетенции.

#LLM #инсайты

Zen AI Startup

Не есть и не спать всю жизнь ?

Пост-логрид из #личное, нейросети тут ни при чём.

На днях в YouTube я случайно увидел это видео.

В нём рассказывается о мужчине, который после участия во Вьетнамской войне уже 18 лет не спит. Это состояние называется инсомния. Он полностью здоров, у него нет психических отклонений, но есть один нюанс — он много пьёт рисовое вино (которое сам и производит).

Сон снимает напряжение, а у него такой возможности нет, поэтому он расслабляется так, как умеет. Но очень хочет спать.

Между тем, существует определённое количество людей, которые стараются научиться не спать. Не только потому, что это увеличивает их сутки (хотя они могли бы также освоить осознанные сны), но и потому, что это якобы ускоряет метаболизм, что, в свою очередь, ведёт к быстрому изменению реальности — за счёт изменений в мышлении, организме или даже за счёт метафизических эффектов.

До начала СВО, в 2022 году, я активно интересовался такими практиками. Лично не знаком с такими людьми, но знаю с десяток публичных личностей, которые либо практикуют это прямо сейчас и учат других, либо успешно практиковали, но вышли из процесса.

В общем и целом, по их словам, главный секрет здесь в том, чтобы не доводить себя до состояния тяжёлой усталости (которую мы обычно запиваем кофеином), отдыхая каждые 1,5–2 часа хотя бы по 5 минут. Также важно расслаблять психику и растягивать тело, чтобы не было блоков. Иными словами, нужно избегать накопления прошлого напряжения и не допускать появления нового, иначе может произойти психический срыв или возникнет тяга к рисовому вину.

Другие общие особенности — медитация уменьшает потребность во сне (это правда, ментальное напряжение уходит), ухудшается память, уменьшается аппетит, но при этом увеличивается энергия.

У того же блогера было второе видео-исследование о девушке, которая не ест уже 16 лет.

В 2021–2022 годах я тоже экспериментировал с этим (ведь это кажется крутым — по крайней мере для мужчины — не зависеть от еды и сна). Но без еды я был максимум 5 дней — по сути, это и была цель, так как я планировал лечебную паузу в питании, плюс я активно теряю вес, который и так невелик в силу конституции тела.

Лично я знаю только одного человека, который раньше не ел больше года — это Дмитрий Лапшинов. Остальных знаю только виртуально.

Основная их идея — человеческое тело может практически всё, в том числе научиться генерировать воду и еду из «ничего». Главная трудность — психическая, так как психика не готова отказаться от вкусовых ощущений. У человека очень глубокая привязанность к еде. Ему просто скучно без еды (могу подтвердить: уже на первый день без пищи хочется «заесть» переживания; всё это появляется ещё с молоком матери, когда все печали мы утоляем едой).

Откуда конкретно берётся энергия — мнения расходятся, а официальная наука не проводила (или я не знаю о таких) конкретных исследований. Более-менее допустимой кажется гипотеза, что вода и микроэлементы берутся из воздуха, и из них создаётся микрофлора, которая питает организм. Другие теории включают источники энергии, такие как движение, солнце или даже эфир.

Если такое состояние реально достижимо для многих, а не является исключением, то тут нет никакой магии — просто мы пока не можем это объяснить.

Что думаете по этому поводу? Возможно, среди вас есть такие, кто прямо сейчас это практикует ?

Нейро дзен

#новостинедели

Сегодня чуть поменьше, все супер-новости были на прошлой неделе

Визуал:

— Midjourney наконец доступен на сайте всем
Больше не нужен неудобный Discord, Midjourney доступен абсолютно для каждого на сайте с удобным интерфейсом. Также вернули 25 генераций для бесплатного тарифа. Можно попробовать без подписки )

— Вышел Ideogram 2.0
По качеству примерно как Flux pro. То есть достаточно хорошо. Из полезного - теперь при создании картинки можно выбрать её цветовую палитру. 5 бесплатный генераций в сутки, так что можно попробовать

Текст
— Вышла текстовая нейросеть Hermes 3
И если задать ему "Кто вы?" + пустой системный промпт (инструкция), то у него случится амнезия и остановка внутреннего диалога.

— GPT-4o теперь можно файнтюнить (дообучать)
Раньше можно было только младшую модель — gpt-4o-mini. Если дообучить старшую модель, то её использование будет стоит в 1.5 раза дороже. Самодообучение будет стоить $25 за 1 млн токенов (~слов), но до 23 сентября в рамках этого лимита — бесплатно.

Мои главные инсайты за неделю:

1️⃣ те технологии, которые в моменте кажутся сложными, вполне могут требовать лишь преодоления ментального сопротивления. Кривая обучения в ИИ очень крутая, можно быстро разобраться в генеративных моделях и их дообучении. Сложнее — их архитектура и создание с нуля.

2️⃣ в 2023 году мне казалось, что я опоздал, когда выхожу в ИИ рынок. Сейчас, в 2024, мне кажется, что я опаздываю по своим новыми проектам. Уверен, то же самое будет и в 25, и в 26 — каждый год открываются новые возможности, которые позволяют очень быстро создать то, что требовало годы разработки ранее.

Нейро дзен