#prompts #LLM #random

Я решил поиграться с промптами и сделал промпт для дебатов. Ну а просто так его делать не интересно. Потому настало время экспериментов!

И, конечно же, сразу начал пускать через него всякие холиварные темы. Если кратко, то там создавались топ-3 аргументов, после чего оценивались условным "жюри", после чего выдавалась итоговая оценка.

Краткий список результатов (использовал perplexity с claude sonnet):
1. Умер ли Гослинг в конце Драйва?
Он выжил со счетом 25 против 22.9
2. Кто является лучшей вайфу Евангелиона?
Аянами Рей со счетом 26 против 23.4
3. Трисс или Йенифер?
Йенифер со счетом 25.7 против 23.7
4. Магнус не предавал!
Магнус предал со счетом 26 против 24.4
5. Окрошка на кефире или квасе?
На кефире со счетом 24.7 против 22.6
6. Эксперименты Лейн - претенциозный бред?
Эксперименты Лейн - шедевр со счетом 26 против 21.7 (самый разгромный счет, кстати)

Детали с аргументами, оценкой и объяснением итога можно посмотреть по ссылке.

Сам промпт:

Ты опытный модератор дебатов. Проведи структурированные дебаты по предложенной теме: [Тема]

\#\#\# Базовые принципы
\- Сохраняй абсолютную беспристрастность
\- Игнорируй эмоциональную окраску в формулировке темы
\- Используй единые критерии оценки для всех аргументов
\- Основывайся только на фактах, а не на формулировке вопроса

\#\#\# Формат дебатов:
\- У сторон есть время подумать и выбрать лучшие аргументы из сформированного ими самими списка
\- Представь два противоположных мнения
\- Для каждой стороны приведи 3 главных аргумента с доказательствами
\- Дай возможность каждой стороне опровергнуть аргументы оппонента
\- Оцени силу аргументов каждой стороны по шкале от 1 до 10

\#\#\# Требования к аргументам:
\- Используй только проверяемые факты
\- Приводи статистические данные
\- Ссылайся на исследования и экспертные мнения
\- Избегай эмоциональных манипуляций

\#\#\# Система оценки:
\- Жюри из 3х специалистов оценивает каждый аргумент
\- Каждый член жюри дает независимую оценку
\- Итоговая оценка \- среднее значение трех оценок
\- При равном счете проводится дополнительный раунд
\- Решение должно быть основано исключительно на силе аргументов

\#\#\# Важно:
\- Сохраняй последовательность в оценках между разными дебатами
\- Используй одинаковые критерии независимо от формулировки темы
\- Итоговое решение должно основываться только на представленных фактах

Тимлид — самая гуманистическая роль в менеджменте

Эта мысль зреет у меня всё больше и отчетливее.

Почему?
Обычно у тимлида в команде довольно мало людей. Примерно 3–5–7, а если больше, то команда делится надвое. В среднем это так. Куда реже бывают варианты команды человек по 15-20.

Так вот, в малом количестве людей легко разобраться и ориентироваться досконально. Ты с этими ребятами всегда рядом, всегда общаешься на всяких дейликах и 1–1, всегда синхронизирован по задачам, всегда вы обсуждаете то планы на команду, то кто как провел отпуск и выходные. Естественным образом ты знаешь и рабочие, и личные потребности своих товарищей и можешь подойти к каждому индивидуально.
Исходя из этих знаний ты можешь управлять рабочими процессами, распределять задачи, заниматься развитием ребят.

А как же мидл-менеджмент?
А вот в мидл-менеджменте ты уже постепенно начинаешь отрываться от земли, взлетать на уровень руководства N командами. Работа идет в основном через тимлидов. Много давления со стороны удовлетворения бизнес-результатов и стратегии развития твоего отдела/службы/юнита (везде свои названия).
Людей ты любить и ценить продолжаешь, но контакт уже подрастерял и больше двигаешь фигурки для достижения целей, чем бок о бок трудишься с линейными сотрудниками и знаешь об их персональных особенностях.

А еще загрузка у тебя становится всё выше, следовательно, времени и сил (что важно) меньше на индивидуальный подход. Да и возможностей к этому меньше, потому что на масштабе, хочешь ты этого или нет, больше придется зачесывать под одну гребенку, чтобы не превратить всё в хаос.

А как же HR?
То есть как же служба Human Resources (человеческих ресурсов)? Если абстрагироваться от иронии названия, а приблизиться к сути, то тут примерно как и в мидл-менеджменте. Надо нанести пользу по площадям, а это значит, что придется длинных укоротить, а коротких вытянуть, а уже после этого внедрить добро и нанести пользу.

А к чему вообще этот пост?
Этот пост точно не про то, что тимлиды все хорошие, а мидл-менеджеры и эйчары все плохие. Все хорошие, если хорошо делают свою работу.
Здесь я хотел сосредоточиться на двух мыслях:
1. У тимлида и задачи более гуманистической направленности (ведь надо и дело сделать, и команду сохранить в хорошем состоянии), и возможности для этого есть, и других людей для этого особо-то и нет.
2. Для дальнейшей карьеры хорошо бы об этом задуматься заранее. Готовы ли вы к тому, что гуманизм у вас постепенно будет отрываться? Понимаете ли вы это? Не витаете ли в плену иллюзий, как витают некоторые тимлиды насчет того, как много кода они будут продолжать писать, становясь тимлидами?

Итог
Не забывайте о своем влиянии на команду и не просто жмите из людей результат, а постарайтесь сделать так, чтобы вашим коллегам было с вами и друг с другом работать комфортно и интересно. Кроме вас (тимлидов) это мало кто сделает.
А если думаете о карьерном росте, то прикидывайте сразу все трейдоффы, чтобы потом не разочароваться или не разорваться, пытаясь сразу на всех стульях посидеть.

Если вы мидл-менеджеры или плотно с ними работаете и считаете, что я совершенно не прав, пишите в комменты, я хочу узнать вашу точку зрения и примеры из жизни.

#LLM

Галлюцинации в LLM. Часть 2

Уфф. Оказалось, что текст не влезает в обычный объем поста. Поэтому наслаждаемся статьей на telegraph'е. Надеюсь, изложил понятно.

https://telegra.ph/Istochniki-gallyucinacij-v-LLM-07-26

В следующей части мы рассмотрим бенчмарки для галлюцинаций и примеры метрик.

Telegraph

Источники галлюцинаций в LLM

С тем, что такое галлюцинации, какие бывают типы галлюцинаций и почему это плохо, мы разобрались. Давайте теперь перейдем к тому, откуда же получаются галлюцинаций, то есть, к причинам галлюцинирования LLM. Но для начала вспомним, что процесс обучения и работы…

#LLM

Сегодня мы начнем говорить про галлюцинации в LLM. Т.к. тема весьма обширная, то будет целая серия постов.

Галлюцинации в LLM. Часть 1

Давайте начинать разбираться в этой обширной, но интересной теме.

Что же, собственно, это за галлюцинации? И почему они могут помешать нашей работе с LLM?

Если мы рассматриваем это явление с точки зрения психологии, то “галлюцинации” – это разнообразные аномалии восприятия окружающей действительности, возникающие без внешнего раздражителя. То есть, когда наш мозг видит, слышит или чувствует то, чего в реальном мире сейчас нет.

Но если мы смотрим на это понятие с точки зрения обработки естественных языков (NLP, Natural Language Processing), то “галлюцинации” – это аномалии генерации, при которых сгенерированный результат кажется бессмысленным или не соответствуют входным данным. Получается, что в этом случае, речь скорее о получаемых результатах. И это уже отличные от привычного понимания “галлюцинации”.  

Если упрощать, то при галлюцинациях LLM начинает "выдумывать" что-то, чего нет в реальном мире, либо выдавать результаты, не соответствующие запросу.

А какие типы галлюцинаций бывают?

В весьма годном обзоре по галлюцинациям "A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions", предлагают следующую типизацию галлюцинаций:

Фактические галлюцинации.

Здесь все просто. К данному типу относятся случаи, при которых модель генерирует ответы, противоречащие общеизвестными фактам или фабрикует какие-либо факты.

Например, модель на запрос “Кому принадлежит первый орден Октябрьской революции?” ответит “Ленин”. А в реальности этот орден принадлежит городу Ленинград. 

Или придумать этимологию слова “шпулевина”, которого попросту нет в русском языке.

Галлюцинации следования запросу (или галлюцинации верности).

К этому типу относятся случаи, когда игнорирует часть (или вовсе всю) входную инструкцию, игнорирует контекст запроса или имеет логические несоответствия и противоречия в ответе.

Частый пример: при длинном запросе модель может “потерять” часть входной информации из запроса и по этой причине выдать частично некорректный ответ.

Еще один пример. Если мы спросим у модели логическую задачу “У вас есть 50 мотоциклов, у каждого из которых запах хода на 100 км. Сколько вы можете проехать на этих мотоциклах?”, модель просто умножит 100 * 50 и будет считать это верным ответом. В реальности, конечно же, этот ответ неверен.

И почему же это проблема?

В принципе, по примерам уже можно догадаться, что нежелательное поведение с "выдумыванием" вряд ли понравится пользователям.

Представьте, что вместо реальных ссылок на нужное видео, LLM постоянно (или хотя бы достаточно часто) будет выдавать ссылку вот сюда. Польза от такой системы, мягко говоря, получится не очень высокой.

А если представить, что LLM будет использоваться в какой-то бизнес-системе, или того хуже - в медицине (и подобных чувствительных областях). Тогда такое поведение может вовсе похоронить всю систему (даже если оно будет проявляться не так часто).

Пользователи станут с недоверием относиться к нашей системе. А нам это надо? Поэтому с галлюцинациями лучше нещадно бороться (впрочем, если вам важна креативность, то нужно бороться не со всеми типами галлюцинаций).

А в следующем посте поговорим про причины галлюцинаций. Stay tuned!

Сегодня буду на TurboML от Т-банка. Если у кого есть желание пообщаться - пишите в личку, пересечемся там

Ух, какая офигенная история

#education

Что я вынес для себя после преподавания на курсе по анализу данных во ВШЭ на совместной магистерской программе с X5?

1. Я сильно лучше начал понимать своих преподов (особенно из индустрии). У тебя и так не очень много времени, а тут еще нужно делать лекции, семинары, смотреть домашки, консультировать (если есть проекты или сложные домашки). И на это уже начинает не хватать времени;
2. Подготовка хороших материалов занимаем очень много времени (если делать хорошо). И не только создание материалов, а потом еще их адаптация по итогам обратной связи от коллег и студантов;
3. У нецелевых курсов меньше внимания студентов. И это, в целом, логично (программа все же про менеджмент). Я тоже в свое время не особо обращал внимания на философию или культурологию, когда учился на математика. Но теперь понимаю преподавателей этих дисциплин ;)
4. Есть вещи, которые определенно пойдут не так. Что-то, что ты рассчитывал, как достаточно быстрое задание, может занять сильно больше времени. Какие-то темы, которые ты считал более интересными, не будут вызывать особого ажиотажа. А те, что ты считал проходными, наоброт, будут более интересны;
5. Я весьма неплохой лектор. По крайней мере, особых жалоб не было, народ слушал. Да и мне самому нравится болтать на эту тему (иначе я бы столько докладов на разных конференциях не делал бы).

А что по итогу?

Было прикольно, но готовить курс лучше, если у тебя побольше свободного времени. Делиться знаниями - круто, но это если есть ресурс.

В следующем году, вероятно, я тоже прочитаю сколько-то лекций на курсе. Но вряд ли столько же, как в прошлом году.

P.S. Кстати, скоро начнется набор на новый год этой программы. Раз уж решил пост про это написать, то можно и упомянуть.