Моя самая большая карьерная ошибка в жизни
Шёл 2016-й, и я заканчивал первый курс своей шараги. Прошло полгода, как я плотно подсел на ML - проходил курсы на курсере, читал новомодную тогда Deep Learning Book. Благодаря призовому месту на хакатоне меня позвали в ODS - прогрессивное ML-сообщество в слаке, в котором можно было ставить реакции на сообщения.

Как-то раз я написал сообщение в чат о том, что ищу ML-стажировку и готов работать за еду. Меня позвали на месячную парт-тайм стажировку в Game Insight. Я с радостью пошёл, поскольку разработка игр была вторым вариантом моей жизненной стратегии. В качестве подготовки к работе мне было задано играть в одну из игр. В общем, красота!

Нужно понимать, что в те времена я был совсем другим человеком. Я считал единственно важной частью ML обучение моделек, а всё остальное - помехами на пути к моделированию. Хорошим программистом не был и поэтому мысли о внедрении старательно изгонял из головы. Меня интересовало великое - недавно прошедший матч AlphaGo и Ли Седоля и изобретение AGI.

Моей задачей на стажировке была разработка модели, которая предсказывает по поведению пользователя то, будет ли он донатить в игру. Жестокая реальность сломала все ожидания. Нужно было писать SQL-запросы к куче таблиц с данными о пользователях, и они, мягко говоря, оставляли желать лучшего. Я уж не помню деталей, но там было всё - аномальные пользователи, невозможные данные, поломанные таймстэмпы и т.д.

В конце концов после почти месяца ковыряний я получил как-то работающую модель. Мне показали jupyter-файл коллеги, в которой он решал ту же самую задачу, и в нём было 17 этапов очистки данных. Всё это произвело на меня ужасное впечатление. На тот момент в моей голове идеи и математика в ML первичны, а копание в сломанных реальных данных это что-то близкое к фриганству.

К сожалению, у меня не было наставника, и я остался со своей психологической травмой один на один. Мне не было близко то, что предлагает реальный ML-продакшн. Та личность, которая ценностью считает решение реальной проблемы, ещё не родилась на свет. В то же время, я ещё не понимал ценность денег, и придерживался позиции из своего первогоапрельского поста - если их хватает на жизнь, то они, в принципе, не важны.

Учитывая всё это, я отказался от намерения идти работать в прикладной ML.

Вместо этого я занимался разного рода ресёрчем - сначала применением RL на бирже, затем работал в разных лабораториях и участвовал в написаниях статей. Особо успешной эту деятельность назвать, к сожалению, было нельзя, и на то была причина.

Моё понимание мира развивалось, и в те годы до меня дошла важность политики. Уверенность в том, что AGI решит все проблемы, сменилась другой - его появление в текущих реалиях скорее приведёт к кошмарному политическому сценарию - такому, к которому сегодня стремится OpenAI и о котором мечтал Илья Суцкевер. Таким образом, я занимался ещё и ей, совмещая с парт-тайм работой и учёбой в универе.

Всё это время я не развивался, как прикладной ML-щик, как разработчик, но ни о чём не жалею, поскольку в процессе той деятельности приобрёл массу уникального опыта и очень многое осознал.

К 2020-му я уже окончательно переродился, как решатель прикладных проблем, так что, когда политика в России окончательно накрылась, в скором времени, в 2021-м, я пошёл работать над рекомендательными системами в Яндексе, что оказалось очень даже интересным занятием. Однако, мне не хватает этих 5 лет опыта в нормальной разработке, и это преследует меня по сей день.

@knowledge_accumulator

В чём мой смысл жизни?

У нас нет никакого смысла жизни, спущенного сверху. Пытающиеся его обозначить традиционные религии - это чушь, придуманная политиками и философами древности. Можно ещё вспомнить про симуляцию, но у нас нет никакой возможности узнать заложенный в неё смысл, даже если он есть.

Мы придумываем свой смысл жизни сами.

В моей голове важное место занимает концепция о том, что жизнь - это война со смертью. Сегодня мы все стареем и медленно умираем, но, думаю, что в обозримом будущем мы сможем изобрести интеллект, который позволит нам остановить старение.

Это интересный квест на ближайшие десятилетия, и я рассчитываю, как минимум, успеть получить доступ к этой технологии, а, как максимум, приложить руку к ее созданию. После остановки старения мы сможем расслабиться и не думать о том, что каждый день наша вероятность умереть возрастает и у нас есть срок годности. Этот квест может быть смыслом жизни, пока ты его не прошёл.

Но зачем всё это? Будь у меня десятки тысяч лет времени, что бы я с ними делал? Здесь можно накидывать разные варианты.

- Покорение космоса
Это действительно безумно интересно и весело, у этого есть набор практических плюсов, но, в итоге, зачем это? Заселим мы планеты, галактику, а дальше? Согласен, круто, и что?

- Технологический прогресс
Суперинтеллект быстро достигнет фундаментальных пределов во всех областях, причём, мы даже не сможем понять эти результаты. Прогресс перестанет быть связан с человеческим интеллектом.

- Дети
Интересно, но на смысл жизни не тянет, скорее, рекурсивно задаётся тот же вопрос

- Отношения с людьми
Это очень важная составляющая жизни, но тоже не кажется хорошей самоцелью.

- Физическое удовольствие
Здесь оптимальным решением будет подсосаться к капельнице с безвредной версией героина и так лежать тысячелетиями. В целом, погоня за физическим удовольствием ведёт к деградации личности, а этого я не хочу.

В результате технологического развития и доступа к бесконечным объёмам энергии исчезнут настоящие жизненные испытания. Мы предельно легко сможем выживать и удовлетворять свои потребности. Всё, что нам останется - это выполнение интересных вымышленных задач. Проще говоря, игры.

В очень широком смысле играми можно назвать множество вещей. Помимо компьютерных игр ими является спорт, хобби и некоторые аспекты в реальном мире. Например, топ самых богатых людей мира - это лидерборд в игре по накоплению денег. Попытка построить самое высокое здание в мире - это игра. Даже лепить тарелки из глины - в каком-то смысле игра.

Я могу представить себе мир, в котором люди в основном занимаются разного рода играми - смотрят, участвуют, учатся, делают ставки, спорят до посинения, бросают, находят новые. Способность учиться играть в сложные игры - это наша уникальная особенность, и мы получаем огромное удовольствие, когда находим ту самую.

Я всю жизнь обожал игры. Синдром отложенной жизни - это плохо, и я не хочу откладывать получение удовольствия до момента, пока мы не остановим старение. Да, они отнимают какое-то время, но от нескольких часов в неделю вы не достигнете меньшего. Если у Илона Маска есть время играть в Diablo между строительством ракет, машин, управлением соцсетью и участием в избирательной кампании в президенты США, то сложности в нашей жизни возникают не из-за игр.

Так что, тратя подавляющую долю времени на достижение целей в реальной жизни, я не отказываю себе в попытке получить платиновый ранг в Старкрафте на всех расах.

Суммируя все выше сказанное, получается, что я хочу победить старение, чтобы спокойно играть в комп. А какой у вас смысл жизни?

@knowledge_accumulator

Прилетел в Германию сегодня утром, чтобы через несколько часов сесть на поезд и поехать в Польшу. После Currywurst mit Pommes я почувствовал, что зря поставил Германию в один ряд с Россией в предыдущем посте.

Выехав из Берлина, наш поезд проехал час, после чего остановился на 20 минут. Потом нам объявили, что он сломался и дальше никуда не поедет. Нас призвали устроить рейдерский захват ни в чем не повинного поезда, идущего обратно в Берлин. О том, что, собственно, дальше, пока ничего неизвестно.

Воистину, до такого состояния failed state России ещё очень далеко.

Почему я хочу, чтобы Дональд Козырный стал президентом США

Я не испытываю симпатии ни к одной из двух правящих в США группировок. На федеральном уровне они не проводят радикально разную политику, хотя и расходятся по каким-то вопросам вроде абортов. Обе так или иначе плавно увеличивают государство в своих интересах и не делают никаких больших шагов в обратную сторону.

Поведение государства в США соответствует стандартной логике стимулов: чиновники стремятся максимально извлечь краткосрочную выгоду из ситуации - принимают ситуативные законы, берут деньги в долг, не парясь о долгосрочных последствиях своих действий, отчего со временем накапливается всё больше и больше негативных эффектов.

Подобное долгосрочное загнивание происходит более-менее везде, потому что это результат локально оптимальной стратегии каждого действующего лица. Эта невесёлая тенденция разворачивается только в одном случае - у власти оказывается человек, идущий против стимулов. Человек, который не пытается прямо сейчас заработать лишние 5 копеек, человек, который готов пойти против армии NPC-бюрократов во имя будущего развития и, находясь у власти, добровольно уничтожал её.

Это никогда не были идеальные люди, они просто были меньшими подонками, чем остальные у власти. Таких примеров немало - Горбачёв, Дэн Сяопин, Тэтчер, Милей и т.д. - все, кто приходил к власти и вместо обогащения проводил реформы, устанавливая рыночные институты взамен власти бюрократа.

И нет, Дональд Трамп по уровню своего видения и мудрости не тянет на вышеперечисленных. По своим навыкам он похож на Навального - способен идти против системы, работать под давлением и быть тараном в борьбе против власти. Но, как и у Навального, у Трампа нет внятной картины будущего и конкретного плана реформ помимо пачки кликбейтных обещаний.

Именно поэтому, придя к власти в 2016 году, и даже получив обе палаты парламента на 2 года, Трамп не смог сделать ничего интересного. Несмотря на некоторые внешнеполитические прорывы вроде посещения КНДР (!), внутри страны ничего толком не изменилось. Интересным побочным эффектом стало только то, что теперь мы понимаем размах и мощь демпартийной номенклатуры, бросившей все ресурсы на уничтожение Трампа. Были брошены в топку все остатки репутации и приличия, и это в свою очередь позволило многим открыть глаза на происходящее.

В этот раз ситуация другая. Вокруг Трампа вырисовывается коалиция политиков, понимающих, что, собственно, делать в случае прихода к власти, и идеи у них очень даже рыночные. Главным в ней, конечно, является Маск.

Маск никогда не блистал глубокими политическими познаниями, но он явно искренен в своих намерениях. В отличие от очень многих, он способен менять свою точку зрения со временем, опираясь на реальность вокруг, и именно поэтому он частенько стал цитировать Милтона Фридмана, а также водит дружбу с Милеем. Либертарианцем он пока не стал, вот тут он поддерживает SB-1047.

Однако, из текущей точки состояния США он предлагает двигаться в том же направлении, в котором бы двигался любой либертарианец - радикально уменьшать регулирование и гос. расходы. Если Маск смог прийти в Твиттер и сократить 80% народа, особо ничего не сломав, это значит только одно - в государстве можно сократить 95%, если не 99%. И я надеюсь, его идеи удастся воплотить в жизнь.

Я не верю, что в случае поражения этой коалиции наступит конец света, США просто пойдут по европейскому пути деградации и со временем превратятся в помойку типа UK, или того хуже - Германии или России. Я хочу, чтобы хотя бы у Америки получилось пойти по другому - рыночному пути, который уже когда-то позволил превратиться США из нихера в первую экономику мира.

@knowledge_accumulator

Правда ли бедным тяжелее, чем богатым?
Комментарии под недавним постом вдохновили меня на размышления - насколько верна мысль о том, что разрыв между богатыми и бедными склонен увеличиваться? Попробуем обрисовать картину.

Итак, представим вещественную прямую Net Worth - суммарная стоимость активов и долгов человека. Богатые находятся справа, бедные слева. Перейдём к логарифмической шкале, потому что так удобнее (не обращаем внимания на ситуацию <1$).

Давайте рассмотрим динамику движения по этой прямой. Какие у вас есть возможности двигаться вправо? Начнём с инвестиций. Сегодня почти у всех есть возможность купить самый лучший инструмент на планете - S&P500, дающий долгосрочно в среднем около 8% в год - эта скорость будет одинаковой на любой точке прямой богатства, и для этого движения нужно прилагать околонулевые усилия.

Когда эта картина нарушается? Чем вы правее, тем больше у вас Dividend / Capital gain tax (самые богатые от этих налогов, конечно, уходят), так что ваша скорость замедляется. А есть ли ситуация, когда деньги открывают возможность к более выгодному инвестированию? Ответ - разумеется! Но как?

Дело в том, что открытый рынок инвестиций самобалансируется с точки зрения доходности, и на нём вы много раз не угадаете (никто не угадывает), какой из активов принесёт больше. Доходность - это океан, и вода в нём равномерно распределяется по плоскости.

Поэтому самые богатые и обращаются за помощью к государству, которое с помощью регулирования мешает этой воде растекаться. Появляются источники "сверхприбыли", которые и помогают самым богатым отрываться от остальной массы. Борьба за свободный рынок - это борьба за отмену регулирования бизнеса, и в случае отмены открытая доходность вырастет, а неравенство между сверхбогатыми и богатыми прекратит увеличиваться, а не наоборот.

Если вы находитесь не в топ-10% , то ваш основной источник роста - это зарплата. Попасть в топ реально, и первый шаг - это найти хорошую работу. Кому-то кажется такая точка зрения неприличной, но я скажу, как есть - в 2024 году дохера возможностей попасть в топ-10% по доходам (это не такие большие деньги на самом деле), и они найдутся на любые способности - от программирования до ноготочков.

Важны, конечно, обстоятельства. В странах с более рыночной экономикой, например, США, есть много разнообразных рабочих мест с высокой зарплатой. В странах победившего социализма типа России с этим всё гораздо хуже, но, к счастью, в 21 веке переехать в другую страну неприлично легко по сравнению с былыми временами.

Да, представляете - чтобы попасть в топ-10%, нужно в своей жизни что-то поменять. Это, конечно, ужасно.

В случае, если вы начали откладывать десятки процентов доходов себе на инвестиционный счёт, вы начнёте двигаться вправо гораздо быстрее почти всех богатых - сотни и десятки процентов в год, вдобавок к тем самым 8%. Мешать вам будет, опять же государство, потому что именно на эту прослойку людей - между очень богатыми и топ-10% - обрушиваются самые безумные налоги, из-за которых их скорость обогащения замедляется в разы по сравнению со свободным рынком. Разросшийся государственный паразит активно работает на то, чтобы у самых богатых не появлялось больше конкурентов - это уменьшает их доходность.

К счастью, на текущий момент на практике стать богатым всё ещё вполне реально за одно поколение, и желаю вам успехов на этом пути, дорогие подписчики.

@knowledge_accumulator

❗️Предупреждение - не идите работать в X❗️

За полгода работы вылезли на поверхность несколько вещей, которые могут стать 🚩🚩🚩 для многих разработчиков. Перечислю минусы работы в компании:

1) Наши социальные потребности не удовлетворены - мы не проводим достаточно времени на звонках с командами. У нас не принято собрать всех на обсуждение вопроса, чтобы выслушать мнение каждого.

2) У нас не практикуют Agile, Scrum, не заводят тикеты на каждую подзадачу, в общем, не организация, а бардак.

3) У нас почти невозможно исполнить мечту многих - стать менеджером менеджеров и постепенно карабкаться вверх по 10-этажной структуре организации. Маск - мой скип-скип-менеджер.

4) У нас маленькая команда. Не хватает чувства товарищества, когда несколько команд пытаются работать над одним и тем же проектом.

5) Система рекомендаций очень далека от идеала и в ней много очевидных потенциальных улучшений. Более того, появляются новые куски системы, которые надо делать практически с нулевой базы.

6) У нас нет простора для занятия внутренней политикой, и если вы не хотите просто внедрять улучшения и растить метрики, чтобы себя проявить, то вам будет тяжело работать.

7) Становится страшно от того, что твоя работа влияет на сотни миллионов людей. Лично я скучаю по ресёрчерским временам, когда моими результатами пользовалась только моя команда и можно было не сильно париться.

8) К сожалению, в зарплату входят акции компании, которая сейчас стоит очень дёшево. Мне стыдно вспоминать, что у пиццерий Domino's сопоставимая капитализация. Уважаемые эксперты и аналитики уже третий год прогнозируют, что компании скоро придёт конец.

9) Мы нанимаем в Лондоне и в США - в странах, в которых, в отличие от Евросоюза, инженеры в тир-1 компаниях получают кратно больше, чем средняя зарплата по стране. Мне гадко на душе из-за того, что я могу позволить себе больше, чем большинство остальных.

10) Против нашего сервиса настроены почти все мировые политические элиты, корпорации, журналисты и эксперты. На нашей платформе можно обмениваться мнением, отличным от актуального экспертного консенсуса, что несёт огромные риски для текущего положения вещей.

Итак, я вас предупредил. Если вас это почему-то не убедило, у нас на сайте есть описание вакансии: https://twitter.wd5.myworkdayjobs.com/X/job/Palo-Alto-CA/Senior-Staff-Machine-Learning-Engineer---Core-Product_R100061. Нанимаем на все уровни.

Вопросы пишите в комменты, а если интересует, кидайте в личку резюме и дальше обсудим.

Как гамма=1 делает человека несчастным

Незнающим поясню - гамма в RL - параметр, показывающий, насколько меньше вы цените будущую "награду" по сравнению с текущей. Принимая значение от 0 до 1, она говорит о длине вашего горизонта планирования. Какую максимальную долю от 1000 долларов вы готовы положить в банк, чтобы через год забрать оттуда 1000? В реальности награда не затухает по идеальной экспоненте, но идею вы поняли.

Считаю, что гамма не является "заслугой" человека, она случайно выставляется в вашей голове. Большая гамма объективно не лучше маленькой гаммы, это часть определения вашей награды, и лишь наблюдателю со стороны одна может нравиться больше, чем другая, причём в любую сторону.

Моя гамма очень близка к 1. Вам может показаться, что это безусловно круто - планирование далеко вперёд и т.д. Да, не тратить все свои деньги на путешествия и машину - это "разумно", но при стремлении к 1 у этого появляются побочные эффекты.

Чем ближе к 1, тем более равномерно распределяется внимание по временной оси. То, что будет через 10, 20, 30 лет, почти так же важно, как то, что происходит сейчас. Текущий момент не имеет практически никакого веса в масштабе всей будущей жизни. Нет почти никакой возможности наслаждаться настоящим, потому что само наслаждение всегда противоречит работе на будущие награды. Я думаю о будущем всё время в любом контексте и не могу перестать это делать.

Я уже писал про FOMO, в частности, о том, что каждую секунду наша потенциальная суммарная награда уменьшается из-за неоптимальных действий. Через призму гаммы, равной 1, то, как вы воспринимаете жизнь, работает по этому же правилу. Каждую секунду моя личная Q-функция падает, потому что старая секунда прошла, а новая на горизонте не появилась. В жизни непрерывно остаётся всё меньше и меньше положительных эмоций, которые можно испытать. Конечно, я не чувствую этого в реальном времени, но каждый раз, когда разговор заходит о чём-то, что будет через 10, 20 лет, и я себя представляю в этой точке, мне становится плохо, потому что это время безвозвратно вычитается из Q-функции. Даже дни рождения вызывают неприятные ассоциации, потому что отсчитывают твои утекающие годы.

Надо ли говорить о том, что смерть - это то, о чём я вспоминаю почти каждый день хотя бы раз. Это связано не только с гаммой, но ей усугубляется. Мало того, что я боюсь внезапно умереть от какой-нибудь болезни, так ведь мой организм непрерывно изнашивается, каждый день вероятность смерти только растёт. Мне, вообще-то, 26, а я уже регулярно паникую от мысли, что смерть неумолимо приближается. Если окажется, что я точно умру в скором будущем, то мне придётся поверить в симуляцию, чтобы не превратиться в кирпич.

Единственная спичка, на которой держится моё ментальное состояние - это моя искренняя вера, что естественное старение можно победить, причём в ближайшие десятилетия. Каждый раз, сталкиваясь с проблемами, описанными выше, это помогает поддерживать оптимизм, потому что, если у меня тысячелетия впереди, то моей гаммы уже не хватает, чтобы представить, что они закончатся.

Вы можете считать, что у меня психологические проблемы и их можно решить, но, как ни странно, меня итоговое положение вещей устраивает. Вся эта конструкция создаёт для меня смысл жизни без всякой религии. Есть строгое разделение между двумя сценариями - в одном из них старение побеждено и потенциальная награда бесконечно больше, чем в другом - "классическом". Я могу посвятить себя тому, чтобы работать на его достижение, и это довольно весело. О том, как именно, мы поговорим в другой раз.

@knowledge_accumulator

Каким должно быть образование у ребёнка?

Начну с того, что здесь надо разграничить политические взгляды и мои личные предпочтения - я против централизованного регулирования образования и хочу, чтобы родители имели возможность выбирать школу по своему вкусу.

Что касается меня, то детей у меня пока нет, и скажу сразу - я далёк от окончательного ответа на этот вопрос. При этом, некоторые положительные и отрицательные черты всё же вырисовываются.

В качестве антипримера держу в голове дефолтные школы в РФ. В моём случае это были самые бездарно потраченные годы в жизни. Вопреки школе, лишь засчёт того, что в неё поступали умные дети со всего Омска, там было, с кем интересно проводить время и куда-то развиваться. Итак, перейдём к важным аспектам.

- Мотивация
Ребёнка важно заинтересовать, причём не абстрактным предметом, а конечной точкой его изучения. Разработка игр, проектирование ракет / машин, приготовление взрывчатки, археологические раскопки - почти у каждого ребёнка найдётся то, что покажется ему интересным, и даст какую-то начальную мотивацию.

- Изучать забивание гвоздей, а не чертежи молотка
В процессе изучения школьнику нужно предлагать решать всё более сложные задачи, а затем демонстрировать инструменты их решения. По возможности, эти задачи должны быть с практической составляющей, при этом связаны с тем, что их мотивирует заниматься изучением науки. Нельзя изучать науку ради науки и решать примеры ради примеров, у этого должен быть понятный смысл.

- Состав группы
Изучение конкретного "курса" должно проходить в маленькой группе, собранной по уровню подготовки специально для этого курса, а не по возрасту. Если школьник в 12 лет опережает всех по химии, но ему пофиг на программирование - это нормально. Не должно быть сплошного курса "физика" длительностью в 7 лет, нужна гибкая система.

- Очень высокий потолок
Если школьник горит какой-то областью, ему должны быть предоставлены огромные возможности к развитию. Помимо глубокого изучения предметов, это включает знакомства с профессионалами, проектная работа, участие в соревнованиях и даже реальные стажировки. Постажироваться в 14 лет - это безумно крутой опыт, главное, конечно, чтобы школьник был к этому готов.

- Внимание социальным и жизненным навыкам
Не бояться звонить по телефону, уметь вести переговоры, работать с деньгами, с информацией - это важные человеческие качества, которые тоже должны быть привиты. Вы можете сказать, что это должны делать родители - может быть, я не знаю. Так или иначе, делать это нужно, и работать с мотивацией здесь тоже нужно правильным образом, как и с "обычными" предметами

- Здоровое давление
Понятно, что маленькое число школьников способны к качественному самоконтролю, лично я созрел для этого только в 16. Но нельзя действовать одним лишь кнутом - слишком велики побочные эффекты. Кажется, что при грамотном мотивировании и выполнении всех остальных пунктов пинать если и нужно, то далеко не так сильно. Но у меня нет полноценных данных.

Очень хотел бы узнать, что вы про это думаете, только не пишите про самое лучшее в мире советское образование, мы здесь на несколько другом уровне обсуждения находимся.

@knowledge_accumulator