Проблема навіть не в тому, що одні люди здатні прирікати інших на смерть, страждання чи зламане життя.

Гірше те, що ідіоти роблять це з розумними і чесними людьми - просто тому, що мають політичний голос.

Вайби 2014-го.

Будь-який макіївський алкаш, якому росіяни роздали автомат та гранати, міг вбити мене, якщо б я йому не сподобався. Когось так і вбили. Багато кого так і вбили чи зробили інвалідами. І ти б нічого не міг зробити, неважливо, чи є в тебе розум, гроші, чи ресурси. Насправді, наявність усього цього була лише додатковим приводом тебе вбити.

Тепер американські реднеки теж здатні усіх вбити - і знову я безсилий перед ідіотами, і знову, нехай я і маю набагато більше розуму і ресурсів, ніж 10 років тому, я не маю жодної можливості протистояти ідіотами чи врятуватися від них.

Саме це дратує найбільше.

Чи може хтось перемогти Nvidia? Наразі це виглядає неможливим, коли думаю про це. Утім, лише 5 років тому Google мав все, а Microsoft - нічого. Google мав бути королем ШІ за всіма ознаками. А тепер саме Microsoft - друга у світі компанія як за капіталізацією, так і за AI power: найбільший (і найбільший просунутий) AI cloud service, найбільший провайдер послуг для ШІ-компаній (з дуже агресивною політикою розвитку, дає безкоштовно купу compute стартапам, як ніхто інший), Copilot інтегрований в усе, що тільки можна, на відміну від тієї ж Gemini. Але ж для Nvidia конкурентів взагалі не видно. 10 trillion by 2030 - це нижня межа, як на мене. До того ж, у кейсі Microsoft/Google зіграли роль зміни CEO, чого в Nvidia майже напевно не буде.

Намагався прочитати Project Lawful, але кинув десь посередині. Дуже цікаво, але дуже болісно - на усіх рівнях. Кислотна суміш теорії ігор для моделювання поведінки суперінтелектів, БДСМ, історії про «попаданця» в світ, який є чимось схожим на пекло чи перед-пекло, різної математики з спорадичним вставками популярної раціональності та науки як в HPMOR. Творіння геніального, але хворого розуму.

Читати не хочу далі (чи скоріше не можу), але хочеться дізнатися, чим усе закінчилося. Твір дуже великий і складається з постів на форумі, тому згодувати ЛЛМ складно.

Хтось читав/дочитав? Якщо так, можете надати спойлери будь-ласка? Можна в коментарях, можна в дм, якщо не хочете демонструвати широкому загалу, що читали це.

#вау
#програмістське

Американське оборонне агенство DARPA ініціювало проект TRACTOR (не ржати!), який розшифровується як "Translating All C TO Rust".

Ідея полягає в тому, щоб розробити інструменти для автоматичної трансляії геть усього коду на С та С++, що використовується у військових технологіях, на Rust, в тому числі за допомогою ШІ.

Я вам скажу, що це дуже серйозна заявочка. Якщо така технололія дійсно буде успішно розроблена і можна буде конвертувати щось дійсно складне на кшталт ядра лінукса чи Unreal Engine, то С++ ризикує на цьому взагалі закінчиться (амінь, давно треба), а С залишиться лише у дуже специфічних нішах (наприклад, на екзотичних платформах, які Rust не підтримує).

Якщо чесно, до можливості такої конвертації я ставлюся досить скептично. Зараз ChatGPT досить хріново пише на расті і ще більш хріново перетворює ідіоматичний С/С++ на ідеоматичний раст. Як тільки йому трапляється щось нетривіальне, чого нема на StackOverflow, він починає гнати якусь єресь. Наприклад, я так і не добився від нього адекватного коду, що використовує концепцію Interior mutability та здатен коректно розрулити mutable aliasing без великого оверхеду (це взагалі ніфіга не тривіально, якщо що), а без цього конвертувати складні конструкції з С++ просто не вийде.

Але сама ідея цікава і загальний консенсус все більше схиляється у бік повного канселінгу принаймні С++, бо легше навчити ШІ переписувати все легасі, ніж якось модернізувати це монструозне лайно мамонта.

Я кажу вам.

Бояї-отець, що писав своєму синові застереження проти спроб вивести четвертий постулат Евкліда, зробив на мій погляд одну з найбільш точних характеристик того, як доволі часто виглядає наукова діяльність:

You must not attempt this approach to parallels. I know this way to the very end. I have traversed this bottomless night, which extinguished all light and joy in my life. I entreat you, leave the science of parallels alone... I was ready to become a martyr who would remove the flaw from geometry and return it purified to mankind. I accomplished monstrous, enormous labors; my creations are far better than those of others and yet I have not achieved complete satisfaction... I turned back when I saw that no man can reach the bottom of this night. I turned back unconsoled, pitying myself and all mankind. Learn from my example...

Кінцеві цілі ШІ будуть радикально відрізнятися від людських цілей. Різниця між цілями тебе, Маска, Путіна, Гітлера, Фейнмана, Ісуса, менеджера хедж-фонда і селянина буде непомітною на фоні ШІ. Уся множина кінцевих людських цілей буде виглядати як єдина точка.

Це повинно бути очевидно, але якщо неочевидно, то подивіться на еволюцію. Нам відомі два потужні оптимізаційні процеси - людський інтелект і еволюція. Цільові критерії (далі просто «цілі») еволюції настільки відрізняються від цілей людського інтелекту, що людський інтелект досі скоює елементарні помилки в моделюванні цілей еволюції, навіть коли це людський інтелект професійного біолога. Звичайно, є саме еволюційні біологи, а є просто достатньо розумні люди (і звичайно серед них є біологи), які навчилися правильно моделювати цілі еволюції. Але у еволюційної біології як дисципліни пішло дуже багато часу і зусиль, щоб навчитися робити це!

Ми емпірично бачимо, що надзвичайно потужні оптимізаційні процеси з принципово чужими для людей цілями можливі, але, повторюся, це і так повинно бути зрозуміло, тому що нема причин/сил/законів, які б це забороняли.

ШІ, що створюється зараз, створюється без жодної подоби до того, як створювалися люди - інший алгоритм, інша архітектура, інше залізо, інші дані, інша функція втрат, інша парадигма навчання. Усе інше, буквально все. І суперінтелект, що буде створений на основні цього ШІ, продемонструє розум настільки чужий, що цього ніхто, включно зі мною, не може собі уявити.

Утім, як знаходяться люди, які (неправильно) моделюють еволюцію як «людський інтелект, що намагається максимізувати адаптивність», знайдуться і ті, хто (неправильно) буде моделювати ШІ як «людський інтелект, який намагається максимізувати дивну ціль ШІ».

Якщо ви не бачите, що перетин між вашими цілями, цілями полінезійського аборигену, науковця, мільярдера, маніяка, священника і співака складає 99,9% у просторі усіх можливих цілей (а не тільки усіх можливих людських цілей), то ви можете не уникнути того, щоб стати такою людиною.

https://x.com/janleike/status/1791498174659715494?s=46&t=779E7UutOOl0DK6MbEY0cg

Судячи зі всього, команда з супералайнменту OpenAI припинила існування зі звільненням її керівника, який фактично звинувачує керівництво OpenAI в тому, що робота з супералайнменту була саботована через конфлікт з бізнес-інтересами.

Що ж. Я думаю, що це хоча б чесно - якщо компанія ігнорує алайнмент, то нехай хоча б видалить відділ алайнменту, щоб не дезінформувати людей.

Десь місяць тому аналогічно журилися про те, що тихо закрили Future of Humanity Institute. А я вважаю, що це чесно - навіщо інститут, якщо нема обʼєкту дослідження?

X (formerly Twitter)

Jan Leike (@janleike) on X

Yesterday was my last day as head of alignment, superalignment lead, and executive @OpenAI.