a ball rolling down some hills

На днях, нобелевская премия по физике «ушла за заслуги перед machine learning». Общественность отреагировала бурно, но общий настрой воодушевляющий. В этом, думаю, и была цель – показать прикладную значимость для сегодняшнего дня той или иной области науки.

Можно бесконечно долго дискутировать о зачатках разума в лингвистических моделях, но именно статистическая механика проливает свет на то, что именно происходит в глубине языковых моделей:
- мы не думаем языком – язык это инструмент для общения,
- язык кодирует статистические свойства нашего иерархического процесса мышления,
- мышление – многомерное пространство состояний и представляет собой сложный ландшафт,
- в конечном итоге, LLM на большом объеме данных обучается статистическим свойствам, закодированным в языке.

Статистическая механика выступает мостом между физикой «реальных» объектов и нашим представлением о том, как этот мир работает. В том числе и наш уютный мир высоких цифровых технологий.

#RageAgainstML

Ссылки:
1. вклад Хопфилда и Хинтона – https://www.nobelprize.org/prizes/physics/2024/popular-information/
2. интерактивная статья про аттракторы – https://ncase.me/attractors/
3. язык – инструмент для общения, а не для мысли – https://www.nature.com/articles/s41586-024-07522-w