دنیای واقعی بر خلاف بنچمارک‌های آکادمیک، flexibility می‌خواهد

امروز یک پیپر ساده و تقریبا بدون نوآوری ولی جالب خوندم. تسک image classification رو به عنوان تسک هدف در نظر گرفته و بحث رو این طوری شروع می‌کنه که شما وقتی یک شبکه عصبی رو برای این تسک آموزش می‌دید بعد که فرآیند آموزش تموم شد، دستکاری و ویرایش دانش اون شبکه عصبی تقریبا نشدنیه. مثلا فرض کنید یک مدل دارید که از روی عکس تشخیص می‌ده اون عکس چیه دو روز دیگه بخواید دسته‌ای رو به اون دسته‌بند اضافه کنید یا داده‌ای رو ازش unlearn کنید سخت و نشدنیه. پیشنهادی که می‌ده اینه که رپرزنتیشن باید از تصمیم‌گیری به کمک داشتن یک visual memory جدا بشه. یعنی مثلا به کمک‌ مدل‌های clip یا dino-v2 بیایم از تصاویر یک دیتاست رپرزنتیشن بگیریم و به مثابه یک دیتابیس بزرگ ذخیره کنیم بعد موقع کوئری زدن و اینفرنس گرفتن ببینیم رپرزنتیشن این کوئری به کدوم تصاویر اون visual memory نزدیکه و تصمیم بگیریم برچسب این تصویر چیه. ایده‌اش همونطور که گفتم هیچ گونه نوآوری نداره و صرفا مدل‌های clip و dinov2 با knn هست (به جز این که یک تابع رای‌گیری جدید معرفی کرده و البته یک جایی هم از مدل Gemini در حکم رای‌گیرنده استفاده کرده، این طوری که مثلا ده تا نمونه نزدیک به کوئری رو به همراه تصویر داده به Gemini گفته که بگو به نظرت لیبل این تصویر چیه و نشون داده که عملکرد نسبت به هر کدوم از حالت‌ها بدون Gemini و بدون instance بهتر شده).

نکته خوب پیپر بحث و دعواش روی flexibility هست. میگه که فقط در دنیای آکادمی هست که شما با یک سری دیتاست استاتیک ثابت مواجه‌اید که صرفا باید دقت بالاتر روی اونها ثبت کنید. چالش اصلی که در دنیای واقعی وجود داره همین امکان قابلیت انعطاف مدل هست و استفاده از memory در کنار مدل‌ها میتونه یک جور ماژولاریتی به قضیه اضافه کنه و امکان انعطاف رو هم به ما بده. تو اکسپریمنت‌های طراحی شده‌اش هم اومده اینها رو بررسی کرده این شیوه هم قابلیت اضافه‌شدن داده و دسته جدید داره، هم قابلیت حذف داده و دسته رو داره و هم این که تفسیرپذیرتره.

لینک پیپر:
https://arxiv.org/abs/2408.08172

پی‌نوشت ۱: چیزی که باعث شده این مقاله بتونه آزمایشاتش رو سوار کنه ظهور مدل‌هایی مثل clip و dino-v2 هستند که رپرزنتیشن‌های با کیفیت خیلی خوب تولید می‌کنند.

arXiv.org

Towards flexible perception with visual memory

Training a neural network is a monolithic endeavor, akin to carving knowledge into stone: once the process is completed, editing the knowledge in a network is nearly impossible, since all...

بیکارشدن آکادمی با AI؟

دنیای علم و ریسرچ و آکادمی، با وجود تمام جذابیت‌هاش ولی وقتی تبدیل به یک بازار و صنعت و زمین بازی می‌شه و بروکراسی پیدا می‌کنه تبدیل به یک ابتذال می‌شه. عده‌ زیادی شغلشون این میشه که باید مقاله‌ای بنویسن که نوآوری داشته باشه ولو به درد نخوره، از اون ور هم عده‌ای شغلشون این میشه که این پیپرها رو ریویو کنند و توش گیر پیدا کنند و به همین ترتیب نظمی شکل می‌گیره که تو اون در هر حوزه سالانه تعداد خیلی زیادی مقاله چاپ می‌شن بدون این که نه کاربردی داشته باشند و نه حتی دید جدیدی بدن و واقعا نوآوری داشته باشند. حالا چرخ این نظم رو چطور می‌شه متوقفش کرد؟ با ارزون‌کردن و سپس اتومات‌کردن کل این فرآیند. مرتبط با همین موضوع، امروز پیپری منتشر شده که در اون مدلی به نام AI Scientist پیشنهاد شده. هدف این مدل اینه که بتونه ریسرچ اتوماتیک انجام بده و اتوماتیک هم پیپرش رو بنویسه. معماری AI Scientist خودش چهار بخش داره:
- بخشی که مسئول طرح ایده است و خروجیش ایده است.
- بخشی که مسئول طراحی و کدنویسی و اجرای experiment ها از روی ایده مرحله قبله و خروجی‌اش نتایجه.
- بخشی که مسئول نوشتن متن مقاله از روی نتایج دو بخش قبلیه.
- و البته یک عامل paper reviewer هم توسعه دادند که پیپر رو می‌خونه و امتیازدهی می‌کنه و اینجوری می‌تونه یک لوپ فیدبک شکل بده.
هر کدوم از این مراحل AI Scientist شامل زیربخش‌ها جزیی‌تر می‌شن و در اونها از LLM‌ استفاده شده. چند نمونه پپیر هم خودشون در زمینه‌های Diffusion Model و Transformerو Dynamical System ها جنریت کردند و هزینه هر مقاله هم حدود ۱۵ دلار دراومده. کیفیت AI Scientist جالبه و در ظاهر نمی‌شه تشخیص داد که پیپری که تولید شده توسط AI هست و نمره‌ای که توسط ai paper reviewer خودشون هم دریافت کردند نزدیک به پیپرهای عادی و اکسپت شده است ولی قاعدتا در حد AGI هم نمیشه ازش انتظار داشت. نکته مهم اما پایپلاین کلشه که می‌تونه امیدبخش باشه. پایپلاینی که صفر تا صد از تولید ایده تا کدنویسی و نوشتن متن مقاله و نهایتا ریویوش رو خودش انجام میده. میشه انتظار داشت که مثلا در طی ۵ سال آینده استارتاپ‌هایی داشته باشیم که با گرفتن موضوع بیان و یک پیپر برای اون موضوع جنریت کنند، چیزی معادل بی‌کار کردن سفارش گیرنده های مقاله خیابون انقلاب!

اما در مورد چیزی که ازش به عنوان automatic scientific discovery نام برده می‌شه، احتمالا ما هنوز عنصر خلاقیت رو کم داریم که قبلا راجع به openendedness صحبت کرده بودیم. در واقع پیپرهای تولیدشده توسط AI Scientist احتمالا و شاید یک جور interpolation بین مجموعه ایده‌ها و افکار حال حاضر دنیا باشن. کاری که البته همین الانش هم ۹۹.۹ درصد آکادمی همون کار رو می‌کنه.

لینک:
https://sakana.ai/ai-scientist/

پی‌نوشت: Generative AI پتانسیل‌ها زیادی در حوزه‌های مختلف داره که هنوز مورد کاوش قرار نگرفتند. در واقع هر مدل generativeای به عنوان یک ابزار می‌تونه در یک معماری بزرگتر قرار بگیره و نهایتا فرآیند‌های مختلفی که به ذهن ما نمی‌رسه رو ارزان کنه. برای این کار لازم نیست که حتما اون مدل به تنهایی در نقش AGI قرار بگیره بلکه کافیه که با یک ترکیب درست در کنار سایر چیزهای لازم قرار داشته باشه.

sakana.ai

Sakana AI

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery

تاریخ فلسفه به روایت برایان مگی

خیلی‌ها به فلسفه غرب علاقه مند می‌شن و دوست دارن مطالعه بیشتری داشته باشند. معروف‌ترین و پرفروش‌ترین کتاب در اینباره دنیای سوفی هست که تحت یک داستان و رمان سعی داره مخاطب رو به سیر تاریخ فلسفه آغشته کنه. حالا اگه کسی بخواد از نردبان بالاتر بره، یا باید بره شروع به خواندن آثار خاص فیلسوف‌ها بکنه که در این صورت سخته که براش از قبل دونسته باشه با کدام فیلسوف بیشتر حال می‌کرده یا این که بره مثلا کتاب‌های تاریخ فلسفه نظیر کاپلستون یا راتلج رو بخونه. مشکل کاپلستون و راتلج هم البته اینه که اولا با ادبیات و اصطلاحات خاصی نوشته شدند و نمیشه فهمیدشون و هم این که مثلا فقط یک جلد برای فلسفه یونان اختصاص داده شده و اون حس و حال فهمیدن کلی داستان سیر فلسفه رو نمیدن. در میان این گپ فاصله بین علاقه به فلسفه تا پله‌های بالاتر اما کتاب "The Story of Philosophy" برایان مگی به مثابه یک پله میانی مناسبه که تحت دو عنوان سرگدشت فلسفه توسط نشر نی و داستان فلسفه توسط نشر اختران ترجمه‌ شده. کتاب در عین این که ۲۴۰ صفحه است کلیت خوبی داره و سیر مساله فلسفه رو به خوبی توضی میده و نه جایی کم می‌ذاره و نه بیش از حد وارد جزییات میشه. نحوه روایتش هم ساده است طوری که حتی خوندن مسائل شناخت‌شناسی‌اش رو هم مطابق میل و رغبت می‌کنه. کتاب صفحه آرایی جذابی داره و شامل باکس‌های اطلاعاتی و البته تصاویر مرتبط رنگارنگه. همین تصاویر رنگارنگ البته احتمالا کاری کردند که چاپ کتاب گلاسه بشه (چرا واقعا) اما خب نسخه دیجیتالیش هم در فیدبو و طاقچه موجوده. من در این یک هفته ازش لذت بردم و شاید شما هم لذت ببرید. چند نکته جالبی که از دیدن سریع سیر فلاسفه برام جالب بود به یادگار این‌ها بودند:

- بسیاری از فیلسوف‌های ماندگار در تاریخ کسانی بودند که بر خلاف هم عصرانشون، بیشترین تاثیر و نفوذشون تازه بعد از مرگشون حاصل شده و خودشون چه بسا از شهرت خودشون خبردار نشدند.
- بسیاری از این بندگان خدا، زندگی عادی نداشتند. خیلی‌هاشون در فقر زندگی رو گذراندند و خیلی‌هاشون هم هرگز ازدواج نکردند. خیلی‌هاشون هم بداخلاق و غیرقابل تعامل بودند. خیی‌هاشون پایه‌گذار مسیر فکری شدند که خودشون مایل و متصور به ادامه اون مسیر نبودن.
- یک جمله از فیخته در کتاب ذکر شده بود که برای من جالب بود: "این که شخص چه نوع فلسفه‌ای را انتخاب می‌کند بستگی دارد به این که چه نوع آدمی است"

Telegram

stuff

سوسیال دموکراسی در سوئد به روایت چراز

چراز در قسمت ۱۲ روز پیش خودش به این پرداخته که آیا واقعا سوسیال دموکراسی و ایده دولت رفاه ملی سبب بهبود و رشد وضع اقتصادی و رفاهی کشورهای اسکاندیناوی شده یا نه؟ در این مساله به طور خاص تاریخچه دولت سوئد رو با جزییات بررسی کرده. مطالب مهم این قسمت:

- شاخصه‌های دولت رفاه ملی یعنی خدمات رایگان از دولت برای ملت، مثل آموزش رایگان، درمان رایگان و حتی دادن درآمد بیکاری به افرادنیازمند
- اولین بار بیسمارک در ۱۸۹۰ ایده دولت رفاه ملی رو در پروس (آلمان امروزی) اجرا کرد. ناشی از ترس امکان کشیده‌شدن شعله‌های اتفاقات فرانسه به آلمان که البته موفق هم بود و پروس رو حفظ کرد.
- بعدها باز هم کشورهای مختلفی ایده دولت رفاه ملی رو اجرا کردند که خیلی‌هاشون ناموفق بودند. چرا که ایده دولت رفاه نیازمند هزینه‌های سنگینه و حتی با صرف این هزینه زیاد هم باز نتونستن مشکل فقر رو حل کنند. در بعضی موارد حتی این ایده سبب کسری بودجه دولت و افزایش تورم و بدترشدن اوضاع شده.
- کشورهای اسکاندیناوی ویژگی‌‌های خاص خودشون رو دارن: کوچک هستند، در عین حال همگن هستند (از نظر مذهب و قومیت و فرهنگ و زبان)، سرمایه انسانی مناسبی دارند و تحت درگیری خشونت‌بار نیستند (یک گوشه ای دنیا هستند برای خودشون با خرس‌های قطبی فوقش درگیر بشن) بنابراین نمیشه تجربیاتشون رو در کشور‌های دیگه به امید رسیدن به سطح برابری اونها تکرار کرد.
- ثروت کشورهای اسکاندیناوی از کجا اومده؟ چراز اول نشون میده که شاخص آزادی اقتصادی در اسکاندیناوی از آمریکا و انگلیس هم بیشتره و اینها نسبت به آمریکا و انگلیس کاپیتالیست‌تر هستند. بعد در توضیح این پدیده استناد می‌کنه به تحلیل ماکس وبر و میگه که اخلاق پروتستانی کار در کشورهای اسکاندیناوی قویه. به این معنی که کسب ثروت فضیلت هست. بر خلاف کلیسای کاتولیک که تجارت رو حقیر می‌دونست و بهترین کار رو کشاورزی می‌دونست و برای همین هم بزرگترین زمین‌داران اروپای قرون وسطی بودند. بعد میگه که در سال ۱۸۳۰ نرخ باسوادی در سوئد ۷۵ درصد بوده!! که این هم ناشی از عدم انحصار دانش در دست کلیسا بوده. سوئدی‌ها تحت تاثیر همین نرخ بالا با اندیشه‌های کاپیتالیستی آشنا می‌شن و در یک فرآیند صد ساله تا سال ۱۹۵۰ تبدیل به یک دولت ثروتمند می‌شن (داستان جالب روزنامه افتون بلادت بیست و ششم که نقش جالبی در قضیه آزادی مطبوعات هم داشته قابل خوندنه)
- حزب سوسیال دموکرات در سال ۱۹۵۲ قدرت رو برای اولین بار در سوئد به دست می‌گیره. سیاست‌هاش بهداشت و درمان رایگان، آموزش رایگان و درآمد بیکاری بود. اینها چنان مالیات می‌گرفتن که وقتی درآمد یک شخص از یک حدی بیشتر می‌شد مالیاتی که روش می‌بستن بیشتر از ۱۰۰ درصد می‌شد!
- سال ۱۹۸۲ حتی طرحی رو اجرا می‌کنن که کارخونه‌ها و شرکت‌ها بخشی از درآمدشون رو بریزن تو صندوقی و بعد با پول همین صندوق سهام اون کارخونه ها خریداری بشه و به کارگران اون کارخونه داده بشه. همین اتفاق باعث بروز بزرگترین تظاهرات تاریخ سوئد میشه.
- پس از سقوط شوروی بحران اقتصادی اروپا رو می‌گیره و سوئد دچار تورم بالا میشه طوری که یک سال نرخ بهره رو ۵۰۰ درصد می‌کنن تا کرون سقوط نکنه. از اون سال به بعد هر ساله محبوبیت دولت سوئد نزد مردمش کاهش پیدا کرد تا این که در آخرین انتخابات سرانجام باختند و دولت رو به احزاب دیگه سپردند و الان هم سیاست‌های سوئد در حال تغییره.

در نهایت چراز مطرح می‌کنه که دولت رفاه ملی چیز قشنگیه ولی نیاز به هزینه داره و پرسش اصلی نه اجرا کردن یا نکردن دولت رفاه ملی که فراهم کردن این هزینه بدون ضربه زدن به اقتصاده. چراز معتقده که فرصت‌های برابر باید برای همه افراد وجود داشته باشه اینجوری نباشه که وقتی کسی رشد کرد به زور چماق استفاده کنه تا بقیه ثروتمند نشن. دولت باید زمین بازی رو عادلانه طراحی کنه و از زمین بازی محافظت کنه.

لینک:
https://www.youtube.com/watch?v=nARmarorjoE

YouTube

تاریخچه دولت رفاه در کشورهای اسکاندیناوی

آیا اقتصاد اسکاندیناوی واقعاً سوسیالیستی است یا آزاد؟ در این ویدئو، به بررسی تاریخچه اقتصادی کشورهای اسکاندیناوی از دوران وایکینگ‌ها تا به امروز می‌پردازیم. از تفاوت‌ها و شباهت‌های اسکاندیناوی و نوردیک گرفته تا نقش و تاثیر سوسیال‌دموکراسی و اقتصاد بازار آزاد…

راجع به رده‌بندی الو و LMSYS Chatbot Arena و Gemini و اینها
گوگل پس از چندی خفت و خواری در زمینه LLM‌ها، سرانجام هفته پیش یک اتفاق مهم، یک اتفاق شاد رو تجربه کرد. اون اتفاق هم این بود که مدل Gemini-1.5-Pro سرانجام تونست صدرنشین بنچمارک LMSYS بشه و بالاتر از GPT-4o قرار بگیره. بنچمارک LMSYS Chatbot Arena حالا چی هست؟ این شکلیه که کاربران به سایتش رجوع می‌کنند و یک پرامپت رو می‌نویسن. از اونور دو تا LLM به رندوم در حالی که هویتشون مخفی از کاربر هست جواب این پرامپت رو برمی‌گردونن و در نهایت کاربر که هویت LLM‌ها برش پنهان هست، تعیین می‌کنه جواب کدوم LLM بهتر بوده. اینطوری در نهایت یک جدول خواهیم داشت که نشون میده هر مدل با کدوم مدل چه قدر بازی کرده و چند تا رو برده یا باخته. اما از اونجایی که فرمت این مسابقات دو به دو، لیگ کامل نیست و ممکنه دو تا مدل بیشتر با هم بازی کنند پس چطوری امتیازات و رنکینگ نهایی‌شون حساب می‌شه؟ در واقع مساله اینه که فرض کنید یک تعداد بازیکن داریم که دو به دو با هم بازی می‌کنند چطور می‌تونیم این‌ها رو رنک کنیم؟

این مساله، مساله رایجی در شطرنج به حساب میاد و LMSYS هم از یکی از راه‌حل‌هایی که برای اونجا ارائه شده استفاده کرده. این راه‌حل Elo rating system هستش. به صورت خلاصه این شکلی هست که فرض می‌شه هر بازیکنی یک امتیازی داره. وقتی دو تا عامل قراره با هم بازی کنن، از روی امتیازاتشون یک احتمال برد یا بهتر بگم یک احتمال امتیازگیری برای هر عامل حساب می‌شه و بعد بر حسب نتیجه بازی و این احتمال پیش از بازی، به ریتینگ برنده اضافه و از ریتینگ بازنده کم می‌شه و این طوری میشه از بازیکن‌ها یک رنک کلی به دست آورد. این طوری مثلا اگر یک بازیکن قوی یک بازیکن ضعیف رو ببره بابتش امتیاز کمی می‌گیره و بازیکن ضعیف امتیاز کمی ازش کم می‌شه. برعکس اگر یک بازیکن ضعیف یک بازیکن قوی رو ببره امتیاز زیادی بهش اضافه می‌شه و امتیاز زیادی از بازیکن قوی کم می‌شه.

لینک بنچمارک:
https://arena.lmsys.org/

لینک راجع به رده‌بندی الو:
https://en.wikipedia.org/wiki/Elo_rating_system

Wikipedia

Elo rating system

The Elo rating system is a method for calculating the relative skill levels of players in zero-sum games such as chess or esports. It is named after its creator Arpad Elo, a Hungarian-American physics professor.

از صحبتهای یکی از دوستان

#افکار_پریشان

کشاورزی اوپن سورس
امروز از طریق توییت آندره‌آ کارپثی با این FarmBot آشنا شدم. به طور خلاصه فارم‌بات یک سیستم رباتیک و متن‌باز برای کشاورزیه که کارها رو خودکار می‌کنه و تو کشت مواد غذایی کمک می‌کنه. با این سیستم، دیگه نیازی به کار زیاد نیست چون یه بازوی رباتیک داره که بذرها رو می‌کار و آب می‌ده و صرفا کافیه براش برنامه و پلن تعریف کرد، این که مثلا آقا هویج ها رو با چه پترنی بکار و به اون یکی ها به چه میزان آب بده و ... می‌تونید این ربات رو مطابق نیاز خودتون شخصی‌سازی کنید و با استفاده از حسگرها و دوربین‌ها، وضعیت گیاه‌ها و خاک رو بررسی کنید تا به بهترین نتیجه برسید. همه چیز هم از طریق یه رابط کاربری آنلاین کنترل می‌شه، پس می‌تونید از هر جایی برنامه‌ریزی و نظارت کنید. در واقع فارم بات یک باغچه کوچولو هست که روش یک بازوی روباتیک با کلی ابزار هست که قابل برنامه‌ریزی و شخصی‌سازی اتوماتیکه (از کاشتن گیاه گرفته تا آب دادنش و حتی سوزوندن علف‌های هرز!! و ...) و در ضمن کمک می‌کنه با نهایت دقت عملیات کشت گیاه انجام بشه. قیمت نسخه پروش هم ۴۳۰۰ دلاره که به نظر می‌ارزه. اگر خارج بودم میتونستم می‌خریدمش.

ویدئو برای آشنایی بیشتر:
https://www.youtube.com/watch?v=qwSbWy_1f8w

سایتشون:
https://farm.bot/

YouTube

FarmBot - Take Back Control

#FarmBot is humanity's open-source CNC farming machine designed for small-scale automated food production. Take back control of the food system at https://farm.bot