بنجیو، گودفلو و دوستان!

هفته آینده کنفرانس Neurips برگزار میشه و امسال قراره که جایزه the Test of Time Paper به دو مقاله معروف سال 2014 اختصاص داده بشه. این جایزه هر ساله به پیپری که 10 سال پیش در این کنفرانس منتشر شده و تاثیر زیادی روی فیلد داشته، اهدا میشه ولی چون دوتا از معروف‌ترین مقالات ML در سال 2014 در این کنفرانس منتشر شدند، امسال کمیته برگزاری تصمیم گرفته که سنت شکنی کنه و دو مقاله رو برای این جایزه انتخاب کنه.

این مقالات به ترتیب Generative Adversarial Nets و Sequence to Sequence Learning with Neural Networks هستند و اگر تعداد سایتیشن‌های هر دو رو نگاه کنیم، به پارادایم شیفتی که ایجاد کردند پی میبریم.

نکته جالب توجه این هفته اما داستان شکل گرفتن ایده GAN در آزمایشگاه بنجیو هست. Sherjil Ozair که یکی از نویسندگان این مقاله هست و اون موقع برای اینترنشیپش در آزمایشگاه بنجیو بوده، شرح ماجرا، از روز اول تا شکل گیری ایده توسط گودفلو، رو به تفصیل در توییتر نوشته.

داستان نویسنده در واقع از یک ایمیل تشکر از بنجیو شروع میشه. سال 2012 که تازه تب تند دیپ لرنینگ شروع شده بوده، آقای بنجیو به شدت آدم فعالی در کامیونیتی بوده و در سایت کوئرا مشغول جواب دادن سوال علاقه‌مندان به این فیلد بوده. این دوستمون در طی یک پیام فقط از بنجیو تشکر میکنه. در ادامه ایمیلی که از بنجیو میگیره که به نوعی میشه گفت که زندگی ایشون رو تغییر میده. بنجیو در اون ایمیل ازش میپرسه که همه دنبال اینن که بیان اینترنشیپ و با من کار کنن و جالبه که تو به این موضوع اصلا اشاره‌ای نکردی و اگه علاقه داری من هنوز پوزیشن باز دارم و حتما اپلای کن. و این میشه شروع همکاری Sherjil Ozair در ازمایشگاه بنجیو در میلا.

مسئله‌ای که اول مطرح شده بوده یک مسئله کاملا گنگ بوده. بنجیو میخواسته توزیع خروجی یک شبکه عصبی رو به دست بیاره و تیم روش‌های مختلفی رو برای این موضوع تست کردن. در نهایت یان گودفلو وقتی اعضای ازمایشگاه برای شام به یک رستورانی رفته بودن ایده generator-discriminator رو مطرح میکنه. این ایده در همون اول کار خنده‌دار به نظر اومده ولی فردای اون روز همشون یک ایمیل از یان گرفتن که ایده‌اش رو کامل توی اون توضیح داده و تا شب هم ریزالت‌های اولیه رو روی دیتاست MNIST گرفته. بعد از اینکه دیدن نتایج خوبه، در عرض یک هفته مقاله رو مینویسن و برای کنفرانس Neurips سابمیتش می‌کنن.

بعد از چاپ شدن مقاله، تیم بنجیو چون خودشون میدونستن که train کردن این مدل خیلی استیبل نیست، شروع کرده بودن روی ورژن‌های مختلف این مدل کار می‌کردن. ولی بعد از چند ماه در سال 2015 مدل DCGAN توسط َAlec Radford (از تیم لید‌های فعلی open AI) معرفی میشه که باعث میشه توجه روی این موضوع دوچندان بشه و فیلد generative AI هر روز عجیب‌تر از دیروز.

اخیرا یک توییت دیگه هم توسط آندرج کارپثی هم در مورد داستان شکل‌گیری مکانیزم attention (باز هم توسط تیم بنجیو) منتشر شده که خوندن اون هم خالی از لطف نیست. البته خود کارپثی جزو این تیم نبوده و صرفا ایمیل نویسنده این مقاله رو منتشر کرده.

- توییت Sherjil Ozair در مورد داستان ایده GAN
- توییت آندرج کارپثی در مورد داستان شکل‌گیری ایده attention

#News #ML #Neurips
@Intelligent_Machines

اینترشیپ، آری یا خیر؟ با توجه به تجربه من، اینترنشیپ رفتن و داشتن تجربه اینترنشنال میتونه تاثیر خیلی زیادی برای فرصت‌های آینده مثل پوزیشن‌های دکتری یا حتی کاری داشته باشه. باز هم با توجه به تجربه من شانس اپلیکنت‌های ایرانی توی پوزیشن‌های اینترنشیپی که به…

اینترشیپ، آری یا خیر؟

با توجه به تجربه من، اینترنشیپ رفتن و داشتن تجربه اینترنشنال میتونه تاثیر خیلی زیادی برای فرصت‌های آینده مثل پوزیشن‌های دکتری یا حتی کاری داشته باشه. باز هم با توجه به تجربه من شانس اپلیکنت‌های ایرانی توی پوزیشن‌های اینترنشیپی که به صورت پروگرم هست، مثل EPFL، محدوده. ولی خب میشه به پوزیشن‌هایی که استادا باز میکنن امید داشت و میارزه شانس خودمون رو امتحان کنیم. برای همین بعد از کلنجار رفتن زیاد، تصمیم گرفتم پوزیشن‌های اینترنشیپی که میبینم رو توی این کانال شیر کنم. باشد که مفید واقع بشه.

لازمه که این نکته رو هم بگم که من مسئولیتی در قبال شیر کردن این پوزیشن‌ها ندارم و صرفا پست‌هایی که توی mailing listها و جاهای دیگه مثل توییتر یا لینکدین ببینم و موقعیتش برام جالب باشه رو شیر می‌کنم. اگر در آینده کسی رو مستقیم خودم بشناسم، حتما این نکته رو ذکر می‌کنم. در نتیجه، یک اینکه خودتون در مورد پوزیشن‌ها (استاداشون، فاندشون، شرایط ویزاشون و کلی فاکتور دیگه) تحقیق کنید. دو اینکه اکثر این پوزیشن‌ها در mailing listهایی که وجود داره برای کامیتونی ماشین لرنینگ، اعلام میشن و کافیه که خودتون عضو این mailing listها بشین. برای مثال چند تا از این لیست‌های معروف:
Machine Learning News, Reinforcement Learning Mailing List, System Neuroscience, complexanalysisanddynamics, ai-robotics
هستن که با سرچ کردن اسمشون google group هر لیست رو میاره و میتونین برای جوین شدن درخواست بدین.

امیدوارم این اطلاعات براتون مفید باشه. نکته نهایی هم که اینترنشیپ رفتن یا نرفتن وحی منزل نیست و واقعا، با توجه به شرایط کنونی، سخت‌تر از قبل هم شده حتی. ولی خب میشه امیدوار بود. سعی میکنم در آینده باز تجربیات بیشتری رو باهاتون به اشتراک بذارم :)

————————————————————————————

علی الحساب 3 موقعیت اینترنشیپ در موسسه Inria فرانسه:

- Diffusion-based Unsupervised Joint Speech Enhancement, Dereverberation, and Separation [Link]
- Contrastive Multimodal Pretraining for Noise-aware Diffusion-based Audio-visual Speech Enhancement [Link]
- Comparative Analysis of Diffusion Models and Variational Autoencoders as Data-driven Priors for Speech Enhancement [Link]

#Position #Internship
@Intelligent_Machines

CaCTüS Internship program

The sciences of biological and artificial intelligence are rapidly growing research fields that need enthusiastic minds with a keen interest in solving challenging questions. The Max Planck Institutes for Biological Cybernetics and Intelligent Systems as well as the AI Center in Tübingen (Germany) offer up to 10 students at the Bachelor or Master level paid three-months internships during the summer of 2025. Successful applicants will work with top-level scientists on research projects spanning machine learning, electrical engineering, theoretical neuroscience, behavioral experiments, robotics, and data analysis. The CaCTüS Internship is aimed at young scientists who are held back by personal, financial, regional, or societal constraints to help them develop their research careers and gain access to first-class education. The program is designed to foster inclusion, diversity, equity, and access to excellent scientific facilities. We specifically encourage applications from students living in low- and middle-income countries which are currently underrepresented in the Max Planck Society research community.

Website: cactus-internship.tuebingen.mpg.de
Applications deadline: 19 November 2024

#Position #Internship
@Intelligent_Machines

نمونه خروجی پادکستی که از یک ویدیو یوتیوب که برای یک تاک در مورد RL بود رو توی این لینک میتونین ببینین (یا گوش کنین). فلو و دیالوگی که توی پادکست هست واقعا جالبه و دقیقا طبق ویدیویی که من بهش به عنوان ورودی دادم، توضیح میدن. البته که یک سری hallucination همچنان هست. مثلا به RLSS که در واقع یک summer school بوده میگه کنفرانس یا یک سری موارد دیگه. ولی قطعا رفته رفته بهتر میشه.

- لینک پادکست
- لینک ویدیو یوتیوب که به عنوان ورودی به NotebookLM دادم.

#Tools
@Intelligent_Machines

محتوا از شما، پادکست از گوگل

چند مدتی میشه که گوگل یک سرویس جدید تحت عنوان NotebookLM ارائه کرده. این سرویس محتوای متنی و فایل‌های pdf شما رو دریافت میکرد و با استفاده از Gemini و یک سیستم RAG، به شما این امکان رو میداد که هر سوالی از این محتوا و فایل‌های pdf دارین رو بپرسین و جوابشون رو notebookLM در اختیار شما قرار میداد.

چند روز پیش یک آپدیتی این سرویس دریافت کرد، که حالا نه تنها فایل‌های متنی بلکه شما میتونین URL ویدیوهای یوتیوب و هر سایت دیگه‌ای، فایل‌های صوتی، اسلاید و گوگل شیت و ... رو هم به این سرویس به عنوان محتوا بدین. طبق تجربه‌ای که خودم از ویدیوهای یوتیوب داشتم، هر نوتی که تقریبا خودم از یک ویدیو برداشته بودم رو notebookLM بهش اشاره کرده بود و از این نظر خیلی عملکردش برام جالب بود.

توانایی مهم این سرویس بنظرم اینه که طبق محتوایی که بهش میدین، یک پادست تحت عنوان Deep Dive به شما ارائه میده که در اون دو نفر در حال مکالمه باهم هستند و در مورد محتوایی شما بحث میکنن یا اون رو آموزش میدن. این موضوع اخیرا خیلی سر و صدا کرده و Andrej Karpathy هم در توییتی بهش اشاره کرده.

#Tools
@Intelligent_Machines

اولین کنفرانس تخصصی برای Reinforcement Learning چند هفته پیش خبری مبنی بر برگزار شدن اولین کنفرانس تخصصی برای RL در سال جاری منتشر شد. تیم اجرایی این کنفرانس و تیم مشاورانشون از محققین خفن و معروف این فیلد هستن. به جز معرفی تیم برگزاری و همچنین اطلاعات مربوط…

rlj.cs.umass.edu

RLJ · 2024

Reinforcement Learning Journal (RLJ)