یک قدم دیگر نزدیک‌تر به ایجنت‌های هوشمند با Agent Q

چند ماهی هست که بحث الگوریتم *Q در توییتر اکادمیک مطرح شده. هدف محققین توسعه ایجنت‌های هوشمندی هست که بتونن در کنار reasoning بر روی تسک‌های مختلف، توانایی self-improvement هم داشته باشن.

استارآپ MultiOn با معرفی یک ایجنت یا مدل جدید یک قدم به این هدف نزدیک‌تر شده. ایجنت معرفی شده با الهام گرفتن از الگوریتم actor-creatic در reinforcement learning و tree search، صفحات وب رو بر اساس یک generative value function رنک بندی می‌کنه و یک اکشن مناسب (صفحه بعدی) توسط ایجنت انتخاب میشه. در نهایت نتیجه اکشن انتخابی با استفاده از یک VLM سنجیده میشه و با ریواردی که ایجنت دریافت می‌کنه، می‌تونه عملکردش رو در هر مرحله بهبود بده.

نتایج استفاده از این فریمورک، نشون دهنده عملکرد خیلی خوب این ایجنت بر روی تسک online booking هست. علاوه به امیدوار کنننده بودن این نتایج سوالات زیادی مثل مسائل safety بر سر راه محققین این حوزه هست و باید دید که در آِینده شاهد چه پیشرفت‌های دیگه‌ای خواهیم بود.

- بلاگ معرفی ایجنت
- توییت MultiOn

#News #LLM #Agents #RL
@Intelligent_Machines

دومین ورکشاپ RL Theory

اگر علاقه‌مند به حوزه Reinforcement Learning و مباحث تئوری اون هستید، جالبه بدونید که گروه RL theory seminar یکی از فعال‌ترین گروه‌ای این فیلد هستش. علاوه بر جلسات هفتگی که به صورت فصلی توسط این گروه برگزار میشه، دو دوره خفن ورکشاپ RL theory هم توسط این تیم برگزار شده. دومین دوره از این سری ورکشاپ‌ها هفته پیش در آلبرتا برگزار شد و خوشبختانه همه ویدیو‌ها و اسلاید‌های این ورکشاپ برای عموم منتشر شده.

در این ورکشاپ مباحث جذاب و ترندهای اخیر در RL بررسی شده و جمع خوبی از محققین معروف این حوزه آخرین کارهاشون رو ارائه کردن.

- وبسایت این ورکشاپ
- پلی لیست یوتیوب این ورکشاپ
- وبسایت گروه RL Theory

#RL #Workshop
@Intelligent_Machines

YouTube

RL Theory Workshop 2024

Recordings from our Second RL Theory Workshop 2024 located in Edmonton

اولین کنفرانس تخصصی برای Reinforcement Learning چند هفته پیش خبری مبنی بر برگزار شدن اولین کنفرانس تخصصی برای RL در سال جاری منتشر شد. تیم اجرایی این کنفرانس و تیم مشاورانشون از محققین خفن و معروف این فیلد هستن. به جز معرفی تیم برگزاری و همچنین اطلاعات مربوط…

rlj.cs.umass.edu

RLJ · 2024

Reinforcement Learning Journal (RLJ)

ابزارهای مورد نیاز برای ریسرچ: این قسمت نوشتاری خب من میخواستم ابزارهایی رو که موقع نوشتن یه ریپورت، پیپر، پایان نامه و شاید پروپوزال به دردتون میخوره و خودم هم ازشون استفاده کردم رو اینجا باهاتون شاره کنم. اوب‌سای یا اپلیکیشن‌هایی که مربوط به گرامر چک یا…

معرفی obsidian: ابزار کاربردی برای نوت برداری

امروز توییت Andrej Karpathy رو در مورد معرفی یه اپ برای نوت برداری به اسم obsidian رو دیدم که خیلی درباره این اپ تعریف کرده بود. برحسب کنجکاوی و به خاطر اینکه خودم خیلی وقته دنبال همچین اپی هستم (بعد از تست کردن notion و خیلی اپ دیگه)، بنظرم خیلی اپلیکیشن کامل و خوبیه. مهمترین نکته بنظرم اینه که استفاده ازش خیلی راحته. فقط کافیه نوت خودتون رو به صورت markdown بنویسید. قابلیت جالبش برای من امکان لینک کردن نوشته‌ها به هم دیگه هستش که خیلی میتونه برای دسته‌بندی نوشته‌ها مفید باشه و حتی به شما کمک که در صورت علاقه نوشته خودتون رو توی وبسایت خودن پابلیش کنین.

#tools
@Intelligent_Machines

اولین کنفرانس تخصصی برای Reinforcement Learning

چند هفته پیش خبری مبنی بر برگزار شدن اولین کنفرانس تخصصی برای RL در سال جاری منتشر شد. تیم اجرایی این کنفرانس و تیم مشاورانشون از محققین خفن و معروف این فیلد هستن. به جز معرفی تیم برگزاری و همچنین اطلاعات مربوط به مکان و زمان برگزاری، جزئیات زیادی از این کنفرانس تا دیروز در دسترس نبود. تا اینکه دیروز با منتشر کردن اولین بلاگ پست این کنفرانس، اطلاعات جدیدی در مورد هدف برگزاری و چند مورد دیگر ارائه کردن.

نکته جالب این بلاگ پست شاید در مورد نحوه بررسی و قبولی پیپرهای ارسالی هستش. تیم برگزاری تصمیم گرفتن که بررسی پیپرها رو در دو فاز انجام بدن که این روال جدیدی هستش و متفاوت از چیزی که در کنفرانسای معروف مثل ICML یا Neurips دیدیم. پیپرهای ارسالی قراره که اول از لحاظ درستی نتایج ادعا شده و صحت تئوری کار توسط یک تیم خبره از دانشجوها بررسی بشن. بعد از طی کردن این مرحله یک تیم از متخصصین قراره که در مورد impact و novelty کارها نظرشون رو اعلام کنن. روند جدید این امید رو میده که کارها به صورت دقیق بررسی بشن و نظرات خوب و دقیقی برای هی پیپر اعلام بشه که در صورت ریجکت شدن یک کار، محققین بتونن با رفع اشکالات کار خودشون رو سریعا به کنفرانس بعد از این رویداد که neurips هست برسونن که خب امکان خوبیه. هنوز خیلی جزئیات دقیق در مورد اینکه این کار چطور قراره انجام بشه و سایر موارد این کنفرانس اعلام نشده و طبق اعلام تیم برگزاری رفته رفته جزئیات بیشتری از این رویداد منتشر میشه.

#news
@Intelligent_machines

rl-conference.cc

Reinforcement Learning Conference 2024

ابزارهای مورد نیاز برای ریسرچ: این قسمت نوشتاری

خب من میخواستم ابزارهایی رو که موقع نوشتن یه ریپورت، پیپر، پایان نامه و شاید پروپوزال به دردتون میخوره و خودم هم ازشون استفاده کردم رو اینجا باهاتون شاره کنم. اوب‌سای یا اپلیکیشن‌هایی که مربوط به گرامر چک یا بهتر کردن نوشتار هستن مثل گرامرلی رو هم بعدن تو یه پست دیگه معرفی می‌کنم. بیشتر این ابزارها برای نوشتن با latex هستن. این پست رفته رفته با توجه به تجربه خودم آپدیت میشه. شما هم اگر ابزاری استفاده میکنین که کار رو براتون راحت‌تر میکنه، می‌تونین اون رو با ما به اشتراک بزارین?

- اورلیف برای لتک (حتی از نظر بعضیا لیتک، لاتک و لاتکس)
این سایت یه کامپایلر آنلاین برای latex فراهم میکنه. فکر میکنم به حد کافی معروف هست که نیاز به معرفی نداشته باشه. ولی اگر قصد نوشتن دارین از latex استفاده کنین چون نتیجه نهایی خیلی شکیل‌ تر و تمیز تر از آب در میاد.

- برش و استخراج تصاویر موجود در مقاله‌ها با pdfCrop
این وبسایت برای crop کردن تصاویر و حتی پلات‌های پایتونی که دارین خیلی خوب جواب میده. طبیعتا وقتی در محیط latex مشغول نوشتن مقاله یا پایان‌نامه هستین، سعی کنین نمودار‌ها و دیاگرام‌هایی که دارین رو در قالب pdf استفاده کنین. این کار باعث میشه که کیفیت تصاویر موقع زوم کردن افت نکنه. سایتش فیچرای دیگه‌ای هم برای کار کردن با pdf داره و نسبت به بقیه سایت‌هایی که این امکانات رو دارن سریع‌تر و روون تره بنظرم.

- کشیدن هر نوع دیاگرام با draw .io
مزیت این سایت برای کشیدن دیاگرام اینه که خیلی کار کردن باهاش راحته. علاوه بر این خروجی pdf میده بهتون و اینکه خیلی کارای متونع میتونین باهاش انجام بدین. همچنین می‌تونین دیاگرامایی که درست میکنین رو روی درایو هم ذخیره کنین.

- تولید انواع جدول برای latex
اگر نیمخواین زیاد درگیر تولید کردن جدول با latex نشین، این وبسایت کد latex حاضر و آماده جدول مورد نظر رو تولید میکنه و با یه کپی پیست ساده می‌تونین جدول رو در مقاله داشته باشین.

- تولید کد latex فرمول از روی عکس
این اپ/وبسایت هم خیلی کار راه بندازه. مخصوصا وقتی درگیر فرمولای زیاد هستین و میتونی با گرفتن عکس فرمول دست نوشته خودتون یا اسکرین شات از فرمول مقاله، کد لتک اون رو حاضر و آماده داشته باشین. مسئله‌ای که هست یه محدودیت 100 تایی برای اکانتای رایگان داره که داشتن چنتا اکانت خوراک ماست و به راحتی میشه این محدودیت رو دور زد. و اینکه ابزاریی مثل bard و chatgpt (اگر اشتراک پریموم دارین) هم این قابلیت رو دارند.

#tools
@Intelligent_machines

Overleaf

Overleaf, Online LaTeX Editor

An online LaTeX editor that’s easy to use. No installation, real-time collaboration, version control, hundreds of LaTeX templates, and more.