خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT \#optimizer = Adam(model.parameters(), lr=1e\-3) optimizer = ADOPT(model.parameters(), lr=1e\-3)

این پست برای تازه واردها در بازار‌های مالی هست. خیلی اوقات دوستانی میگن که میخوان وارد این حوزه بشن. همیشه چند نکته رو میگم:

۱_ از Trading کوتاه مدت بدون لحظه‌ای شک اجتناب کنید تا پولتون به باد نره مگر اینکه یک سیستم کامل (احتمالا به همراه یک تیم با تخصص کوئانت) داشته باشید که تمام اصول و جزئیات رو رعایت میکنه. این سیستم نیاز به زمان، کار و تخصص زیادی داره که میشه موضوع مورد بحث در دوره‌ای که در این خصوص داریم.

۲_ حتی اگر یک سیستم برای معاملات الگوریتمی کوتاه مدت دارید، سعی کنید یک پرتفو مثلا از USDT، طلا (XAUT) و بیتکوین داشته باشید و البته اگر دسترسی دارید صندوق سهام آمریکا. اینجا با توجه به میزان ریسک و علمی که دارید درصدهارو گاها جا به جا کنید و معامله کنید و صد البته به مرور یک سیستم نرم‌افزاری براش توسعه بدید. یاد بگیرید که صبور باشید و با نوسانات کوتاه مدت هیجانی معامله نکنید.

۳_ نیاز نیست لزوما علم بالایی داشته باشید تا بتونید یک پرتفو رو بگردونید و سود کنید. با مطالعه و تجربه بخشی از پرتفو رو معامله کنید که این بخش با کسب تجربه میتونه بیشتر بشه. برای مثال با مشخص شدن نتایج انتخابات میتونستید بیتکوینِ پرتفوتون رو اضافه کنید. این مسئله با توجه به اظهار نظرهای ترامپ درباره بیتکوین قبل از انتخابات کاملا واضح بود. بعضی موارد نسبتا پیچیده تر مثل این پست هم به مرور میتونه مبنای معامله‌گری در پرتفوی شما باشه.

پ.ن: دیدیم که پست قبل هم در واقع تاچ تابلو زده نشد و قانون پابرجا بود (تاچ تابلو رو نمیشه زد!) و یا اگر هم زده شد شاید در یک بازه کوتاه بود.

قبول دارم شاید یکی از سخت‌ترین کارها باشه اما تا میتونید از انجام همزمان کارها و از اون مهم تر وجود یک گوشی هوشمند با نوتیفیکیشن در کنارتون در زمان کار اجتناب کنید. دلیل فقط تمرکز یا productivity نیست (که خوب این واضحا همیشه بوده و میدونیم)، دلیل حافظه است! زمانی که multitasking میکنیم یا در هنگام انجام یک کار (حتی تفریحی) تمام حواسمون روی کار نیست و یک گوشی که بالقوه نوتیفیکیشن داره هم هست، حافظه ضعیف تری به اون کار اختصاص پیدا میکنه و فراموشی اتفاق میفته چرا که حافظه در این حالت چند fragment خواهد شد که باهم در رقابت هستند. راه حل: حالت focus mode رو فعال کنید در گوشی و یا گوشی رو شارژ نکنید (کنترل محیط)

نکته بسیار جالب بعدی در رابطه با حافظه و فراموشی این هست که اگر سعی کنید تمامِ یک تجربه را عکس یا فیلم بگیرید (به اصطلاح over document کنید) اتفاقا در آینده اون عکس‌ها رو زود رد می‌کنید اما اگر عکس‌ها یا فیلم‌های کوتاهی بگیرید که به عنوان سرنخ برای یادآوری آن تجربه باشند، آن مستند برای شما ارزشمند خواهد بود و به تقویت حافظه بسیار کمک می‌کند.

پ.ن: طبق عادت پشت فرمون پادکست Hubermanlab گوش میکنم که در اپیزود اخیرش یک متخصص و دانشمند در حوزه حافظه و تمرکز صحبت میکرد. اپیزود بسیار جالبی بود.

پ.ن۲: معتقدم اگر حافظه ضعیفی در کارها و حتی امور روزمره داشته باشیم، شاید زمان نسبتا زیادی از عمرمون بگذره اما حس کنیم کمتر تجربه کردیم. این البته شروع یک بحث عمیق تر هست در کتاب ماشین تجربه که اینجا میتونید بررسی کنید.

تخیف برای یک هفته تمدید شد

احتمالاً با استفاده از ابزارهای هوش مصنوعی تصاویری با ظاهر بسیار واقعی تولید کرده‌اید. تئوری پشت این ابزارها diffusion models است. در کانال یوتیوب، ویدیوهای شماره ۸۱ تا ۸۹ از پلی لیست یادگیری عمیق را به این موضوع اختصاص داده‌ام. اسلایدهایی را که به همین منظور آماده کرده بودم، برایتان پیوست کرده‌ام.

@golemcourse

KerasHub

حتما ببینید. همونطور که قبلا Keras3 و Keras Core معرفی شد، هدف KerasHub این هست که با استفاده از Keras3 و Kaggle مدل‌های pretrained از LLM برای training و Inference استفاده بشه. مزیت اساسی سینک بودن با Kaggle Models هست و البته همون مزیت جدید Keras یعنی قابلیت سوییچ بین Jax, Pytorch و TensorFlow. فقط نیاز به یک اکانت Kaggle و API Key هست.

برای مثال Stable Diffusion 3 رو ببینید.

خیلی پیام میگیرم درباره اینکه بعضیا برای رایگان کردن دوره‌‌های کورسرا مشکل دارن: برای یادگیری Machine Learning و خصوصا تئوری مدل‌ها نیاز نیست منتظر کورسرا و financial aid باشید. یک منبع یادگیری فوق‌العاده و رایگان کانال یوتیوب StatQuest هست:
Playlists
برای مثلا میتونید از این لیست شروع به یادگیری کنید که واقعا کامل هست. این لیست در آخر به deep learning, transformers , pytorch و ... میرسه.
مزیت این منبع پوشش الگوریتم مدل‌هایی مثل XGBoost هست که معمولا آموزش‌هاش پیدا نمیشه. اگر برای گرفتن شغل در این حوزه برنامه‌ریزی میکنید حتما باید پایه و تئوری مدل‌ها رو بلد باشید. در مصاحبه از شما نمیخوان که یک درخت تصمیم رو import کنید و train کنید، بلکه مفاهیمی مثل information gain و entropy سوال میشه. مفاهیم پایه مثل bias variance و ... هم خوب توضیح داده و اصولا میتونه برای شروع و تکمیل یادگیری دوره خیلی خوبی باشه.

طبیعتا برای automate کردن معاملات (یا به قول بعضیا ساختن ربات یا بات) به real-time data نیاز هست. با این فرض که شما یک پایپلاین داده پایتون دارید بهترین گزینه دریافت داده از بروکرتون از طریق پکیج python از metatrader هست:

pip install MetaTrader5

از داکیومنتش میتونید کدهارو دسترسی پیدا کنید.

اگر برنامه‌نویس یا دیتاساینتیست هستین و به trade هم علاقه دارین احتمالا اولین چالشی که به ذهنتون میاد data هست. برای کریپتو میشه از api بایننس یا حتی exchange های ایرانی استفاده کرد. من برای forex مثال میزنم و فقط هم موارد free رو میگم که معمولا داده level2 ندارن.

Historical data:
هر بروکر فارکسی که توش ثبت نام کنید معمولا از طریق برنامه Metatrader به شما داده OHLC در تایم‌فریم‌های مختلف میده‌. اما محدودیت داره برای مثال اگر شما تایم‌فریم ۵ دقیقه بخواین بیشتر از یک سال اخیر بهتون داده نمیده. که خوب اگر بخواین استراتژیتون رو تحلیل کنید یا ماشین لرن train کنید کافی نیست.

راه حل: یک منبع رایگان سایت Dukascopy سوییس هست که باید web scraping انجام بدین. داده کافی (حتی چایی) داره.
با همون یک سال اخیر حتما چک کنید که داده بروکرتون تا حد خوبی مطابق و شبیه با منبع دیگه مورد استفاده باشه که در realtime و ..‌ به مشکل نخورید.

تله‌‌‌های اساسی randomness در بکتست: اثر Overtuning

در توسعه یک سیستم معاملاتی در ابتدا چاره‌ای جز بکتست گرفتن از استراتژی معاملاتی بر اساس داده‌های تاریخی وجود نداره. اما بکتست یکی از ازون مواردی هست که بیشتر از سود احتمالا باعث ضرر آدم‌ها شده و گول زننده بوده. اصولا اتفاقات زیادی میتونن یک بکتست رو به اشتباه به شما سودده و قانع‌کننده نشون بدن و روش‌های درستِ کمی وجود دارن که بکتستی نزدیک به واقعیتِ بازار به شما ارائه میکنن. برای مثال بکتستی که متاتریدر به شما میده به احتمال بالا چاله‌ی پول شماست.
همه میدونیم که باید walk forward optimization (یک نسخه خاص از cross-validation زمانی و با محاسبه سود و drawdown در هر fold) انجام بشه. اما آیا این تضمین کننده پرفرمنس استراتژی و مدل هست؟ خیر. چرا؟ randomness

تله اول randomness در بکتست:
Overtuning (overfitting on test or noise)

وقتی به تعداد خیلی زیادی iteration انجام بدید در واقع پدیده Overtuning اتفاق میفته و به صورت کاملا random بعضی پارامترست‌ها حتی در اکثر فولد‌ها برای شما سودده خواهد بود. اینجا در صورت نبود دانش و تجربه شما احتمالا درگیر یک survivorship bias بشید و احساس کنید به استراتژی مورد نظرتون رسیدین. اگر استراتژی شما خوب باشه با تعداد کم iteration باید جواب بده و صرفا کمی ریزالت ها بهتر بشه. نه اینکه با تعداد خیلی بالا در HPO بخوایم به زور یک سیستم سودده بسازیم.

راه حل:
۱_ کنترل تعداد iteration و نگاه به نتایج آماری تمام iteration ها

۲_ انجام sensitivity analysis روی پارامترها به هدف اینکه مثلا با عوض کردن جزئی پارامترها نتایج خیلی عوض نشه یا با عوض کردن random state نتایج تغییر اساسی نکنه و robustness در پارامترها چک بشه.

۳_ بکتست روی یک دیتاست خارج از فولد OOF در انتهای اکسپریمنت که ترجیحا بازه زمانی بزرگی داره