این که بازار سهام آمریکا و خصوصا Nvidia در پی موفقیت شرکت چینی Deepseek شدیدا ریخت رو که همه میدونیم اما باید به Jevons Paradox هم توجه کرد. هر زمان بهره‌وری و افیشنسی ابزار و تکنولوژی در مصرف چیزی در تاریخ بشر بالا رفته، تقاضا برای کاربردش زیادتر شده. برای مثال اگر یک تکنولوژی با مصرف ذغال سنگ کمتری انرژی بیشتری تولید کرده، به طور متناقضی، مصرف ذغال سنگ افزایش پیدا کرده. پس پیشبینی میشه تقاضای computation و GPU افزایش پیدا کنه.

این جالبه که Deepseek توسط یک Hedge Fund توسعه داده شده. اصولا Quantها علاوه بر اینکه در مهندسی و ریاضیات قوی هستن بیشترین skin in the game رو دارن چون اشتباهاتشون مستقیما باعث ضررهای سنگین برای شرکت‌های سرمایه‌گذاری میشه.

دو نکته دیگه:

آندره کارپاتی از مدت ها قبل همیشه میگفت که RLHF جواب نیست و باید از Pure RL استفاده بشه. این نکته‌ای بود که احتمالا برای Deepseek جواب داد اما به دلیل بهره گیری از روش درست برای گرفتن داده‌های با کیفیت. البته بعضا در مورد قدرت مدل پایه هم صحبت میشه.

ضمنا همه چیز رو به چین تقلیل ندیم. در واقعیت پیشرفت‌های AI از در هم تنیدگی آمریکا و چین هست. تکنولوژی AI داره عموما به صورت جمعی پیشرفت میکنه و مهد این پیشرفت در آمریکا بوده همیشه برای مثال ترنسفرمر که نقطه عطف پیشرفت مدل‌های زبانی و LLM بود توسط گوگل توسعه داده شد. و از طرفی آمریکا هم پر از استعدادهای چینی هست (عکس تیم‌های المپیاد آمریکا رو ببینید) و از اون طرف هم اگر دقیق دنبال کنید خیلی از متخصصین Deepseek تا یک سال قبلش در شرکت‌های آمریکا کار کردن و متخصص شدن.

دوستانی که از حوزه Software و ML/AI وارد حوزه کوئانت و Algorithmic Trading میشن عموما یک اشتباه اساسی دارن و اون هم این هست که از ابتدا فرآیند حل مسئله رو تماما در قالب داده، کد و نرم افزار میبینن و هیچوقت Trade دستی یا Discretionary Trading انجام ندادن و نتیجتا در تعریف مسئله و label، تعریف فیچر، بکتست، مدیریت سرمایه و به طور کلی توسعه سیستم Algorithmic Trading به مشکل میخورن. نیاز به domain expertise برای حوزه Quantitative Finance بالاست.

راه حل: بهتره اکثر افراد تیم (بجز دواپس و ...) اکانت با پول واقعی داشته باشن، بازار رو دنبال کنن و با روش‌هایی مثل price action ترید بزنن و از تحلیل‌ها و insight ها برای سیستمشون ایده بگیرن. تاکید میکنم که اکانت real با پول واقعی باشه تا skin in the game داشته باشید و نتایج واقعی بگیرید. برای مثال در فارکس میتونید حتی ۵۰ دلار اکانت داشته باشید با 0.01 لات ترید کنید.

پ.ن: در این پست قبلا گفته بودم ترید کوتاه مدت خطرناک هست. این بحث ماجراش متفاوته، در واقع اگر تخصص و تجربه باشه هیچ اشکالی نداره حتی HFT اما من افراد تازه کار زیادی دیدم که در ابتدا با پول زیاد و لورج بالا به علت نبود مدیریت ریسک و رفتار هیجانی (و گاها بروکر B-book) کال مارجین میشن.

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT \#optimizer = Adam(model.parameters(), lr=1e\-3) optimizer = ADOPT(model.parameters(), lr=1e\-3)

این پست برای تازه واردها در بازار‌های مالی هست. خیلی اوقات دوستانی میگن که میخوان وارد این حوزه بشن. همیشه چند نکته رو میگم:

۱_ از Trading کوتاه مدت بدون لحظه‌ای شک اجتناب کنید تا پولتون به باد نره مگر اینکه یک سیستم کامل (احتمالا به همراه یک تیم با تخصص کوئانت) داشته باشید که تمام اصول و جزئیات رو رعایت میکنه. این سیستم نیاز به زمان، کار و تخصص زیادی داره که میشه موضوع مورد بحث در دوره‌ای که در این خصوص داریم.

۲_ حتی اگر یک سیستم برای معاملات الگوریتمی کوتاه مدت دارید، سعی کنید یک پرتفو مثلا از USDT، طلا (XAUT) و بیتکوین داشته باشید و البته اگر دسترسی دارید صندوق سهام آمریکا. اینجا با توجه به میزان ریسک و علمی که دارید درصدهارو گاها جا به جا کنید و معامله کنید و صد البته به مرور یک سیستم نرم‌افزاری براش توسعه بدید. یاد بگیرید که صبور باشید و با نوسانات کوتاه مدت هیجانی معامله نکنید.

۳_ نیاز نیست لزوما علم بالایی داشته باشید تا بتونید یک پرتفو رو بگردونید و سود کنید. با مطالعه و تجربه بخشی از پرتفو رو معامله کنید که این بخش با کسب تجربه میتونه بیشتر بشه. برای مثال با مشخص شدن نتایج انتخابات میتونستید بیتکوینِ پرتفوتون رو اضافه کنید. این مسئله با توجه به اظهار نظرهای ترامپ درباره بیتکوین قبل از انتخابات کاملا واضح بود. بعضی موارد نسبتا پیچیده تر مثل این پست هم به مرور میتونه مبنای معامله‌گری در پرتفوی شما باشه.

پ.ن: دیدیم که پست قبل هم در واقع تاچ تابلو زده نشد و قانون پابرجا بود (تاچ تابلو رو نمیشه زد!) و یا اگر هم زده شد شاید در یک بازه کوتاه بود.

قبول دارم شاید یکی از سخت‌ترین کارها باشه اما تا میتونید از انجام همزمان کارها و از اون مهم تر وجود یک گوشی هوشمند با نوتیفیکیشن در کنارتون در زمان کار اجتناب کنید. دلیل فقط تمرکز یا productivity نیست (که خوب این واضحا همیشه بوده و میدونیم)، دلیل حافظه است! زمانی که multitasking میکنیم یا در هنگام انجام یک کار (حتی تفریحی) تمام حواسمون روی کار نیست و یک گوشی که بالقوه نوتیفیکیشن داره هم هست، حافظه ضعیف تری به اون کار اختصاص پیدا میکنه و فراموشی اتفاق میفته چرا که حافظه در این حالت چند fragment خواهد شد که باهم در رقابت هستند. راه حل: حالت focus mode رو فعال کنید در گوشی و یا گوشی رو شارژ نکنید (کنترل محیط)

نکته بسیار جالب بعدی در رابطه با حافظه و فراموشی این هست که اگر سعی کنید تمامِ یک تجربه را عکس یا فیلم بگیرید (به اصطلاح over document کنید) اتفاقا در آینده اون عکس‌ها رو زود رد می‌کنید اما اگر عکس‌ها یا فیلم‌های کوتاهی بگیرید که به عنوان سرنخ برای یادآوری آن تجربه باشند، آن مستند برای شما ارزشمند خواهد بود و به تقویت حافظه بسیار کمک می‌کند.

پ.ن: طبق عادت پشت فرمون پادکست Hubermanlab گوش میکنم که در اپیزود اخیرش یک متخصص و دانشمند در حوزه حافظه و تمرکز صحبت میکرد. اپیزود بسیار جالبی بود.

پ.ن۲: معتقدم اگر حافظه ضعیفی در کارها و حتی امور روزمره داشته باشیم، شاید زمان نسبتا زیادی از عمرمون بگذره اما حس کنیم کمتر تجربه کردیم. این البته شروع یک بحث عمیق تر هست در کتاب ماشین تجربه که اینجا میتونید بررسی کنید.

تخیف برای یک هفته تمدید شد

احتمالاً با استفاده از ابزارهای هوش مصنوعی تصاویری با ظاهر بسیار واقعی تولید کرده‌اید. تئوری پشت این ابزارها diffusion models است. در کانال یوتیوب، ویدیوهای شماره ۸۱ تا ۸۹ از پلی لیست یادگیری عمیق را به این موضوع اختصاص داده‌ام. اسلایدهایی را که به همین منظور آماده کرده بودم، برایتان پیوست کرده‌ام.

@golemcourse

KerasHub

حتما ببینید. همونطور که قبلا Keras3 و Keras Core معرفی شد، هدف KerasHub این هست که با استفاده از Keras3 و Kaggle مدل‌های pretrained از LLM برای training و Inference استفاده بشه. مزیت اساسی سینک بودن با Kaggle Models هست و البته همون مزیت جدید Keras یعنی قابلیت سوییچ بین Jax, Pytorch و TensorFlow. فقط نیاز به یک اکانت Kaggle و API Key هست.

برای مثال Stable Diffusion 3 رو ببینید.

خیلی پیام میگیرم درباره اینکه بعضیا برای رایگان کردن دوره‌‌های کورسرا مشکل دارن: برای یادگیری Machine Learning و خصوصا تئوری مدل‌ها نیاز نیست منتظر کورسرا و financial aid باشید. یک منبع یادگیری فوق‌العاده و رایگان کانال یوتیوب StatQuest هست:
Playlists
برای مثلا میتونید از این لیست شروع به یادگیری کنید که واقعا کامل هست. این لیست در آخر به deep learning, transformers , pytorch و ... میرسه.
مزیت این منبع پوشش الگوریتم مدل‌هایی مثل XGBoost هست که معمولا آموزش‌هاش پیدا نمیشه. اگر برای گرفتن شغل در این حوزه برنامه‌ریزی میکنید حتما باید پایه و تئوری مدل‌ها رو بلد باشید. در مصاحبه از شما نمیخوان که یک درخت تصمیم رو import کنید و train کنید، بلکه مفاهیمی مثل information gain و entropy سوال میشه. مفاهیم پایه مثل bias variance و ... هم خوب توضیح داده و اصولا میتونه برای شروع و تکمیل یادگیری دوره خیلی خوبی باشه.