قبلا، چند تا کتاب درباره LLM معرفی کرده بودم. توی دو ماه گذشته مشغول مطالعه دو کتاب زیر بودم:
کتاب درباره Build a Large Language Model از Sebastian Raschka
کتاب Hands-on LLMs از آقای Jay Alammar

احتمالا یک نقد و بررسی از اون دو کتاب می‌نویسم. فعلا، در این حد بگم که هر دو کتاب خوب هستن و ارزش خوندن دارن.

اما، الان به این فکر می‌کنم که بعد از این کتاب‌ها چه کتابی مطالعه کنم؛ تمایل دارم، کتابی انتخاب کنم که تمرکز بیشتری روی پروداکشن داشته باشه. خوشبختانه، چند تا کتاب از Manning دیدم که جالب هستن. هنوز دقیق بررسی نکردم، اما لیست کتاب‌ها رو اینجا میذارم:
کتاب LLMs in Production (از فهرست مطالب این کتاب خیلی خوشم اومد)
کتاب AI Agents in Action (فهرست مطالب خوبی داره)
کتاب Generative AI in Action (بعید هست کتاب بعدیم این باشه)
کتاب Build LLM Applications (from Scratch) (هنوز کامل منتشر نشده)
کتاب Hugging Face in Action (?)

این کتاب هم فهرست مطالب خوبی داره:
کتاب LLM Engineer's Handbook

بعدا نتیجه بررسی و مطالعه کتاب‌ها رو اینجا می‌نویسم.

امروز سایت deep-ml.com رو بررسی کردم؛ این سایت، شامل یکسری مساله تمرینی در حوزه هوش مصنوعی هست. برای هر مساله توضیحاتی ارائه شده و میشه به‌صورت آنلاین کدنویسی و نتیجه رو برای چک کردن سابمیت کرد.

بیشتر تمریناتش مربوط به جبر خطی، یادگیری ماشین و یادگیری عمیق هست. فقط یک یا دو مساله برای بینایی کامپیوتر و پردازش زبان طبیعی داره. امیدوارم، مساله‌ها بیشتر بشه. خودم علاقه‌مند شدم که در طراحی مساله باهاشون همکاری کنم! :)

به عنوان معلم، همیشه به دوستان پیشنهاد کردم که در آموزش صرفا تماشاگر نباشید و حتما روی مباحث تئوری و کدنویسی تمرین حل کنید.

@pytorch_howsam

تصویر بالا، درخت تکامل مدل‌های زبانی بزرگ (LLM) رو از سال ۲۰۱۸ تا ۲۰۲۴ نشون میده.

نمودار سه شاخه اصلی داره:
شاخه قرمز شامل مدل‌های Encoder-only مثل BERT هست.
شاخه سبز شامل مدل‌های Encoder-Decoder مثل T5 هست.
* شاخه آبی شامل مدل‌های Decoder-only مثل GPT هست.

توی هر شاخه، برگ‌ها مسیر پیشرفت مدل‌ها رو نشون میدن. مثلا، در شاخه آبی، شروع‌کننده تقریبا GPT-2 بوده و جدیدترین‌ هم Llama 3.2 هست.

@pytorch_howsam