اینجا کاخ سفید و اینم ایلان ماسک.

دونالد ترامپ رئیس جمهور جدید آمریکا (ایلان طرفدار ایشون)

ایلان این حرکت رو بعد از خرید توییتر زده بود.

الان ی مشت حسود پلاستیکی میان میگن عکس فتوشاپ هست‌

تکنیک مورد علاقه جدیدم :

https://docs.instructlab.ai

ی بنده خدا هم هست توی لینکدین
۲ سال و نیم هست (حداقل از وقتی من میشناسم) داره مصاحبه می‌کنه که موقعیت خارج از ایران بگیره

هنوز موفق نشده، بعد تجربیاتی که می‌ذاره زیر ۱۰۰۰ تا لایک نداره.

امشب دیدم زده می‌خواد بصورت خصوصی افراد رو راهنمایی کنه موقعیت بگیرن (با هزینه)

بعد ۳۰۰ تا اسکل هم کامنت کردن با این مضمون که :
تورو خدا منو بذار تو اولویت

لینکدین از اینستاگرام هم اسکل بیشتر داره 🤣😂

بگذارید هرکس به آیین خودش باشد.
زنان را گرامی بدارید.
فرودستان را دریابید.
اجازه دهید هرکسی به تکلم قبیله‌ی خویش سخن بگوید.

آدمی تنها در مقام خویش به منزلت خواهد رسید.

۷ آبان روز بزرگداشت کوروش کبیر، همایون باد.

اگر لینکدین رو بذارم مرجع بیش از ۸۰٪ کسانی که در زمینه AI کار می‌کنند و سطح Senior (با توجه به لینکدین)

فقط مدرس هوش مصنوعی هستند.
یا بنیانگذار شرکتی که از API هوش مصنوعی شرکت‌های خارجی استفاده می‌کند.
و هیچ پروژه موفق دپلوی شده‌ای ندارند.

فروش رویا به نسل جدید توی شرایط سخت این روزها منبع درآمد این گروه شده.

اگر خواستید حرف‌های من رو validate کنید این مسیری هست که ما رفتیم :

1) LinkedIn crawler (playwright mostly)
2) Json parser for most of the information
3) LLM & LLM Scrappers
4) Search company, role and ... using google/duckduckgo api
5) Human check (for edge cases)

این پروژه‌ای بود که من به دوتا از بچه‌ها دادم (هدف یادگیری llm finetune و ... بود با یک پروژه چالشی)

الان خود کد و تحلیل‌هاشون رو می‌فروشند، شما هم می‌تونید تمرین کنید.

شاید تا چندوقت دیگه اینم سرویس شد (برای تمرین بیشتر و تعداد یوزر در اسکیل بزرگ)

پ.ن : فقط منتورشیپ بچه‌ها ٫ کد ریوو با من بود و بنده هیچ کدی رو نزدم روی این پروژه (همش کار خودشون بود)

سال 2020 درمورد نحوه استفاده از Rapids توی شرکتی که اون زمان کار میکردم گفتم.
بعدتر درمورد cuGraph هم صحبت کردم.

دیروز دیدم یک تیم ایرانی شدیدا درگیر پردازش یک حجم بزرگ از گراف هستند که خب networkX سالها طول میکشه

قبل خرید و تصمیمات … گرفتن یک مشاوره از من گرفتند؛ کد رو بردم روی cuGraph و پردازش تا 300x سریعتر شد؛ قطعا بیشتر هم میشد ولی نیاز به اپتیمایز کردن نبود.

خواستم یادآوری کنم که؛ حواستون به پستهای قدیمی کانال هم باشه؛ بعضیاش طلاس
زمان لازم داره تا ارزشش مشخص بشه.

پروژه ollama؛ یکی از اون پروژه‌های جذاب هست برای تست مدل‌ها و ... قبل از اینکه بخواهید وقت برای آماده سازی مدل روی پروداکشن بذارید. البته همینجا اشاره کنم؛ مشکلات خیلی زیادی هم داره. یکی از مشکلاتش حجم context-size هست؛ یعنی شما یک مدل 128k رو بهش میدی ولی…

GitHub

Unable to Change Ollama Models Directory on Linux (Rocky9) · Issue #4732 · ollama/ollama

What is the issue? I am following every instruction on the documentation and any other suggestions from previous issues. However, I am unable to change the Ollama models directory to another direct...

باز هم از Meta معرفی نسخه دوم Segment Anything یا همون SAM2 با نتایج خیره کننده روی عکس و ویدئو

https://go.fb.me/edcjv9

Meta AI

Introducing SAM 2: The next generation of Meta Segment Anything Model for videos and images

Today, we’re publicly releasing SAM 2, the first-ever unified model for segmenting anything in videos and images.

پروژه ollama؛ یکی از اون پروژه‌های جذاب هست برای تست مدل‌ها و ... قبل از اینکه بخواهید وقت برای آماده سازی مدل روی پروداکشن بذارید.

البته همینجا اشاره کنم؛ مشکلات خیلی زیادی هم داره.

یکی از مشکلاتش حجم context\-size هست؛ یعنی شما یک مدل 128k رو بهش میدی ولی بدون اینکه اطلاعاتی گذاشته باشند راجبش مدل رو روی 2k برای context\-size لود می‌کنه (این اواخر 8k شده که بازم کافی نیست)

این تصمیم از طرف تیم ollama تصمیم درستی هست با توجه به اینکه افزایش context size نیاز به GPU vRAM بیشتری داره و اکثر کاربرهای ollama برای استفاده شخصی ازش استفاده می‌کنند اما مسئله این هست که توی سایت مدل رو میزنه 128k و بدون اینکه توضیحی بده توی تنظیمات از 8k یا 2k استفاده می‌کنه.

خیلی وقت بود پست آموزشی نذاشته بودم امروز تصمیم گرفتم اینکار رو آموزش بدم؛ به ساده‌ترین روش ممکن.
مسئله اینه که اگر از طریق API call یخواید context length رو افزایش بدید هیچکار خاصی نمی‌کنه و نتیجه مورد نظر رو نمی‌گیرید و تنها راهکار ساخت یک ModelCard و مدل جدید هست؛ من آموزش رو روی llama3.1 ادامه میدم چون مدل مورد علاقه‌ام در حال حاضر هست.

قدم اول: مدل اصلی رو از ollama دانلود کنید

ollama pull llama3.1

که مدل 8 میلیاردی با Q4 رو براتون دانلود می‌کنه.

قدم بعدی: model card رو از مدل استخراج کنید و توی ی فایل ذخیره کنید

ollama show llama3.1 —modelfile > llama3.1\-128k\-conf.txt

حالا بدون دردسر این کانفیگ رو آپیدت کنید:
اول از همه خط مربوط به FROM رو آپدیت کنید که بجای خوندن از local آپدیت بودنش رو با سایت ollama بررسی کنه
نگران نباشید این قدم نیازی به دانلود مجدد نخواهد داشت.

FROM llama3.1:latest

کاری به تمپلیت نداریم؛ اما بعد از تمپلیت و قبل از شرح لایسنس جایی هست که می‌تونید پارامترها رو اضافه کنید که من اون رو روی 128k میزارم (توجه کنید که مضرب ۲ هست و به اصطلاح ۱۲۸ گفته میشه)

PARAMETER num\_ctx 131072

در نهایت بعد از ذخیره فایل باید مدل رو از روی model card بسازید.

ollama create llama3.1\-128k \-f llama3.1\-128k\-conf.txt

بعد از این می‌تونید طبق معمول از مدل استفاده کنید.

توجه کنید با اینکار حتی مدل 8k, 4bit هم به بیش از 36GB gpu vram نیاز خواهد داشت؛ اما شما می‌تونید از همین تکنیک استفاده کنید و context size رو روی هر عددی بذارید کوچکتر از 8k ( اگر gpu کمتری دارید و سوالاتتون نیاز به context نداره ) یا بزرگتر فقط توجه کنید که مدل اون میزان context رو پیشتیبانی کنه.

نکته آخر:
توجه داشته باشید که تعداد توکن تولید شده توسط مدل هم جزوی از حجم context در نظر گرفته میشه.
یعنی اگر شما max token رو برای تولید روی 1024 بذارید فقط 7k برای context فضا خواهید داشت و ...

قابلیت سوال و جواب در مورد ویدئو توی
Gemini 1.5 pro
نسخه جدید واقعا فوق‌العاده هست؛ فرض کنید قابلیت 2m Token کانتکس رو به این اضافه کنید چه کارهایی که نمی‌شه کرد.

اضافه کنم دقتش بسیار بسیار بالاس