خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT \#optimizer = Adam(model.parameters(), lr=1e\-3) optimizer = ADOPT(model.parameters(), lr=1e\-3)

اصطلاحات حقوقی در قرارداد #اطلاعات_عمومی

معرفی Dify

چند هفته پیش با این ابزار آشنا شدم که برای توسعه اپلیکیشن حول LLMها بوجود اومده.

ویژگی‌هایی که باعث میشه ازش خوشم بیاد:
- میشه کاملاً بصورت Self-hosted استفاده کرد. نسخه داخل سایتش محدودیت داره ولی Self-hostedاش رایگان هست.
- از اینترفیس وب استفاده می‌کنه و میشه پرامپت‌ها رو به سادگی تغییر داد.
- تمام ورودی خروجی‌ها رو لاگ می‌کنه و میشه برای دیباگ‌ کردن ازش استفاده کرد.
- ابزار Low-code هست و نه No-code. یعنی اگر جایی نیاز بود کد خاص بزنید، میشه به عنوان بخشی از ورک‌فلو بهش کد اضافه کرد.
- تقریباً همه ارائه دهندگان LLM رو ساپورت می‌کنه و به سادگی میشه به همشون وصل شد و جابه‌جا شدن بین این‌ها هم بسیار ساده است.
- از استریمینگ بصورت اتوماتیک ساپورت می‌کنه

نظر نامحبوب من اینه که ابزاری مثل Langchain بیش از حد بهش پرداخته شده و انتزاعات بیش از حد و غیرضروری تعریف کرده. به شخصه ترجیح میدم، تا حد امکان ازش استفاده نکنم (کما این که کدش هم بسیار کثیف نوشته شده و خدا نکنه آدم جایی مجبور بشه کدش رو بفهمه یا تغییر بده). تو شبکه‌های اجتماعی هم اگر نگاه کنید، خیلی‌ها گفتند که واقعاً استفاده از Langchain نمی‌ارزید. در واقع تنها فیچر خیلی خوبش Langsmith بود (برای لاگ کردن) که اونم از ماه بعد پولی میشه.

اما این ابزار به معنای واقعی کلمه ارزش ایجاد کرده و تو این چند وقت که ازش استفاده کردم، هر روز بیشتر متعجب شدم. بخشی از تعجبم هم اینه که چرا انقدر کم بهش پرداخته شده.

روالش هم این‌طوری هست که می‌تونید بصورت داکری روی سرور خودتون بالا بیارید. LLMهای مختلف‌تون رو روش تعریف کنید و بعد از اون Workflow تعریف می‌کنید و ورودی و خروجی و پرامپت‌هاتون رو داخلش می‌نویسید. نهایتاً هم وقتی Publish می‌کنید بصورت API قابل استفاده خواهد بود.

اگر به توسعه اپلکیشین حول مدل‌های زبانی بزرگ علاقمند هستید، پیشنهاد می‌کنم حداقل نسخه داخل سایتش رو یه تست بگیرید (به احتمال زیاد پشیمون نمیشید).

صفحه گیت‌هاب رو در اینجا میارم و لینک تست داخل وب‌سایت خودش رو هم در کامنت می‌گذارم.

متن از صفحه لیندکین آقای Amir pourmard

جزوه طراحی الگوریتم از دکتر گنج تابش

دانشگاه_تهران

#جزوه #book

این هوش مصنوعی دستیار نویسنده شما خواهد بود

امروز می‌خوایم باهم یه ابزار هوش مصنوعی خیلی جذاب و کاربردی به اسم Chapple.ai‎ بررسی کنیم. این ابزار می‌تونه توی نوشتن هر نوع متنی که فکرش رو بکنید، بهتون کمک کنه. از مقاله و وبلاگ گرفته تا نامه و محتوای شبکه‌های اجتماعی. بیاید با هم نگاهی دقیق‌تر به این هوش مصنوعی بندازیم و ببینیم چه قابلیت‌هایی داره و چطور می‌تونه توی کارهای روزمره‌مون بهمون کمک کنه.
حالا این ‎#chapple چیه و چطور کار میکنه؟ chapple یه ابزار نویسندگی هوشمنده که با استفاد از هوش مصنوعی، متن‌های با کیفیت و کاملاً طبیعی تولید می‌کنه. این ابزار از تکنولوژی‌های پیشرفته‌ی پردازش زبان طبیعی (NLP) و یادگیری عمیق (Deep Learning) استفاده می‌کنه تا بتونه متونی تولید کنه که خیلی شبیه به نوشتار انسانیه.

چاپل کاربردهاش چی می‌تونه باشه؟

1. نوشتن مقالات و وبلاگ‌ها
   اگه وبلاگ‌نویس هستی یا برای کار و تحصیل نیاز به نوشتن مقاله داری، Chapple.ai‎ می‌تونه خیلی به کارت بیاد. این ابزار می‌تونه بر اساس موضوعی که بهش می‌دی، یه مقاله کامل با مقدمه، بدنه و نتیجه‌گیری برات بنویسه.

2. تولید محتوای شبکه‌های اجتماعی
   مدیر شبکه‌های اجتماعی هستی و هر روز باید پست‌های جذاب و خلاقانه تولید کنی؟ با Chapple.ai‎ دیگه نگران ایده‌پردازی و نوشتن پست نباش. این هوش مصنوعی می‌تونه متون کوتاه و تاثیرگذاری برای شبکه‌های اجتماعی مثل اینستاگرام، توییتر و لینکدین تولید کنه

3. نوشتن ایمیل و نامه
   گاهی وقتا نوشتن یه ایمیل رسمی یا یه نامه دوستانه می‌تونه وقت‌گیر باشه. Chapple.ai‎ اینجاست تا کمکت کنه. فقط کافیه نکات کلیدی رو بهش بگی و اون یه متن آماده و حرفه‌ای برات می‌نویسه.

4. تولید محتوا برای تبلیغات
   نوشتن متن‌های تبلیغاتی که مخاطب رو جذب کنه و باعث افزایش فروش بشه، کار راحتی نیست. اما Chapple.ai‎ با تحلیل نیازهای بازار و شناخت درست از مخاطب، می‌تونه متن‌های تبلیغاتی جذابی بنویسه که مشتری‌ها رو به خرید ترغیب کنه.

تکنولوژی پشت چاپل چیه؟

چاپل از چندین تکنولوژی پیشرفته استفاده می‌کنه تا بتونه بهترین نتایج رو ارائه بده که خوبه یکم ریز بشیم داخلش:

1. پردازش زبان طبیعی (NLP)
   این تکنولوژی به Chapple.ai‎ کمک می‌کنه تا زبان انسان رو درک کنه و بتونه متن‌هایی تولید کنه که نه تنها از نظر دستوری درست هستن، بلکه مفهوم رو هم به خوبی منتقل می‌کنن.

2. یادگیری عمیق (Deep Learning)
   با استفاده از مدل‌های یادگیری عمیق، Chapple.ai‎ می‌تونه از روی میلیون‌ها نمونه متنی که قبلاً دیده، یاد بگیره و متن‌های جدیدی تولید کنه که با نیازهای خاص شما هماهنگی دارن.

3. تحلیل داده‌های بزرگ (Big Data Analysis)
   ؛Chapple.ai‎ از تحلیل داده‌های بزرگ استفاده می‌کنه تا بتونه ترندها و نیازهای روز رو بشناسه و متن‌هایی بنویسه که با این ترندها سازگاری دارن.

خب حالا ببینیم مزایای استفاده از چاپل چیا هستش:

1. صرفه‌جویی در زمان
   با Chapple.ai‎ دیگه نیازی نیست ساعت‌ها وقت بذاری تا یه متن خوب بنویسی. این ابزار در عرض چند دقیقه متن‌های با کیفیتی برات آماده می‌کنه.

2. افزایش کیفیت نوشته‌ها
   متن‌هایی که Chapple.ai‎ تولید می‌کنه، از نظر نگارشی و دستوری کاملاً درست هستن و می‌تونن کیفیت نوشته‌هات رو بالا ببرن.

3. خلاقیت بیشتر
   وقتی نوشتن متن‌های تکراری و زمان‌بر رو به Chapple.ai‎ می‌سپری، می‌تونی تمرکز بیشتری روی خلاقیت و ایده‌پردازی داشته باشی.
   بنظرم chapple یه ابزار فوق‌العاده برای هر کسیه که نوشتن نیاز داره، از نویسندگان حرفه‌ای گرفته تا کسانی که فقط می‌خوان یه متن ساده بنویسن. با استفاده از این هوش مصنوعی، می‌تونی توی زمانت صرفه‌جویی کنی، کیفیت نوشته‌هات رو بالا ببری و روی خلاقیتت تمرکز کنن

معرفی هوش مصنوعی GeoSpy.ai

🔹؛ GeoSpy.ai  یک ابزار هوش مصنوعی پیشرفته در زمینه اطلاعات مکانی است که از هوش مصنوعی برای تجزیه و تحلیل و تفسیر تصاویر ماهواره‌ای و داده‌های فضایی استفاده می‌کند. این ابزار  توسط  Graylark Technologies LLC  توسعه یافته است.

▪️در اینجا برخی از قابلیت‌های کلیدی GeoSpy.ai  آورده شده است:

🔖 محل‌یابی عکس: GeoSpy.ai می‌تواند با استفاده از الگوریتم‌های پیشرفته و یادگیری ماشین، مکان دقیق عکس‌ها را تعیین کند.

🔖 تجزیه و تحلیل کاربری زمین: GeoSpy.ai می‌تواند الگوهای کاربری زمین را در تصاویر ماهواره‌ای شناسایی کند و اطلاعاتی در مورد نوع پوشش زمین، تراکم جمعیت و سایر ویژگی‌ها ارائه دهد.

🔖  تشخیص تغییر: GeoSpy.ai می‌تواند تغییرات در چشم‌انداز را در طول زمان شناسایی کند و برای نظارت بر جنگل‌زدایی، توسعه شهری و سایر تغییرات زمین استفاده شود.

🔖 سلامت محصول: GeoSpy.ai می‌تواند برای نظارت بر سلامت محصولات کشاورزی و شناسایی مناطق دارای تنش استفاده شود.

🔖 برنامه‌ریزی استراتژیک: GeoSpy.ai می‌تواند برای شناسایی مکان‌های مناسب برای ساخت و ساز، زیرساخت‌ها و سایر فعالیت‌ها استفاده شود.

▪️؛GeoSpy.ai  کاربردهای مختلفی در  زمینه‌های مختلف  دارد، از جمله:

🔖 املاک و مستغلات: GeoSpy.ai می‌تواند برای ارزیابی املاک، شناسایی خطرات بالقوه و یافتن مکان‌های مناسب برای توسعه جدید استفاده شود.

🔖 کشاورزی: GeoSpy.ai می‌تواند برای بهبود عملکرد محصول، کاهش مصرف آب و افزایش پایداری استفاده شود.

🔖 محیط زیست: GeoSpy.ai می‌تواند برای نظارت بر جنگل‌زدایی، آلودگی و سایر مسائل زیست‌محیطی استفاده شود.

🔖  امداد رسانی در مواقع بلایای طبیعی: GeoSpy.ai می‌تواند برای ارزیابی خسارات، هماهنگی تلاش‌های امدادی و کمک به بازسازی استفاده شود.

💎؛GeoSpy.ai  یک ابزار قدرتمند با کاربردهای مختلف است.  این ابزار  می‌تواند به  سازمان‌ها  در  تصمیم‌گیری‌های آگاهانه‌تر،  بهبود کارایی  و  ایجاد  جهانی پایدارتر  کمک کند.

#معرفی_ابزار

متا، بعد از خبر SAM 2 دیتا ست ویدیو های Annotate شده را هم منتشر کرد :

51 هزار ویدیو 😍

لینک دسترسی به دیتاست : https://ai.meta.com/datasets/segment-anything-video

به عنوان مثال مدل Llama 405b دارای 405 میلیارد پارامتر می‌باشد که هر پارامتر یک عدد متغیر از نوع float 16 می‌باشد. حجم مدل از طریق این رابطه به شرح ذیل می‌باشد:

405,000,000,000*16bit/1.25 × 10-10(تبدیل به گیگا بایت)=810GB

اگر دقت پارامتر ها را با استفاده از کوانتیزاسیون کاهش دهیم این مقدار در Q4 به مقدار زیر کاهش می یابد.

405,000,000,000*4bit/1.25 × 10-10(تبدیل به گیگا بایت)=202.5GB

مدل‌های بزرگ‌تر (مثلاً Llama 70B, Llama 405B) دارای افزونگی ( redundancy ) بیشتری هستند. این به این معنی است که مدل مسیرهای زیادی برای نمایش و پردازش اطلاعات مشابه دارد. در نتیجه، حتی زمانی که مدل را کوانتیزه می‌کنید، هنوز افزونگی کافی برای حفظ بیشتر قابلیت‌های اصلی آن وجود دارد.

اما در مورد مدل های کوچکتر الزاما کارایی زیادی ندارد.
متا مدل‌های جدید ۳.۱ را روی ۲۵ تریلیون توکن آموزش داده است، بنابراین مدل ۸ میلیارد پارامتری برای هر پارامتر بیشترین آموزش را دریافت کرده است و کوانتیزه کردن آن آسیب بیشتری می‌زند.

مدل‌های بزرگ‌تر با همان مقدار آموزش هوشمندتر هستند، اما یک مدل کوچک که روی توکن‌های بیشتری آموزش دیده است، اجرای ارزان‌تری دارد.

اگر Llama 3 با ۴۰۵ میلیارد پارامتر را ۵۰ برابر بیشتر از مدل ۸ میلیارد پارامتری روی توکن‌ها آموزش می‌دادید، بسیار هوشمندتر می‌شد و از کوانتیزاسیون بیشتر آسیب می‌دید.

اکثر عموم جامعه درگیر مسایل عام و روزمره ای مثل تورم، مسایل مربوط به سلامتی، دنبال کردن اخبار جنگ، سیاستمداران و ... هستند اما جنگ اصلی در بکارگیری قدرت هوش مصنوعی خلاصه شده

بخوابم بپذیریم یا نه اکثر مردم از دیدگاه گردانندگان قدرت موجوداتی مصرف گرا و هزینه بر به حساب میان

زمانی صاحبان قدرت به عموم جامعه به چشم کارگران برای به پیش بردن برنامه های خودشون نگاه میکردن

اما امروزه با پیشرفت های شگفت انگیز هوش مصنوعی همین کارگران شدن موجودات بی مصرف

امسال آخرین سالیه که انسانها در انتخابات شرکت می‌کنند هر چند به شدت با هوش مصنوعی افکارشون تحت تاثیر قرار میگیره

اما در سال ۲۰۲۸ این انتخابات دیگه یک انتخابات انسانی نخواهد بود

همونطور که بمب‌های اتمی توانایی ایجاد خرابی در دنیای فیزیکی را دارن هوش مصنوعی نیز قادره به طور گسترده‌ای بر روی فضای مجازی تأثیر بگذاره

از جمله اموری مانند حریم خصوصی، امنیت سایبری، ارتباطات اجتماعی، و حتی تصمیم‌گیری‌های مربوط به مسائل اقتصادی و اجتماعی، مقاله هایی که این چند ماه منتشر شدن دود از سر آدم بلند می‌کنه از به رمز گشایی افکار فردی که خوابه تا استفاده از امواج روتر وای فای برای تخمین پوز افراد موجود در یک اتاق

یه عبارت رایجی داریم که میگه اگر به کسی یه ماهی بدهی یک روز سیرش کرده‌ای، اگه به او ماهی‌گیری یاد بدهی یک عمر سیرش کرده‌ای

این جمله الان در مورد هوش مصنوعی میشه اینطور نوشتش

به یه هوش مصنوعی یه ماهی بده اون شیمی، بیولوژی، اقیانوس شناسی و تیوری فرگشت رو به خودش یاد میده و نسل ماهی ها رو منقرض می‌کنه

پیشرفت های شرکت های چینی در بکارگیری هوش مصنوعی مثال زندیست، به عنوان مثال:

https://propakistani.pk/2024/07/09/xiaomis-smart-factory-can-run-24-7-without-people/

*🔸 8 پروژه یادگیری عمیق برای تقویت رزومه‌*

👨🏻‍💻 برای داشتن یه شغل خوب در حوزه دیپ لرنینگ، داشتن یه رزومه و پرتفولیو قوی، خیلی موثره. در واقع پروژه‌ها شناسنامه کاری شما میشن که کارفرماهای داخلی و خارجی با اونا شما رو می‌شناسن. پس داشتن نمونه کارهای خوب تو رزومه‌تون خیلی تأثیرگذاره.👌

✅ من اینجا 8 پروژه یادیگیری عمیق رو براتون قرار دادم که می‌تونه به تقویت رزومه‌تون کمک کنه.

1️⃣ پروژه پیش بینی آب و هوا
🏷 بررسی دیتاست با Pandas و ساخت شبکه عصبی بازگشتی.

📎 دیتاست: London Weather

2️⃣ پروژه پیش‌بینی بازخوردها از نقدهای لباس
🏷 بررسی دیتاست و استفاده از RNN یا مدل های مبتنی بر ترانسفورمر مثل BERT.

📎 دیتاست: Predicting Sentiment

3️⃣ پروژه تشخیص اخبار جعلی و واقعی
🏷 بررسی دیتاست و ساخت RNN.

📎 دیتاست: Fake & Real News

4️⃣ پروژه طبقه بندی پوز یوگا
🏷 بررسی دیتاستی از 5 حالت اصلی یوگا و ساختن شبکه عصبی پیچشی.

📎 دیتاست: Yoga Pose Classification

5️⃣ پروژه انواع خرما
🏷 بررسی دیتاستی از 7 نوع خرما و استفاده از شبکه عصبی پیچشی.

📎 دیتاست: Date Fruit

6️⃣ پروژه تشخیص ماسک صورت
🏷 ساخت سیستم تشخیص با استفاده از PyTorch و مدل Faster R-CNN.

📎 دیتاست: Face Mask Detection

7️⃣ پروژه تشخیص چهره‌ی مشاهیر و سلبریتی‌ها
🏷 آموزش یه مدل یادگیری عمیق با استفاده از شبکه‌ی عصبی پیچشی.

📎 دیتاست: CelebFaces Attributes

8️⃣ پروژه سوالات متداول در حوزه سلامت روان
🏷 آموزش یه مدل یادگیری عمیق با استفاده از شبکه‌ی عصبی بازگشتی.

📎 دیتاست: Mental Health FAQ

#پروژه