🤖 یادگیری ماشین در فضای ابری AWS

🔑 بخش‌های کلیدی کتاب «یادگیری ماشین در فضای ابری AWS» نوشته‌ی آبیشک میشرا:

1. مبانی یادگیری ماشین

مقدمه‌ای بر یادگیری ماشین

جمع‌آوری و پیش‌پردازش داده‌ها

مصورسازی داده‌ها با پایتون

1. یادگیری ماشین با AWS

ذخیره‌سازی با Amazon S3

ساخت مدل‌ها با Amazon SageMaker

محاسبات بدون سرور با AWS Lambda

1. موضوعات پیشرفته

استفاده از TensorFlow با SageMaker

تشخیص تصویر با Amazon Rekognition

📚 این کتاب از مفاهیم پایه تا پیشرفته را پوشش می‌دهد و برای مبتدیان و حرفه‌ای‌ها گزینه‌ای عالی است.

🔗 شروع کنید و یادگیری ماشین را در AWS تجربه کنید!

---

#یادگیری_ماشین #AWS #هوش_مصنوعی #آموزش_ماشین_لرنینگ #SageMaker #TensorFlow #آمازون_وب_سرویس

ابزار جدید گوگل رفع باگ کدها را ساده‌تر می‌کند.

گوگل دستیار هوش مصنوعی تجربی جدیدی به نام «ژول» رونمایی کرد. ژول می‌تواند به‌طور خودکار باگ کدها را برای توسعه‌دهندگان اصلاح کند. این ابزار امروز هم‌زمان با معرفی Gemini 2.0 ارائه شد.
ژول برای ایجاد برنامه‌های چند‌مرحله‌ای برای رسیدگی به مسائل و اصلاح چندین فایل و آماده‌سازی دستورهای ادغام در پایتون و جاوا‌اسکریپت از گیت‌هاب استفاده می‌کند. سال گذشته، مایکروسافت ابزار مشابهی معرفی کرد که می‌تواند کد را شناسایی کند و توضیح و تغییرات را پیشنهاد دهد و اشکالات را برطرف کند.

ژول گوگل با ابزار مایکروسافت و ابزارهایی مانند Cursor و حتی توانایی‌های کدنویسی Claude و ChatGPT رقابت خواهد کرد. راه‌اندازی دستیار هوش مصنوعی متمرکز بر کدنویسی گوگل چندان تعجب‌آور نیست؛ زیرا سوندار پیچای، مدیرعامل این شرکت، در ماه اکتبر گفت که بیش از یک‌چهارم از تمام کدهای جدید در این شرکت اکنون با هوش مصنوعی تولید می‌شود.

گوگل طی پستی در وبلاگ خود گفت: «ژول اشکالات را اصلاح می‌کند و سایر وظایف زمان‌بر را انجام می‌دهد؛ در‌حالی‌که شما روی آنچه واقعاً می‌خواهید بسازید، تمرکز می‌کنید. این تلاش بخشی از هدف بلندمدت ما برای ایجاد عوامل هوش مصنوعی است که در تمام زمینه‌ها ازجمله کدنویسی می‌توانند مفید باشند.»
گوگل می‌گوید که ژول در مراحل اولیه‌ی توسعه قرار دارد و ممکن است اشتباهاتی داشته باشد؛ اما آزمایش‌های داخلی نشان داده که این ابزار برای افزایش بهره‌وری توسعه‌دهندگان و پیگیری و مدیریت وظایف مفید بوده است. ژول امروز در دسترس گروهی منتخب از آزمایش‌کنندگان مورد اعتماد گوگل قرار می‌گیرد و اوایل سال ۲۰۲۵ برای سایر توسعه‌دهندگان عرضه خواهد شد.

کارمند ایرانی OpenAI: به‌نظر من همین حالا هم به هوش مصنوعی جامع دست یافته‌ایم.

چند روزی از عرضه کامل مدل o1 شرکت OpenAI می‌گذرد و اکنون کارمند ایرانی این شرکت ادعا می‌کند ما به هوش جامع مصنوعی (AGI) رسیده‌ایم.

وحید کاظمی»، کارمند OpenAI، در پستی در ایکس گفته است: «به نظر من، ما به AGI دست یافته‌ایم و با o1 حتی این امر مشخص‌تر نیز شده است.» البته وحید کاظمی تبصره‌ای در تعریف AGI می‌گذارد؛ به گفته او اگر هوش جامع مصنوعی «در هر کاری بهتر از هر انسانی» باشد، مدل o1 «در بیشتر کارها از بیشتر انسان‌ها» بهتر عمل می‌کند.
در حقیقت، وحید کاظمی نمی‌گوید هوش مصنوعی این شرکت از فردی متخصص در کاری خاص مؤثرتر و ماهرتر است، او می‌گوید o1 می‌تواند کارهای بسیار متنوعی انجام دهد، حتی اگر نتیجه نهایی درست از آب درنیاید اما هیچ انسانی نمی‌تواند با این وسعت با مهارت‌های هوش مصنوعی جدید رقابت کند.
وحید کاظمی دکترای یادگیری ماشینی دارد و یکی از اعضای کادر فنی OpenAI است. او در پست اخیر خود درباره ماهیت مدل‌های زبانی بزرگ یا LLMها و اینکه آیا آنها صرفاً «از یک دستورالعمل پیروی می‌کنند» یا نه نیز صحبت کرد:

«برخی‌ می‌گویند LLMها فقط می‌دانند چگونه از یک دستورالعمل پیروی کنند. هیچ‌کس واقعاً نمی‌تواند توضیح دهد یک‌تریلیون پارامتر شبکه عصبی عمیق چه چیزی را می‌تواند یاد بگیرد.»

مفهوم فاین تیون به زبان خیلی ساده

فاین تیون(Fine-tuning) فرآیندی است که در آن یک مدل از پیش آموزش‌دیده (Pre-trained Model) را روی یک مجموعه داده کوچک‌تر و خاص‌تر آموزش می‌دهیم تا عملکرد آن برای یک وظیفه خاص بهینه شود. در این فرآیند، از دانش عمومی مدل استفاده می‌کنیم (دانشی که روی یک مجموعه داده بزرگ به دست آمده) و آن را برای یک کاربرد تخصصی‌تر تنظیم  می‌کنیم.

مراحل Fine-tuning:
انتخاب مدل از پیش آموزش‌دیده:
مدلی انتخاب می‌شود که قبلاً روی یک مجموعه داده بزرگ (مثل ImageNet برای تصاویر یا مجموعه‌های متنی بزرگ مثل Wikipedia) آموزش دیده است. این مدل یک پایه عمومی از ویژگی‌ها دارد.

قفل کردن یا فریز کردن برخی لایه‌ها:
لایه‌های ابتدایی مدل معمولاً ویژگی‌های عمومی‌تری مثل لبه‌ها، رنگ‌ها (در مدل‌های تصویری) یا قوانین زبانی (در مدل‌های متنی) یاد می‌گیرند. به همین دلیل معمولاً این لایه‌ها فریز می‌شوند (یعنی وزن‌هایشان ثابت می‌ماند). لایه‌های بالایی که تخصصی‌تر هستند، برای داده جدید آزاد (trainable) می‌شوند تا تنظیم شوند.

اضافه کردن یک لایه خروجی جدید:
اگر مدل اصلی برای یک کاربرد متفاوت طراحی شده باشد (مثلاً دسته‌بندی ۱۰۰۰ نوع شیء)، معمولاً خروجی مدل را با یک لایه جدید مناسب برای وظیفه خودمان جایگزین می‌کنیم (مثلاً پیش‌بینی فقط ۱۰ دسته خاص).

تنظیم هایپرمترها و یادگیری مجدد:
مدل روی مجموعه داده جدید آموزش داده می‌شود، اما با نرخ یادگیری (Learning Rate) کوچک‌تر تا وزن‌های یاد گرفته شده به آرامی تغییر کنند و مدل از دانش قبلی خود استفاده بهینه کند.

🎯 الگوریتم PCA به زبان ساده (یک ابزار جادویی برای ساده کردن داده‌ها)

💡  الگوریتم کاهش ابعاد PCA یا تحلیل مؤلفه‌های اصلی چیست؟

تصور کن کلی داده داریم و این داده‌ها در ابعاد مختلف (مثلاً طول، عرض، ارتفاع و...) هستند. حالا اگر بخواهیم این داده‌ها را ساده‌تر کنیم ولی همچنان اطلاعات مهم آن‌ها را حفظ کنیم، الگوریتم PCA به کمک ما می‌آید.

🔍  الگوریتم PCA چطور کار می‌کند؟

1️⃣ پیدا کردن الگوهای مهم: PCA بررسی می‌کند که داده‌ها بیشتر در چه جهتی تغییر می‌کنند.
2️⃣ فشرده کردن داده‌ها: جهت‌های کم‌اهمیت (که اطلاعات کمتری دارند) را حذف می‌کند و فقط جهت‌های مهم را نگه می‌دارد.
3️⃣ بازسازی ساده‌تر داده‌ها: داده‌ها را به چند عدد (ابعاد کمتر) تبدیل می‌کند که بیشترین اطلاعات را در خود دارند.
---

🌟 یک مثال ساده
فرض کن یک عکس سیاه و سفید داری. این عکس کلی پیکسل دارد. حالا اگر بخواهی این عکس را ساده کنی، می‌توانی فقط بخش‌هایی که چشم انسان بیشتر روی آن‌ها تمرکز می‌کند (مثل لبه‌ها) را نگه داری. PCA دقیقاً همین کار را برای داده‌های بزرگ انجام می‌دهد!
---
📈 کاربردها

کاهش حجم داده‌ها (برای کار با داده‌های بزرگ)

پردازش تصویر و ویدیو

شناسایی الگوها در داده‌های پیچیده

بهبود عملکرد الگوریتم‌های یادگیری ماشین

---

🔧 چرا PCA مهم است؟
گاهی داده‌های ما انقدر پیچیده‌اند که نمی‌توانیم به راحتی از آن‌ها استفاده کنیم. PCA به ما کمک می‌کند که مهم‌ترین بخش داده‌ها را جدا کنیم و با حجم کمتری کار کنیم.

🖋 نتیجه‌گیری

شبیه یک لنز جادویی است که روی داده‌ها زوم می‌کند و فقط بخش‌های مهم را به ما نشان می‌دهد. اگر با داده‌های زیاد سروکار دارید، این الگوریتم می‌تواند یک ابزار ارزشمند باشد!

#یادگیری_ماشین #داده‌کاوی #PCA

Top 50 LLM interview Questions

@datalook_ir

هوش مصنوعی جدید گوگل، می‌تواند مشکل دسترسی به دستگاه‌های پیشرفته‌ی تشخیص بیماری‌ها را در کشورهای محروم و پرجمعیت مانند هند، حل کند.

گوگل، مدل هوش مصنوعی جدیدی را ساخته است که توانایی شنیدن و تجزیه‌وتحلیل سیگنال‌های صوتی را دارد و می‌تواند بر مبنای نتایج تحلیل‌های خود و تطبیق آن با علائم اولیه‌ی برخی بیماری‌ها، به تشخیص سریع‌تر بیماری در افراد کمک کند.

به گفته‌ی بلومبرگ، این هوش مصنوعی می‌تواند در کشورهایی که به تجهیزات پیشرفته و گران‌قیمت پزشکی مانند دستگاه اسکن اشعه‌ی ایکس دسترسی ندارند، به‌عنوان یک ابزار مناسب برای تشخیص اولیه‌ی برخی بیماری‌ها، راهگشا باشد.
درحال‌حاضر، این سیستم هوش مصنوعی برای مقابله با سل، بزرگ‌ترین بیماری عفونی-تنفسی جهان، به‌کار گرفته شده است. بر اساس گزارش‌های سازمان بهداشت جهانی، روزانه نزدیک به ۴٬۵۰۰ نفر در دنیا، بر اثر بیماری سل فوت می‌کنند و ۳۰٬۰۰۰ نفر نیز، به این بیماری مبتلا می‌شوند.

هوش مصنوعی جدید گوگل، می‌تواند مشکل دسترسی به دستگاه‌های پیشرفته‌ی تشخیص بیماری‌ها را در کشورهای محروم و پرجمعیت مانند هند، حل کند.

گوگل، مدل هوش مصنوعی جدیدی را ساخته است که توانایی شنیدن و تجزیه‌وتحلیل سیگنال‌های صوتی را دارد و می‌تواند بر مبنای نتایج تحلیل‌های خود و تطبیق آن با علائم اولیه‌ی برخی بیماری‌ها، به تشخیص سریع‌تر بیماری در افراد کمک کند.

به گفته‌ی بلومبرگ، این هوش مصنوعی می‌تواند در کشورهایی که به تجهیزات پیشرفته و گران‌قیمت پزشکی مانند دستگاه اسکن اشعه‌ی ایکس دسترسی ندارند، به‌عنوان یک ابزار مناسب برای تشخیص اولیه‌ی برخی بیماری‌ها، راهگشا باشد.

درحال‌حاضر، این سیستم هوش مصنوعی برای مقابله با سل، بزرگ‌ترین بیماری عفونی-تنفسی جهان، به‌کار گرفته شده است. بر اساس گزارش‌های سازمان بهداشت جهانی، روزانه نزدیک به ۴٬۵۰۰ نفر در دنیا، بر اثر بیماری سل فوت می‌کنند و ۳۰٬۰۰۰ نفر نیز، به این بیماری مبتلا می‌شوند.

اگرچه سل یک بیماری قابل‌ درمان است؛ اما در بسیاری از کشورهای محروم، به علت عدم تشخیص این بیماری در مراحل اولیه، اکثر مبتلایان بر اثر وخامت بیماری فوت می‌کنند. در هند، سالانه حدود ۲۵۰ هزار نفر به سل مبتلا می‌شوند؛ درصورت تشخیص زودهنگام، این مقدار بسیار کاهش خواهد یافت.

گوگل، مدل پایه‌ی هوش مصنوعی خود را با ۳۰۰ میلیون قطعه‌ی صوتی مختلف شامل صداهای سرفه، عطسه، تنفس و خرناس‌کشیدن آموزش داده است. این قطعات صوتی از میان صدای سرفه‌ی بیمارانی که برای تشخیص سل به بیمارستان‌ها مراجعه می‌کنند و همچنین، کلیپ‌های دوثانیه‌ای منتشر شده در پلتفرم‌هایی مانند یوتیوب جمع‌آوری شده است. این صداها که حاوی اطلاعات زیادی در مورد سلامت افراد هستند، می‌توانند سرنخ‌های مهم، اما نامحسوسی را برای غربالگری، تشخیص و مدیریت سلامت در اختیار پزشکان قرار دهند.

داده‌هایی که مدل هوش مصنوعی HeAR (مخفف Health Acoustic Representations) گوگل از آن‌ها استفاده می‌کند، شامل ۱۰۰ میلیون صدای سرفه هستند که به‌راحتی از طریق یک گوشی هوشمند قابل‌دسترس خواهد بود و می‌توانند در تشخیص بیماری‌های مهلکی مانند سل، مؤثر باشند.

گوگل دستیار هوش مصنوعی «Ask Photos» را آزمایش می‌کند که محتوای عکس‌ها را می‌فهمد.

گوگل در حال آزمایش روی ویژگی جدیدی به نام Ask Photos است که امکان جست‌وجوی پیشرفته‌تر و مرتبط‌تر با محتوای مورد نظر کاربران را فراهم می‌کند. این دستیار گوگل، از مدل‌های هوش مصنوعی Gemini Google استفاده می‌کند و با جست‌وجو در تصاویر برنامه، بهترین پاسخ مرتبط با درخواست کاربر را ارائه می‌دهد.

کاربران می‌توانند با استفاده از قابلیت Ask Photos، کارهایی مانند تهیه‌کردن یک گزیده از تصاویر گرفته‌شده در یک تعطیلات خاص یا ایجاد یک آلبوم مشترک از عکس‌های خانوادگی را بهتر و سریع‌تر انجام دهند.
در حال حاضر، این ویژگی از زبان طبیعی پشتیبانی می‌کند، بدین معنی که شما می‌توانید سؤالات را با زبان خودتان از این مدل هوش مصنوعی بپرسید، به‌طور مثال می‌توانید عبارت «قایق‌سواری در دریاچه‌ی احاطه‌شده توسط کوه» را بنویسید تا قابلیت Ask Photos بر اساس سؤال شما، عکس‌های مرتبط با آن را پیدا کند.
گوگل می‌گوید که ویژگی Ask Photos فعلاً از زبان انگلیسی در دستگاه‌های مجهز به دو سیستم‌عامل اندروید و iOS پشتیبانی می‌کند؛ اما در هفته‌های آینده، زبان‌های بیشتری به آن اضافه می‌شود.

? استفاده از #یادگیری_ماشین برای حل مشکلات دنیای واقعی هیجان انگیز است. اما بیشتر مبتدیان مستقیماً به سراغ ساخت مدل می‌روند -

با نادیده گرفتن اصول اساسی - که منجر به مدل‌هایی می‌شود که چندان مفید نیستند. از درک داده‌ها گرفته تا انتخاب بهترین مدل یادگیری ماشین برای مشکل، برخی از اشتباهات رایج وجود دارد که مبتدیان اغلب مرتکب می‌شوند.

✅اولین مرحله جهت حل این مشکل : از خود سؤالات کافی بپرسید تا در مورد مشکل و دامنه بیشتر بدانید. همچنین در نظر بگیرید که آیا یادگیری ماشین اصلاً ضروری است یا خیر: در صورت نیاز قبل از ترسیم چگونگی حل مشکل با استفاده از یادگیری ماشین، بدون یادگیری ماشین شروع کنید. شما باید به عنوان یک دیتا ساینتیست یک solution maker باشید.

سایر اشتباهات رایج

1. عدم درک داده ها
2. پیش پردازش ناکافی داده ها
   ۳_نشت داده ها(Data Leakage) وقتی رخ میده که مدل از اطلاعات خارج از مجموعه داده در فرآیند آموزش استفاده کند. حل مشکل: استفاده از pipeline در هنگام آموزش مدل

۴-عدم انجام مهندسی ویژگی
۵-بیش برازش و کم برازش

در این مقاله کامل به این موضوع پرداخته و مراحلش رو با جزییات کدنویسی توضیح داده:

لینک مقاله