11 حقیقت در خصوص علم داده در پروژه های واقعی
به زبان اصلی گذاشتم. چون خیلی از اصطلاحات تخصصی هستند. و متن کاملا واضح است.

---

11 hard truths about Data Science:

1. No Silver Bullet Model:
   You'll need to iterate all the time, even after deployment.

2. Data is never perfect:
   Data will always be incomplete, inconsistent, and biased. Always.

3. Domain knowledge matters:
   Good models need domain knowledge. Integrating both takes time and effort.( concept drift)

4. Data cleaning is 80% of the job:
   Most of your time is spent wrangling messy data, not building models.

5. Accuracy isn’t everything:
   Often simple and robust models [are] preferred over complex more accurate ones.

6. You will hit dead ends:
   Experimentation means lots of failed ideas before finding what works.

7. Imposter syndrome is real:
   The field is vast, and you’ll always feel behind. It's a good sign, this means you're learning.
   سندرم خودکم بینی در این حوزه خیلی رایجه. اونقدر این حوزه گسترده است و هر روز در حال به روز رسانی که حس عقب ماندن کاملا طبیعی است. نگران نباشید.

8. 90% of the projects are not cutting-edge:
   Real-world data science has many routine tasks, simple models and reports. Very different from ML course hype.

9. You need to choose 1-2 niches:
   If you try to learn all the niches, you'll suck at all of them. You need to choose and dig deep.

10. Stakeholders think differently:
    Your "great model" means little if it doesn’t solve a business problem.
    مدل شما هر چقدر هم عالی train شده باشد و زمان و هزینه زیادی برای ساخت اون گذاشته باشید، اگر دست یکم یک مشکل تجاری را حل نکند یا بهبود ندهد، بی ارزش است.

11. Tools don’t solve problems:
    It's your thinking and problem-solving skills that matter — not the latest frameworks.
    این تفکر و مهارتهای حل مساله است که در پروژه به دادتون میرسن نه دونستن انواع ابزارها

یلداتون مبارک ❤️❤️
قصه غصه رو واسه فردا بگذارید???
سلامت و شاد باشید.

پیشاپیش یلداتون مبارک????

? یادگیری ماشین در فضای ابری AWS

? بخش‌های کلیدی کتاب «یادگیری ماشین در فضای ابری AWS» نوشته‌ی آبیشک میشرا:

1. مبانی یادگیری ماشین

مقدمه‌ای بر یادگیری ماشین

جمع‌آوری و پیش‌پردازش داده‌ها

مصورسازی داده‌ها با پایتون

1. یادگیری ماشین با AWS

ذخیره‌سازی با Amazon S3

ساخت مدل‌ها با Amazon SageMaker

محاسبات بدون سرور با AWS Lambda

1. موضوعات پیشرفته

استفاده از TensorFlow با SageMaker

تشخیص تصویر با Amazon Rekognition

? این کتاب از مفاهیم پایه تا پیشرفته را پوشش می‌دهد و برای مبتدیان و حرفه‌ای‌ها گزینه‌ای عالی است.

? شروع کنید و یادگیری ماشین را در AWS تجربه کنید!

---

#یادگیری_ماشین #AWS #هوش_مصنوعی #آموزش_ماشین_لرنینگ #SageMaker #TensorFlow #آمازون_وب_سرویس

ابزار جدید گوگل رفع باگ کدها را ساده‌تر می‌کند.

گوگل دستیار هوش مصنوعی تجربی جدیدی به نام «ژول» رونمایی کرد. ژول می‌تواند به‌طور خودکار باگ کدها را برای توسعه‌دهندگان اصلاح کند. این ابزار امروز هم‌زمان با معرفی Gemini 2.0 ارائه شد.
ژول برای ایجاد برنامه‌های چند‌مرحله‌ای برای رسیدگی به مسائل و اصلاح چندین فایل و آماده‌سازی دستورهای ادغام در پایتون و جاوا‌اسکریپت از گیت‌هاب استفاده می‌کند. سال گذشته، مایکروسافت ابزار مشابهی معرفی کرد که می‌تواند کد را شناسایی کند و توضیح و تغییرات را پیشنهاد دهد و اشکالات را برطرف کند.

ژول گوگل با ابزار مایکروسافت و ابزارهایی مانند Cursor و حتی توانایی‌های کدنویسی Claude و ChatGPT رقابت خواهد کرد. راه‌اندازی دستیار هوش مصنوعی متمرکز بر کدنویسی گوگل چندان تعجب‌آور نیست؛ زیرا سوندار پیچای، مدیرعامل این شرکت، در ماه اکتبر گفت که بیش از یک‌چهارم از تمام کدهای جدید در این شرکت اکنون با هوش مصنوعی تولید می‌شود.

گوگل طی پستی در وبلاگ خود گفت: «ژول اشکالات را اصلاح می‌کند و سایر وظایف زمان‌بر را انجام می‌دهد؛ در‌حالی‌که شما روی آنچه واقعاً می‌خواهید بسازید، تمرکز می‌کنید. این تلاش بخشی از هدف بلندمدت ما برای ایجاد عوامل هوش مصنوعی است که در تمام زمینه‌ها ازجمله کدنویسی می‌توانند مفید باشند.»
گوگل می‌گوید که ژول در مراحل اولیه‌ی توسعه قرار دارد و ممکن است اشتباهاتی داشته باشد؛ اما آزمایش‌های داخلی نشان داده که این ابزار برای افزایش بهره‌وری توسعه‌دهندگان و پیگیری و مدیریت وظایف مفید بوده است. ژول امروز در دسترس گروهی منتخب از آزمایش‌کنندگان مورد اعتماد گوگل قرار می‌گیرد و اوایل سال ۲۰۲۵ برای سایر توسعه‌دهندگان عرضه خواهد شد.

کارمند ایرانی OpenAI: به‌نظر من همین حالا هم به هوش مصنوعی جامع دست یافته‌ایم.

چند روزی از عرضه کامل مدل o1 شرکت OpenAI می‌گذرد و اکنون کارمند ایرانی این شرکت ادعا می‌کند ما به هوش جامع مصنوعی (AGI) رسیده‌ایم.

وحید کاظمی»، کارمند OpenAI، در پستی در ایکس گفته است: «به نظر من، ما به AGI دست یافته‌ایم و با o1 حتی این امر مشخص‌تر نیز شده است.» البته وحید کاظمی تبصره‌ای در تعریف AGI می‌گذارد؛ به گفته او اگر هوش جامع مصنوعی «در هر کاری بهتر از هر انسانی» باشد، مدل o1 «در بیشتر کارها از بیشتر انسان‌ها» بهتر عمل می‌کند.
در حقیقت، وحید کاظمی نمی‌گوید هوش مصنوعی این شرکت از فردی متخصص در کاری خاص مؤثرتر و ماهرتر است، او می‌گوید o1 می‌تواند کارهای بسیار متنوعی انجام دهد، حتی اگر نتیجه نهایی درست از آب درنیاید اما هیچ انسانی نمی‌تواند با این وسعت با مهارت‌های هوش مصنوعی جدید رقابت کند.
وحید کاظمی دکترای یادگیری ماشینی دارد و یکی از اعضای کادر فنی OpenAI است. او در پست اخیر خود درباره ماهیت مدل‌های زبانی بزرگ یا LLMها و اینکه آیا آنها صرفاً «از یک دستورالعمل پیروی می‌کنند» یا نه نیز صحبت کرد:

«برخی‌ می‌گویند LLMها فقط می‌دانند چگونه از یک دستورالعمل پیروی کنند. هیچ‌کس واقعاً نمی‌تواند توضیح دهد یک‌تریلیون پارامتر شبکه عصبی عمیق چه چیزی را می‌تواند یاد بگیرد.»

مفهوم فاین تیون به زبان خیلی ساده

فاین تیون(Fine-tuning) فرآیندی است که در آن یک مدل از پیش آموزش‌دیده (Pre-trained Model) را روی یک مجموعه داده کوچک‌تر و خاص‌تر آموزش می‌دهیم تا عملکرد آن برای یک وظیفه خاص بهینه شود. در این فرآیند، از دانش عمومی مدل استفاده می‌کنیم (دانشی که روی یک مجموعه داده بزرگ به دست آمده) و آن را برای یک کاربرد تخصصی‌تر تنظیم  می‌کنیم.

مراحل Fine-tuning:
انتخاب مدل از پیش آموزش‌دیده:
مدلی انتخاب می‌شود که قبلاً روی یک مجموعه داده بزرگ (مثل ImageNet برای تصاویر یا مجموعه‌های متنی بزرگ مثل Wikipedia) آموزش دیده است. این مدل یک پایه عمومی از ویژگی‌ها دارد.

قفل کردن یا فریز کردن برخی لایه‌ها:
لایه‌های ابتدایی مدل معمولاً ویژگی‌های عمومی‌تری مثل لبه‌ها، رنگ‌ها (در مدل‌های تصویری) یا قوانین زبانی (در مدل‌های متنی) یاد می‌گیرند. به همین دلیل معمولاً این لایه‌ها فریز می‌شوند (یعنی وزن‌هایشان ثابت می‌ماند). لایه‌های بالایی که تخصصی‌تر هستند، برای داده جدید آزاد (trainable) می‌شوند تا تنظیم شوند.

اضافه کردن یک لایه خروجی جدید:
اگر مدل اصلی برای یک کاربرد متفاوت طراحی شده باشد (مثلاً دسته‌بندی ۱۰۰۰ نوع شیء)، معمولاً خروجی مدل را با یک لایه جدید مناسب برای وظیفه خودمان جایگزین می‌کنیم (مثلاً پیش‌بینی فقط ۱۰ دسته خاص).

تنظیم هایپرمترها و یادگیری مجدد:
مدل روی مجموعه داده جدید آموزش داده می‌شود، اما با نرخ یادگیری (Learning Rate) کوچک‌تر تا وزن‌های یاد گرفته شده به آرامی تغییر کنند و مدل از دانش قبلی خود استفاده بهینه کند.

? الگوریتم PCA به زبان ساده (یک ابزار جادویی برای ساده کردن داده‌ها)

?  الگوریتم کاهش ابعاد PCA یا تحلیل مؤلفه‌های اصلی چیست؟

تصور کن کلی داده داریم و این داده‌ها در ابعاد مختلف (مثلاً طول، عرض، ارتفاع و...) هستند. حالا اگر بخواهیم این داده‌ها را ساده‌تر کنیم ولی همچنان اطلاعات مهم آن‌ها را حفظ کنیم، الگوریتم PCA به کمک ما می‌آید.

?  الگوریتم PCA چطور کار می‌کند؟

1️⃣ پیدا کردن الگوهای مهم: PCA بررسی می‌کند که داده‌ها بیشتر در چه جهتی تغییر می‌کنند.
2️⃣ فشرده کردن داده‌ها: جهت‌های کم‌اهمیت (که اطلاعات کمتری دارند) را حذف می‌کند و فقط جهت‌های مهم را نگه می‌دارد.
3️⃣ بازسازی ساده‌تر داده‌ها: داده‌ها را به چند عدد (ابعاد کمتر) تبدیل می‌کند که بیشترین اطلاعات را در خود دارند.
---

? یک مثال ساده
فرض کن یک عکس سیاه و سفید داری. این عکس کلی پیکسل دارد. حالا اگر بخواهی این عکس را ساده کنی، می‌توانی فقط بخش‌هایی که چشم انسان بیشتر روی آن‌ها تمرکز می‌کند (مثل لبه‌ها) را نگه داری. PCA دقیقاً همین کار را برای داده‌های بزرگ انجام می‌دهد!
---
? کاربردها

کاهش حجم داده‌ها (برای کار با داده‌های بزرگ)

پردازش تصویر و ویدیو

شناسایی الگوها در داده‌های پیچیده

بهبود عملکرد الگوریتم‌های یادگیری ماشین

---

? چرا PCA مهم است؟
گاهی داده‌های ما انقدر پیچیده‌اند که نمی‌توانیم به راحتی از آن‌ها استفاده کنیم. PCA به ما کمک می‌کند که مهم‌ترین بخش داده‌ها را جدا کنیم و با حجم کمتری کار کنیم.

? نتیجه‌گیری

شبیه یک لنز جادویی است که روی داده‌ها زوم می‌کند و فقط بخش‌های مهم را به ما نشان می‌دهد. اگر با داده‌های زیاد سروکار دارید، این الگوریتم می‌تواند یک ابزار ارزشمند باشد!

#یادگیری_ماشین #داده‌کاوی #PCA

Top 50 LLM interview Questions

@datalook_ir

هوش مصنوعی جدید گوگل، می‌تواند مشکل دسترسی به دستگاه‌های پیشرفته‌ی تشخیص بیماری‌ها را در کشورهای محروم و پرجمعیت مانند هند، حل کند.

گوگل، مدل هوش مصنوعی جدیدی را ساخته است که توانایی شنیدن و تجزیه‌وتحلیل سیگنال‌های صوتی را دارد و می‌تواند بر مبنای نتایج تحلیل‌های خود و تطبیق آن با علائم اولیه‌ی برخی بیماری‌ها، به تشخیص سریع‌تر بیماری در افراد کمک کند.

به گفته‌ی بلومبرگ، این هوش مصنوعی می‌تواند در کشورهایی که به تجهیزات پیشرفته و گران‌قیمت پزشکی مانند دستگاه اسکن اشعه‌ی ایکس دسترسی ندارند، به‌عنوان یک ابزار مناسب برای تشخیص اولیه‌ی برخی بیماری‌ها، راهگشا باشد.
درحال‌حاضر، این سیستم هوش مصنوعی برای مقابله با سل، بزرگ‌ترین بیماری عفونی-تنفسی جهان، به‌کار گرفته شده است. بر اساس گزارش‌های سازمان بهداشت جهانی، روزانه نزدیک به ۴٬۵۰۰ نفر در دنیا، بر اثر بیماری سل فوت می‌کنند و ۳۰٬۰۰۰ نفر نیز، به این بیماری مبتلا می‌شوند.

هوش مصنوعی جدید گوگل، می‌تواند مشکل دسترسی به دستگاه‌های پیشرفته‌ی تشخیص بیماری‌ها را در کشورهای محروم و پرجمعیت مانند هند، حل کند.

گوگل، مدل هوش مصنوعی جدیدی را ساخته است که توانایی شنیدن و تجزیه‌وتحلیل سیگنال‌های صوتی را دارد و می‌تواند بر مبنای نتایج تحلیل‌های خود و تطبیق آن با علائم اولیه‌ی برخی بیماری‌ها، به تشخیص سریع‌تر بیماری در افراد کمک کند.

به گفته‌ی بلومبرگ، این هوش مصنوعی می‌تواند در کشورهایی که به تجهیزات پیشرفته و گران‌قیمت پزشکی مانند دستگاه اسکن اشعه‌ی ایکس دسترسی ندارند، به‌عنوان یک ابزار مناسب برای تشخیص اولیه‌ی برخی بیماری‌ها، راهگشا باشد.

درحال‌حاضر، این سیستم هوش مصنوعی برای مقابله با سل، بزرگ‌ترین بیماری عفونی-تنفسی جهان، به‌کار گرفته شده است. بر اساس گزارش‌های سازمان بهداشت جهانی، روزانه نزدیک به ۴٬۵۰۰ نفر در دنیا، بر اثر بیماری سل فوت می‌کنند و ۳۰٬۰۰۰ نفر نیز، به این بیماری مبتلا می‌شوند.

اگرچه سل یک بیماری قابل‌ درمان است؛ اما در بسیاری از کشورهای محروم، به علت عدم تشخیص این بیماری در مراحل اولیه، اکثر مبتلایان بر اثر وخامت بیماری فوت می‌کنند. در هند، سالانه حدود ۲۵۰ هزار نفر به سل مبتلا می‌شوند؛ درصورت تشخیص زودهنگام، این مقدار بسیار کاهش خواهد یافت.

گوگل، مدل پایه‌ی هوش مصنوعی خود را با ۳۰۰ میلیون قطعه‌ی صوتی مختلف شامل صداهای سرفه، عطسه، تنفس و خرناس‌کشیدن آموزش داده است. این قطعات صوتی از میان صدای سرفه‌ی بیمارانی که برای تشخیص سل به بیمارستان‌ها مراجعه می‌کنند و همچنین، کلیپ‌های دوثانیه‌ای منتشر شده در پلتفرم‌هایی مانند یوتیوب جمع‌آوری شده است. این صداها که حاوی اطلاعات زیادی در مورد سلامت افراد هستند، می‌توانند سرنخ‌های مهم، اما نامحسوسی را برای غربالگری، تشخیص و مدیریت سلامت در اختیار پزشکان قرار دهند.

داده‌هایی که مدل هوش مصنوعی HeAR (مخفف Health Acoustic Representations) گوگل از آن‌ها استفاده می‌کند، شامل ۱۰۰ میلیون صدای سرفه هستند که به‌راحتی از طریق یک گوشی هوشمند قابل‌دسترس خواهد بود و می‌توانند در تشخیص بیماری‌های مهلکی مانند سل، مؤثر باشند.