همراهان AIMS سلام ?
?در دومین پست از مجموعه #ماشین_لرنینگ در خدمت شما هستم تا در رابطه با بحث preprocessing دیتا باهاتون صحبت کنم

? همونطور که قبلا هم اشاره کردم، پایه و اساس عملکرد مدل های هوش مصنوعی، دیتا هستش. اما دیتای خام معمولا پره از missing value ها، outlier ها، duplicate ها و کلی موارد دیگه که قبل از ورود به مدل باید هندل بشن تا دیتای مرتب و شسته رُفته وارد مدل بشه و آنالیز روش صورت بگیره ?

⁉️ معمولا در مرحله پیش پردازش چه کارهایی انجام میدیم؟

? بررسی کردن فیچرها:
همیشه دیتاست مون مثل دیتایی که توی سایتایی مثل کگل پیدا میشن نیست، خیلی اوقات دیتاست مون فیچرهای بسیار زیادی داره که شاید یک سریاشون ‌واقعا به درد کارمون نخورن؛ و ما با مهمترین ابزارمون یعنی دانش پایه ای که از حیطه مورد نظر داریم، تصمیم میگیریم کدوم یک از اونها رو وارد مدل کنیم و کدوم رو نه؛ البته که روش های آماری زیادی هم در این راه میتونن به ما کمک کنن، اما چیزی که شاید خیلی وقت ها بهش کم توجهی میشه و البته که به مراتب از بقیه روش‌ها مهمتره، استفاده از دانش پایه ست ?‍?

? هندل کردن missing value ها:
در دیتای اکسلی ما ممکنه کلی خونه وجود داشته باشه که به هزاران دلیل در اون چیزی ثبت نشده و ما باید با توجه به دانش پایه خودمون از حیطه مورد نظر و الگوهایی که در دیتا میبینم به حساب این موارد برسیم. گاهی همون سمپل یا فیچر مربوط به اون خونه رو حذف میکنیم، گاهی با میانگین، میانه یا مد پرشون میکنیم و گاهی اوقات هم از روش های پیشرفته تری مثل KNN imputer برای تخمین زدن مقدار خونه مورد نظر استفاده میکنیم ?‍♂

? هندل کردن outlier ها:
با استفاده از یه سری روش های آماری مثل Z-score، IQR و یا نمودارهایی مثل باکس پلات، میتونیم داده های پرت رو شناسایی و حذف شون کنیم. البته که گاهی اوقات دانش پایه ای که داریم بهمون میگه که یه داده پرت میتونه نشون دهنده یه موردی باشه که در عمل هم ممکنه وجود داشته باشه و بر اثر اشتباه حین جمع آوری دیتا به وجود نیومده، اون زمان حتی شاید به آموزش مدل مون هم کمک زیادی بکنه و قاعدتا نباید حذفش کنیم ?

? انکود کردن ( encoding) متغیرهای categorical:
مدل های ماشین لرنینگی نیاز به دیتای عددی دارن بنابراین باید فیچرهای کتگوریکال رو با روش هایی مثل one hot encoding و یا label encoding به عدد تبدیل کنیم ( اینم بگم که گاهی اوقات بسته به نیاز فیچر های عددی مثل سن رو هم به بازه های مختلف تقسیم میکنیم و اونا رو هم انکود میکنیم) ?

? نرمال و یا استاندارد کردن دیتا:
زمانی که فیچرها مقیاس های متفاوتی داشته باشن، برای اینکه مدل صرفا بر اساس مقیاس بزرگ یا کوچیک شون بهشون وزن بیشتر یا کمتری نده، باید اون ها رو به مقیاس مشابهی برسونیم. نرمال کردن دیتا اونا رو به بازه 0 تا 1 میرسونه، استاندارد کردن هم میانگین رو 0 و انحراف معیار رو به 1 میرسونه که بسته به شرایط از یکی از این موارد استفاده میکنیم‌ ?

? هندل کردن دیتای imbalanced: زمانی که کلاس های تارگت ما، توزیع مشابهی نداشته باشن ( برای مثال تارگت ما ۸۰ درصد مواردش no باشن ) مدل به سمت کلاسی که بیشتر موارد رو شامل میشه بایاس پیدا میکنه ( در این حالت اگه مدل همینطوری همه موارد رو بگه no، دقت ۸۰ درصد روی دیتای ترین پیدا میکنه! ) اینجاست که باید با روش هایی مثل SMOTE یا تنظیم کردن class weight مدل، این مشکل رو برطرف کنیم ✅

? خلاصه اینکه preprocessing همون فونداسیونیه که مدل ها بر پایه اون بنا میشن؛ صرف نظر از اینکه مدل ها به آسمان خراش هایی غول پیکر تبدیل بشن یا صرفا در حد یه ساختمون شهری باقی بمونن، یک چیز مسلمه: اینکه اگه preprocessing انجام نشه، هیچ معماری نمیتونه سازه های کوچیک یا بزرگ ماشین لرنینگی رو بنا کنه ⭐️

@AIMS_ACADEMY

تمامی دینم به دنیای فانی، شراره عشقی که شد زندگانی...

?برای انجام یه پروژه #ماشین_لرنینگ، بعد از تعریف کردن مسئله و به دست آوردن دیتای مورد نیازش، باید تحلیل اکتشافی داده ها یا همون Exploratory Data Analysis (EDA) رو انجام بدیم ?

? این مرحله که یکی از مهمترین و حتی شاید بشه گفت زمانبرترین مرحله کار محسوب میشه، میتونه الگوها و روابط بسیار ارزشمند نهفته در دیتا رو برامون آشکار کنه و با دید جامعی که از دیتا ارائه میده، بهمون کمک کنه تصمیمات دقیقتری در زمینه فیچر ها و در نهایت انتخاب مدل بگیریم ?

? در این مرحله در ابتدا به کمک آمار توصیفی ساده و معیارهایی مثل میانگین، میانه، مد، چارک ها و ... با ویژگی های کلی هر یک از فیچر ها و تارگت مون آشنا میشیم ?

? بعد با بصری سازی دیتای خام مون به کمک نمودارهایی مثل هیستوگرام، بار پلات، باکس پلات، اسکتر پلات و ... میتونیم به طرز ملموس تری ترند ها و روابط رو مورد اکتشاف قرار بدیم ?

? با استفاده از نمودارها علاوه بر اینکه دید دقیقتری در زمینه توزیع آماری هر یک از فیچرها پیدا میکنیم، میتونیم بسته به نیاز روابط هر یک از فیچر ها با هم و یا رابطه چند تا فیچر با یه فیچر دیگه رو هم بررسی کنیم و در صورت وجود داده های پرت و نویزها، شناسایی شون کنیم و با توجه به دیتا‌، تصمیمات بهتری رو برای مدیریت کردن اونا اتخاذ کنیم ?

? آنالیز همبستگی ( correlation ) بین فیچر ها و تارگت هم از اقدامات مهم EDA هستش. در این روش رابطه بین فیچر ها با هم و با تارگت از نظر کمی محاسبه میشه که نقش بسیار مهمی رو در بحث مثل feature selection ایفا میکنه. ( در آینده یک پست جداگانه در رابطه با فیچر سلکشن خواهیم داشت) ?

? اگر هم نیاز به تحلیل آماری برای بررسی روابط فیچر ها باشه، آزمون های فرضیه مثل t-test، ANOVA, chi square و ... هم در این مرحله میتونن استفاده بشن ⁉️

? خلاصه که EDA یک مرحله بسیار مهم برای کاوش دیتا محسوب میشه. با به کارگیری آمار توصیفی، بصری سازی، آنالیز کوریلیشن، فیچر سلکشن، آزمون فرضیه و کلی روش دیگه، میتونید الگو های پنهان در دیتا رو به طرز عمیقی درک کنید، دید و نگرش تون رو نسبت به دیتا بهبود بدید و با اشراف کامل به روی دیتا به تصمیمات بهتری در زمینه آموزش مدل برسید ?

@AIMS_ACADEMY

? اما بحث مهمی که در پی این موارد بهش اشاره میشه، بیمارستان مجازی هستش ? ?

? در حال حاضر یک بیمارستان مجازی در سنت لوئیس به اسم Mercy virtual care center وجود داره و در اون کادر درمان با بیماران در ارتباط هستند اما هیچ بیمار و حتی هیچ تختی در بیمارستان وجود نداره، همه بیماران به صورت ریموت منیج میشن در حالیکه در خونه خودشون حضور دارن، ابزار های هوش مصنوعی و تله مدیسن شرایط شون رو مورد بررسی قرار میدن و در صورت احساس خطر به پزشک مربوطه اطلاع میدن... البته که یک سری اپروچ ها رو نمیشه از راه دور انجام داد، اما با توجه به اینکه هر شب برای بیمارستان به طور میانگین حدود پنج هزار دلار هزینه داره، هر چیزی که بتونه این بار مالی رو بدون کاهش کارآمدی کاهش بده، مورد استقبال قرار میگیره ?

? شاید امروز بیمارستان مجازی یه بحث عجیب به نظر برسه، اما پیشرفت روزافزون تکنولوژی اجازه نمیده که با قاطعیت در رابطه با آینده هم چنین قضاوتی داشته باشیم؛ خلاصه این بخش اینه که ai علاوه بر کمک هایی که میتونه در حیطه تشخیص بیماری به کمک الگوها فراهم کنه، میتونه گام های بزرگی رو در جهت ریفرم سیستم درمانی هم برداره... سیستم درمانی ای که سال ها بعد، شاید خیلی با امروز تفاوت داشته باشه?

#پزشکی_عمیق
@AIMS_ACADEMY

? کتاب پزشکی عمیق، در ادامه مباحثش به استفاده پزشکان از الگوریتم های ai برای تشخیص بهتر میپردازه... برای مثال اشاره میکنه که EHR در آینده به لطف شاخه ای از هوش مصنوعی به اسم "پردازش زبان طبیعی" ( که در پست های #الفبا_هوش_مصنوعی در رابطه باهاش صحبت کردم)، اتومات میشه؛ همچنین ai با یادگیری الگوها میتونه به راحتی کیس هایی رو که ممکنه به خصوص برای پزشکان جوان چالشی باشن رو به خوبی تشخیص بده و منیج کنه ?

? بعدش هم مثال هایی رو در حیطه های رادیولوژی، پاتولوژی، روانپزشکی، درماتولوژی و... مطرح میکنه که هر کدوم شون در نوع خودشون جالبن... توضیحاتی هم در رابطه با نقش ai در کارهای تحقیقاتی و آزمایشگاهی داده میشه و نقش اون در داروسازی مورد بحث قرار میگیره که از اونجایی قبلا در کانال توضیحش دادم، شما رو به پست های قبل ارجاع میدم ⚡️

#پزشکی_عمیق
@AIMS_ACADEMY

? در پست قبل ضرورت حرکت به سمت پزشکی عمیق و سه پایه مهم اون بررسی شد. در ادامه، کتاب به بررسی نقاط قوت و ضعف ai در پزشکی می پردازه.
برای مثال به نوزاد سه روزه ای در سن دیگو اشاره میکنه ‌که به علت تشنج های متعدد به اورژانس میارنش و با وجود اینکه وضعیتش از دیدگاه پزشک ها خیلی عجیب به نظر می‌رسیده و تشخیص علتش دشوار بوده، تحت ژنوم سکوئنسینگ قرار میگیره و به کمک متدهای ماشین لرنینگی ژنوم و سایر ویژگی های نوزاد بررسی میشه و یک اختلال ژنتیکی نادر تشخیص داده میشه و با درمان مناسب، نوزاد بعد مدتی به حالت طبیعی خودش برمیگرده ?

? با این وجود کتاب محدودیت های ai رو هم مورد بررسی قرار میده. برای مثال در اغلب موارد ai به دیتای لیبل دار و ساختارمند نیاز داره در حالیکه بخش عمده دیتای حیطه پزشکی ساختارمند نیست و لیبل زدنش هم به کلی زمان و البته پزشک متخصص نیاز داره. همچنین دکتر توپول این نکته مهم اشاره میکنه که ai براساس دیتایی که بهش داده میشه عمل میکنه و اگه در دیتا مشکلاتی از قبیل انواع بایاس ها، لیبل اشتباه و ... وجود داشته باشه، مدل هم عملکرد مناسبی از خودش نشون نمیده؛ علاوه بر این، معمولا در دیتا، همه انواع شرایط رو نداریم و منطقا مدل هم نمیتونه در شرایط خاص، عملکرد خوبی داشته باشه... برای مثال به بیماری اشاره میکنه که دچار خستگی مفرط شده بود و بعد از ویزیت شدن توسط چندین پزشک و نتیجه نگرفتن، به دکتر توپول مراجعه کرده بود. توپول با بررسی CT عروق بیمار متوجه تنگی در عروق کرونر اون شد و در عین حال که فکر نمی‌کرد تنگی این عروق میتونه منجر به این علائم بشه، تصمیم گرفت که یک stent در عروقش قرار بده و به طرز عجیبی، به سرعت حال بیمار بهتر شد و به زندگی عادی خودش برگشت؛ این در حالیه که ai هیچوقت نمیتونه چنین مشکلی رو به عنوان دلیل این بیماری در نظر بگیره و چنین درمانی رو پیشنهاد بده، چون در دیتایی که بهش داده میشه، معمولا موارد جدید و این چنینی، مشاهده نمیشه ‼️

?خلاصه اینکه استفاده از ai بسته به شرایط به عنوان ابزار تشخیصی اصلی و یا کمکی فرق میکنه و با توجه به نوع مسئله باید ازش به درستی استفاده بشه...

#پزشکی_عمیق

@AIMS_ACADEMY

همراهان فرهیخته آکادمی AIMS، سلاااام???

شماره پنجم #خبرنامه AIMS رو با خبر دسترسی چت‌بات هوش مصنوعی ChatGPT به شبکه اینترنت آغاز میکنیم...

? اطلاعات ChatGPT دیگه محدود داده های پیش از سپتامبر ۲۰۲۱ نیست در واقع OpenAI با انتشار پستی در ایکس از دسترسی ChatGPT به اینترنت برای ارائه اطلاعات به‌روز و همچنین لینک‌های مستقیم به منابع خبر داد!

? محققان دانشگاه توکیو با استفاده از هوش مصنوعی تونستن از گفتگوی مرغ‌ها آگاه بشن!
این بزرگواران با بررسی ‌گرسنگی، ترس، خشم، رضایت و پریشانی مرغ‌ها موفق به رمزگشایی، ترجمه آواهای صحبت  اونا شدن(حالا این چه فایده‌ای داره؟! احتمالا میخوان با مرغ‌ها وارد مذاکرات جدی بشن تا در خصوص تولید تخم های دوزرده و پُر پروتئینه به توافق برسن!)??‍♀️?

? فک کن از بیست سال قبل از اینکه مبتلا به آلزایمر بشی، بتونی علائمش رو پیش‌بینی کنی!??

آزمایش ساده‌ای به کمک هوش مصنوعی، این اتفاق شگفت انگیز رو رقم زده.
محققان در این مطالعه یک تراشه سیلیکونی فوق‌العاده نازک با حفره‌های کوچک ایجاد کردن که با قرار دادن مقداری خون روی اون، میشه مخلوط پیچیده‌ای از پروتئین‌های موجود در خون رو جدا کرد⚗️
بعد این تراشه رو در دستگاهی به اندازه گوشی قرار میدن و با کمک یک الگوریتم هوش مصنوعی،  به دنبال نشانه‌های بیان پروتئینی می‌گردن که با علائم مرتبط با شروع زودهنگام بیماری آلزایمر مطابقت دارن?
در واقع اینجوریه که این نشانگرها تخریب عصبی زودهنگام رو نشون میدن... ( در حال حاضر هم بهترین راه مقابله با پیشرفت آلزایمر، تشخیص زودهنگامه!?)

? توسعه یک رابط مغز و کامپیوتر که در مجرای گوش قرار می‌گیره و می‌تونه به کاربر اجازه بده که بوسیله هوش مصنوعی، افکارش رو به متن تبدیل کنه، فقط با فکر، به کنترل اشیای دیجیتالی بپردازه یا حتی حافظه خودش رو بسط دهه... دقت کردین؟!فقط با فکر!!?

?️این رابط از ماده‌ای منعطف به شکل مارپیچ ساخته شده که تداخلی در شنوایی ایجاد نمی‌کنه.

? دوبله مکالمات، با هماهنگی لب ها به کمک هوش مصنوعی!?
شرکت هی‌جن از سرویس ترجمه جدیدی رونمایی کرده که نه تنها میتونه صحبت های شمارو از یک زبان به زبان دیگه به صورت صوتی با دقت خوبی ترجمه کنه بلکه حتی میتونه لبهای شمارو هم با نحوه ادای کلمات در زبان مقصد هماهنگ کنه!??

و این هم از اولین خبرنامه پاییزه آکادمی AIMS ،مشتاقانه پذیرای نظراتتون هستیم!?♥️?

@AIMS_ACADEMY

و در نهایت اینکه ممنون میشیم نظرات و انتقادات و پیشنهادات تون رو با ما مطرح کنید تا در کنار هم رشد کنیم?

به افتخار خودتون ?

@AIMS_ACADEMY

?اما برنامه اصلی ما اینه که با تعدادی کارگاه، شما رو با انواع الگوریتم های ماشین لرنینگ و دیپ لرنینگ، انواع دیتاست ها و اینکه چه الگوریتمی مناسب شون هست و تعدادی از پروژه های واقعی هوش مصنوعی در علوم پزشکی آشنا کنیم ( بدون اشاره به ریاضیات و برنامه نویسی الگوریتم ها) تا یک دید خوبی پیدا کنید، بتونید کلیات یک مقاله مربوط به این حیطه رو خوب درک کنید و بعدها که خواستید پروژه هوش مصنوعی تعریف کنید بدونید که باید از متخصص چی بخواید تا به خوبی بتونید پروژه تون رو مدیریت کنید ?

اطلاعات مربوط به این کارگاه ها رو بزودی در اختیارتون قرار میدیم، فقط اینکه هماهنگی هاش ممکنه قدری طول بکشه و پیشاپیش تشکر میکنم از صبوری تون ?

@AIMS_ACADEMY

? خب حالا برنامه AIMS واسه شما عزیزان چیه؟

? ما تصمیم گرفتیم که برای دوستانی که علاقه دارن خودشون وارد برنامه نویسی بشن یک نقشه راه بر اساس تجربیات خودمون ارائه بدیم و مسیر رو براشون شفاف کنیم تا به طور خودآموز کارشون رو شروع کنن... بزودی یک جلسه ای در گوگل میت با هم خواهیم داشت و نقشه راه رو خدمت تون توضیح میدیم... دوستانی که قصد دارن در میتینگ حضور پیدا کنن، در این گروه عضو بشن:

https://t.me/+4SHcrY6Xw0M1M2I0

@AIMS_ACADEMY

Telegram

نقشه راه برنامه نویسی هوش مصنوعی AIMS

Beny invites you to join this group on Telegram.