داشتم فکر میکردم برای این اموزشش رو به صورت ویدیویی توی چنتا قسمت بگیرم. نظرتون چیه؟ با ویدیویی راحت تر هستید یا همین شکل به صورت متنی جلو بریم. پ ن : اگه با ویدیویی موافق هستید پستو لایک کنید

خلاصه بخوام بگم، تو این مجموعه، یه سیستم کوتاه کننده لینک (همون URL) رو با استفاده از معماری میکروسرویس‌ها، gRPC و Go می‌سازیم و در عین حال چیزای مهمی مثل API Gateways و کش کردن رو هم بررسی می‌کنیم. معماری میکروسرویس چیه؟ میکروسرویس یه جور روش طراحی نرم‌افزاره…

حالا که بحث میکرو سرویس باز شد، قبلا یه پست با موضوع سوال مصاحبه System Design: طراحی کوتاه کننده URL نوشته بودم. بیایم همینو از تئوری خارجش کنیم و با استفاده از go و معماری clean در قالب میکرو سرویس با هدف آشنایی با مفاهیم پیاده سازیش کنیم :) برای سیستم…

? دومین اپیزود دواپس با سید مهدی عزیز

? می‌تونید قسمت قبلی رو از اینجا گوش بدید

00:00 مقدمه
01:40 چیشد که به اینجا رسیدیم؟
12:46 چطوری فیدبک باعث رشد شد
18:48 تبدیل باگ به تست
19:44 معرفی کوبار
23:00 توی کوبر عمیق تر بشیم
46:45 جمع بندی

➖➖➖

توی هر اپیزود سعی میکنیم بهتر بشیم و ببخشید اگه کمو کاستی هایی وجود داشت :)

? @MdDaily ??‍?? @seyedmahdidiary

? ~~امشب منتظر قسمت دوم پادکست دواپس باشید :)~~

منتشر شد :)

سلام سلام
توی دومین رویداد ابر های اصفهان منتظر دیدارتون هستم :)

اگه هم با کد تخفیف اختصاصی MD40 از طرف کانال ثبت نام کنید، شامل تخفیف میشه.

? @MdDaily

اما خب طرز کار الاستیک سرچ به چه صورتی هستش ؟
قبل از رفتن سراغ این قسمت چند مورد تاپیک خدمتون معرفی میکنم و در اخر میگم چجوری این ها به هم متصل میشوند

خب تاپیک هایی که باید بدونیم ایناس

الستیک سرچ موتورجستجو و کلا قلب تپنده ی این محصول است و همه چیز هستش (به همین راحتی)

کیبانا رابط گرافیکی الستیک سرچ برای استفاده راحت تر هستش و خیلی راحت استفاده ازش اگه الستیک سرچ بلد باشید

فلوئنت دی و لاگ استش هستش که بخوام خودمونی بگم نقش رابط داره که لاگ از کف سیستم جمع میکنه و به الستیک سرچ میفرسته

خب حالا در عمل ما میخواهیم لاگ های بخشی از سیستم جمع کنیم چکار انجام میدیم؟
اول از همه چند سرور اماده میکنیم و در کانیفیگ هایشان ip بقیه سرورهارو و میزاریم سپس نوع نود های که توضیح خواهم داد میزاریم مهمترین نوع نود همان master and replica (یعنی یک سرور نقش اصلی و پردازش دارد و بقیه کپی دیتا از روی اون هستن )هستش بعد از اون ادرس الاستیک سرچ به fluentd میدهیم و کانفیگ اون را هم درست میکنیم که نمونه هاشو میزارم و در نهایت کانفیگ kibana ست خواهیم کرد
خب مهمترین قسمت شاید میتونم بگم fluentd یا ابزار دیگه ای که مصل همین هستش logstash هست چون ۲ نوع کانفیگ داره یکی کانفیگ جمع اوری لاگ و یکی کانفیگ ارسال لاگ ولی همگی در فایلی به عنوان fluent.conf هستند
این یک مثال ساده از جمع اوری لاگ nginx ارسال ان به الستیک سرچ هست
<source> @type tail path /var/log/nginx/access.log pos_file /var/log/td\-agent/httpd\-access.log.pos tag nginx.access format nginx </source> <match **> @type elasticsearch logstash_format true logstash_prefix "nginx" host "localhost" port 9200 index_name "ngnix" </match>

در قسمت source تنطیمات مربوط به لاگ nginx را گذاشتیم و در قسمت match تنظیمات مربوط به elasticsearch(مثلا یکیشن اینه چون جفتش روی یه سرور روی لوکال هاست گذاشتم یا اسم ایندکس هامو اونجا گذاشتم)
در این مثال لاگ ها از nginx جمع شده و به الستیک سرچ ارسال میشوند
خب حالا یه نکته ریز هم اشاره کنم که چرا بجای logstash باید از fluentd استفاده کنیم
اول از همه fluentd رم بسیار کمتری مصرف میکنه بخاطر سیستمی که داره و همچنین برای سیستم روتتینگ ایونت هاش از تگ استفاده میکنه که خیلی کمک بهتری به سبک شدن پروسه میکنه ولی مشکلی که داره اینه کانفیگور کردنش خیلی سخت تره از logstash

پ.ن : چند تا تعربف هم میگم ولی چون اهمیت کمتری دارن این زیر میگم این تعریف index که اولیش هست تو تمام دیتا بیس ها و ابزارها یکی خب اولیش index که دقیقا مثل یه پوشه هستش که داخلش یکسری مدرک احتمالا کارنامه هاتون شما یه جا نگه میدارید اون یه جا index داخل دیتا بیس هم به همین صورت
چیزی که احتمالا دیدین پورت بخوام به صورت خیلی ساده بگم پورت ها دوروازه هایی هستن که ورود و خروج کنترل میکنن اینم به زبون ساده گفتیم
لاگ هم یکسری داده درباره فعل و انفعالات بخش خاصی از سیستم که ۳ تا پارامتر داره کی لاگو انداخته چرا لاگو انداخته چقدر لاگی که انداخته مهم هستش

در آخر هم بگم چرا اصلا رفتم سراغ الستیک سرچ اونجایی که هستیم خیلی مهم اون بحث full text. سرچ گه خدمتتون گفتم و دلیل اصلیش این بود ولی خب قابلیت هایی که گفتم ببینید و مقایسه کنید برای کاربری خودتون یه چیزی هم که در دنیای کامپیوتر هستش اینه که هیچ محصول بد و خوبی وجود نداره صرفا باید ببینی تو به کدومش نیاز داری!

? @MdDaily

درود خدمت همگی من امیر هستم و امروز قراره درباره الستیک سرچ صحبت کنیم و ببینیم اصلا چی هست

الستیک سرچ یک ابزار سرچ و نگه داری داده است که بر اساس Apache Lucene
(من یه توضیح ریزی بدم چیه اینم یه ابزار و موتور سرچ دادس که متن باز و بر پایه زبان برنامه نویسی جاوا نوشته شده)

ساخته شده یک ابزار full text search هست یعنی میتونه جستجوی های حتی با یک کاراکتر انجام بده که برای سایت های مثل دیوار که کوچیکترین تغییر کمک میکنه بهشون در پیشنهاد کردن کمک کنه

ویژگی هایی که باعث میشود شما بخواهید از الستیک سرچ استفاده کنید

⭕️ هر دو نوع دیتا sql و nosql را ساپورت میکند همچنین تمام فرمت های فایل ها را ساپورت میکنه ولی fluentd and logstash به صورت خودکار ان را به json تبدیل میکنه

(پ.ن داده های sql داده های هستند که ساختار بندی و جدول بندی دارن اگه بخوام به زبان ساده بگم
داده ها یه شکلی هست که میشه دسته بندیشون کرد ولی داده های nosql از هردری سخنی هستن و نمیشه دسته بندی خاصی براشون گذاشت که متد های خاص خودشو داره در اینده ای نه چندان دور درباره جفتش صحبت میکنم اگه دوست داشتی)

⭕️ همچنین میتوانیم ۴ نوع (phase (hot warm cold freeze البته فاز فرییز الان حذف شده که ما میتوانیم این فازهارو به نودهامون اضافه کنیم (پ.ن بزارید بگم اصلا چی هستش نود ببینید ) خب اینا اصلا به چه درد میخورن و چی هستن فاز hot قابلیت read and write باهم دارد و برای سرور هایی که هارد SSD دارن خیلی خوبه ولی فاز های دیگر فقط برای read هستن ولی لولهاشون فرق داره و برای جاهایی که از هارد HDD استفاده میکنن خیلی خوبه که به منظور دخیره داده و خواندن از روی ان استفاده میکنیم

⭕️ قابلیت بسیار اسان اد کردن سرور به صورت ریسورس اضافه تنها در ۳۰ ثانیه شما کانفیگ الستیک سرچ کپی میکنید در قسمت دیسکاوری آی‌پی سور جدید می‌دهید و اکنون شما سرور جدیدی اضافه کردید

⭕️همونطور که پیش تر گفتم قابلیت full-text search را دارد و در سایت های خرید مانند دیوار دیجیکالا ترب میتواند استفاده شود( این مبنی بر این نیست که استفاده میکنند تا انجایی که من میدونم دیوار استفاده میکنند )

? @MdDaily