➡️ Data Science для начинающих

Уже 23 сентября у нас стартует 7-ой поток курса по Data Science.

?Что вы изучите:
- Математику для Data Science
- Как проводить АБ-тестирование
- Классические ML-алгоритмы: от линейных моделей до бустингов
- Научитесь разбираться в ML-алгоритмах и грамотно их применять
- NLP: от TF-IDF до Transformers
- Deep Learning: основные тренды, база по нейросетям
- Computer Vision: примеры из области
- MLOps: production code, FastAPI, Streamlit, линтеры
- Дополнительно: Airflow, MLFlow, многопоточность, мультипроцессинг, временные ряды, Superset и пр.

❗️В новом потоке мы добавили еще 2 расширенных блока: NLP и рекомендательные системы. Темы в этих блоках позволят вам открыть для себя больше вакансий для начинающих, а также быстро вырасти до Middle позиции, так как материал в них разобран подробно и на высоком уровне!

❗️Осталось всего 14 мест.

https://pymagic.ru/data-science

pymagic.ru

Курс Data Science для начинающих

Реальные задачи и проекты, разбор алгоритмов и методов машинного обучения, пробное собеседование

?Пошаговый план обучения ML

Пока кипишь с Павлом Дуровым чуть поутих, ждём новостей ?‍♂️предлагаю посвятить время полезному образовательному контенту.

? Инвестиции в ваше развитие, образование - это прочный фундамент и основа вашего настоящего и будущего. Они позволяют вам не сильно переживать о том, что происходит в мире, а надеяться на себя и свои силы ?

➡️Я не раз уже на канале выпускала видео с пошаговым планом обучения Data Science с нуля. Но мир меняется, требования меняются, что то остаётся неизменным (база), поэтому, решила обновить материал по данной теме ?

➡️В видео рассмотрены не только темы по DS, но и затронуты важные моменты по поводу pet-проектов. Постаралась дать конкретные рекомендации по ним, которые используем и у себя в школе.

? Конечно же куча полезных бесплатных материалов, где вы сможете изучить данную область самостоятельно, в этот перечень вошли полезные каналы, а также ресурсы от комьюнити ODS.

https://youtu.be/bo_w0c3dKeI?si=OwKjuj-nRrt3FJgB

Кластеризуем правильно ?

Я вам обещала пост про применение нейросетей, но из-за огромного кол-ва новостей про GPT-100500 модели, мы пропустили самое главное - алгоритмы кластеризации ❗️

Новички часто путают кластеризацию и классификацию. Кластеризация - это метод обучения БЕЗ учителя, когда вы находите кластеры в данных, как правило это группы объектов, которые объединились по похожим свойствам, закономерностям. Классификация - метод обучения С учителем, вам уже даны метки классов, задача натренировать по ним алгоритм. То есть в первом случае разметки нет, и ее надо найти, во втором она уже дана.

? Методов кластеризация есть несколько, какой из них выбирать не всегда понятно. Часто замечаю, что кроме как K-Means наши дата саентисты больше ничего не выучили, а зря!

Прежде, чем кластеризовать данные, вы должны снизить размеренность. Исходя из структуры новых эмбеддингов, следует применять следующие подходы:
➖Выпуклая структура (что бывает не очень часто) - K-means, он и быстрее и проще, но чувствителен к выбору начальной точки, поэтому можно попробовать K-means++
➖Сложная нелинейная структура (аля спиралька) со сложными связями - Spectral Clustering, но вычислительно дорогой
➖Кластеры в виде плотностей - DBSCAN / OPTICS, но нужно подбирать грамотно параметры
➖Кластеры различной плотности и формы, присутствует шум - HDBSCAN
➖Сложная структура, нечеткие границы, данные как смесь нормальных распределений - Gaussian Mixture Models

❗️Важно:
⁃ Выбор алгоритма кластеризации зависит от структуры данных
⁃ Нет универсального "лучшего" алгоритма
⁃ Важно понимать сильные и слабые стороны каждого алгоритма и правильно настраивать параметры

Вы меня недавно спрашивали, а есть ли где то глянуть запись выступления про персональные рекомендации в WB, к сожалению, у нас осталась только презентация.

Но поверьте, она бомбическая. Просто откройте и посмотрите ?

? 4 мифа про Data Science

Искаженное представление о работе в Data Science может отпугивать многих людей — они не решаются попробовать себя в этой области, даже если их настоящая работа их не устраивает. Например, им кажется, что для работы в этой сфере нужно быть математическим гением или иметь техническое образование, а также что Data Science сводится только к обучению моделей машинного обучения.

Но на самом деле все происходит совсем не так. В этой статье собраны распространенные заблуждения о Data Science, а также на примерах объяснено, почему в них не стоит верить.

1️⃣ Миф 1: Чтобы стать Data Scientist, нужно быть математическим гением!
Знания математики безусловно нужны, на них базируются модели машинного обучения, но это не означает, что вы должны быть супер-экспертом в вышмате. Гораздо важнее понимать основные концепции (да-да! тут нужна база, даже если хотите понять, как работает Transformer), уметь применять их на практике и развивать способность к логическому мышлению.

2️⃣ Миф 2: Data Science - это только для технарейЭто распространенное заблуждение. Data Science требует разнообразных навыков, включая программирование, анализ данных, визуализацию и коммуникацию. Многие успешные Data Scientist’ы имеют разнообразный бэкграунд - от гуманитариев до инженеров. Люди с гуманитарным образованием, обладающие критическим мышлением и способностью находить нестандартные решения, также могут добиться успеха в этой области. Часто лично встречала такие ситуация, когда в NLP направлении работали бывшие лингвисты.

3️⃣ Миф 3: Data Scientists скоро заменят AI-алгоритмы
Хотя Data Scientist являются и создателями этих же алгоритмов, но все же работу над задачами среднего и высокого уровня сложности такие алгоритмы заменить пока что не в состоянии. Алгоритмы AI по-прежнему нуждаются в качественных данных, которые собирают и подготавливают сами же Data Scientist’ы.

4️⃣ Миф 4: Data Science - это только про обучение ML-моделей
Построение предиктивных моделей - важная, но далеко не единственная задача Data Scientist'ов. Они также занимаются сбором, очисткой и анализом данных, выбором релевантных признаков, оценкой качества данных и многим другим (еще огромный пласт работ - production…). Эти "черновые" работы составляют значительную часть и не менее важны, чем само моделирование.

?Распродажа курсов ?

Всем привет! Сегодня у нас стартует масштабная распродажа всех курсов (кроме DS) СКИДКА 50% ?

Если давно хотел изучить как работает Transformer, как дообучить BERT для задачи классификации, как решать задачи NER, либо как применять более простые модели TF-IDF и пр. для своих проектов то тебе на курс по NLP

Если ты хочешь уметь в production, хвастаться перед коллегами, как ты круто задеплоил модельку, прикрутил и укротил Docker, FastAPI, MLFlow, Airflow, да еще и тестами код покрыл, то тебе на 1ую часть курса по MLOps

Но если хочется показать себя сеньером помидором (без лишнего сарказма), научиться не только в микросервисы, но еще и в кластеры, разобраться с Kubernetes, Terraform, Kafka и все это связать в единый проект, да и вообще понять, как архитектурно ML-проекты наконец выстраивать, то приходи на 2ую часть курса по MLOps (Advanced версия)
✅Промокод HAPPYFRIDAY
Действителен до 8 апреля. Можно применять как на сайте pymagic, так и вводить при покупке курсов по MLOps на образовательной платформе.

Рекомендательные системы: краткий обзор ?

Рекомендательные системы анализируют предпочтения пользователей пользователей и на основании такого анализа пытаются предсказать, что им можем быть интересно: товар, фильм, книга и пр.

? Какие существуют подходы в рекомендательных системах:
- Коллаборативная фильтрация (Collaborative Filtering) - анализирует схожесть между пользователями.
Например: "Пользователям, купившим этот товар, также понравилось..." ?
- Фильтрация на основе контента (Content-Based Filtering) - анализирует характеристики объектов (товаров, фильмов и т.д.).
Например: "Вам может понравиться этот фильм, похожий на те, что вы смотрели ранее" ?
- Гибридные подходы (Hybrid Approaches) - комбинируют различные подходы (как вариант коллаборативную и контентную фильтрации)
- На основе знаний (Knowledge-Based) - использует базу знаний о предметной области для генерации рекомендаций.
Например: система подбора ноутбука по заданным характеристикам ?
- Кросс-доменные рекомендации (Cross-Domain) - используют данные из нескольких доменов (например, фильмы и книги) для улучшения качества рекомендаций.
Например: "Если вам понравился этот фильм, возможно вам также понравится эта книга" ??
- Рекомендации на основе социальных связей (Social Network) - используют информацию из социальных сетей (друзья, подписки, лайки). Идея в том, что на наши предпочтения влияет окружение.
Например: "Ваши друзья слушают эту музыку" ??

Также есть и другие типы рекомендательных систем. К примеру Контекстные (Context-Aware) - учитывают контекст пользователя (время, место, текущая активность и т.д.). Отлично работают в связке с другими подходами! Например: рекомендация музыки под текущее настроение и занятие ??‍♂️ Или же Временные (Time-Sensitive) ?️ и пр.