Обучалка.

Часто выбор модели не занимает много времени в машинном обучении. В реальности предварительная обработка данных может занимать до 90% объема работы. Распространенная проблема возникает при работе с текстом или изображениями- более высокая размерность данных. Как ускорить процесс обучения? Как преобразовать данные, чтобы они были пригодны для визуализации? Как найти закономерности в данных, чтобы упростить модель? Многие ML инженеры используют для этого методы уменьшения размерности.

1. PCA (Principal Component Analysis)- это Unsupervised Learning метод для уменьшения размерности. PCA преобразует данные в новый набор переменных, который представляет собой комбинацию атрибутов из исходного набора данных таким образом, чтобы увеличить вариативность. Эта комбинация атрибутов известна как главные компоненты, а компонент, который имеет максимальную зафиксированную дисперсию, называется доминантным главным компонентом.

2. LDA (Linear Discriminant Analysis)- это Supervised Learning метод для разделения двух классов. Основная идея алгоритма линейного дискриминантного анализа (LDA) состоит в том, чтобы максимизировать раздел между двумя группами, чтобы принять наилучшее решение для их классификации. Алгоритм пытается минимизировать инвариантность класса, используя технику нормализации, и максимизировать вневариантность класса за счет эффективного разделения средних значений класса.

О методе визуализации данных T-SNE и многом другом в моей статье ниже ⬇️****
https://medium.com/@hakenchok1/dimensionality-reduction-in-machine-learning-basic-techniques-12b42b309491

Medium

Dimensionality Reduction in Machine Learning: Basic Techniques

PCA vs LDA vs T-SNE: which one to use?

В вечернее время сфоткал Shaw Auditorium. Красиво, да?

Мысли вслух.

Сегодня здесь коротко опишу события, которым не хочется уделять много внимания.

1. Первый этап интервью в ENTERPRIZE Robomaster (конструирование боевых роботов) я вынес с ноги. Дальше не пойду, потому что сейчас есть более интересные предложения. Спрашивали про нормализацию рассеянных данных при поступлении от сенсоров. Ответ расписывать не буду; я с Computer Vision в основном и работаю.
2. Morgan Stanley не удивили. Целят на студентов за год до выпуска, только на лето и только на позиции Technology Analyst в Гонконге. Единственное, что может привлечь- зарплата от 300к руб/мес за стажировку.
3. Через 2 недели начинается Career Mosaic. Десятки компаний лидеров дают возможность пообщаться в любое время с сотрудниками на территории кампуса университета. Это один из лучших способов выбить интересную стажировку в «недоступных» компаниях.

Шутка дня!
Нам показали статистику поступления моего года на специальность компьютерной инженерии. Сплошная дискриминация?