Бесплатный онлайн-вебинар от karpov courses — «A/B тестирование на практике с Анатолием Карповым».

Все мы знаем, что цена ошибки в бизнесе — не только тысячи нервных клеток. Часть из них точно можно избежать, применяя в процессах А/B-тесты. Поэтому специалисты в этой области ценятся на рынке, а их зарплаты непрестанно растут.

Если вы хотите углубиться в эту тему с нуля или апгрейднуть свои скиллы — пятого декабря присоединяйтесь к бесплатному онлайн-вебинару «A/B тестирование на практике с Анатолием Карповым», с CEO karpov courses и ex ведущим аналитиком VK.

Сплитование трафика, контроль ошибок, работа с необычными распределениями, проведение А/А-тестов, это лишь малая часть задач, с которыми работают аналитики.
На эфире вам расскажут из чего складывается А/B-тест на практике и что необходимо знать аналитику для грамотного проведения тестов.

Присоединяйтесь к бесплатному онлайн-вебинару: https://clc.to/erid_LjN8K12t8

Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627.

На Хабре вышла статья об оценке умений LLM-моделей, и это интереснее, чем может показаться на первый взгляд.

Традиционно считается, что интеллект LLM можно измерить как человеческий — с помощью тестов и экзаменов. Отсюда и появились многочисленные академические бенчмарки. Но эти тесты упускают главное: LLM создаются не для решения ЕГЭ, а для реальных задач — ведение диалога, перевод, суммаризация, брейншторминг. К тому же все бенчмарки подвержены протечкам данных — тестовые задания попадают в тренировочные наборы, искажая результаты.

LLM-модели не имеют той внутренней картины мира, которая есть у людей. Для нас вопрос «стоит ли брать кирпичи на пляж» звучит абсурдно, а для модели этот ответ совсем не очевиден. Именно поэтому появились специальные бенчмарки на «здравый смысл» — COPA, PIQA, OpenBook, WinoGrande. Но и они не отражают реальной применимости модели в бизнес-задачах.

Автор статьи, специалист из Яндекса, рассказал, что компания создаёт внутренние бенчмарки под конкретные задачи и привлекает AI-тренеров — специалистов из разных областей для глубокой оценки ответов модели. Это дороже и сложнее с точки зрения систем контроля качества, но позволяет понять реальную ценность LLM.

Отдельного внимания заслуживает LMSYS Chatbot Arena, где пользователи сами оценивают ответы моделей по принципу шахматного рейтинга. Казалось бы, отличное решение, но и здесь есть подводные камни — респонденты часто предпочитают длинный красиво оформленный ответ короткому, даже если он неправильный.

Самый важный вывод: универсального решения для оценки LLM просто нет. И это не баг, а фича — приходится постоянно комбинировать методы, анализировать данные и проверять, насколько модель действительно полезна в реальных задачах. Оценка практической ценности ИИ оказалась не менее сложной задачей, чем его создание.

Сегодня подготовили для вас целую подборку каналов в
сфере “IT и Технологии” 📚

Тут вы точно найдете ответы на многие свои вопросы. А главное - вам не придется, тратить на поиски информации несколько часов 😊 👇

Поэтому переходите, подписывайтесь и пользуйтесь на здоровье📂😉

Хотите подборку?

Больше не нужно искать тематические каналы и по отдельности на них подписываться - мы сделали это за Вас ?

Вам остается только сохранить папку себе и регулярно получать полезные ресурсы из сферы «IT и Технологий» ?

https://t.me/addlist/VMuK8A3-KfM5NzM6

Хотите в подборку?

Бесплатный интенсив по подготовке к собеседованиям на позицию аналитика данных ?*
?*** Всем привет! Хотим пригласить вас на уникальный 4-дневный интенсив по подготовке к собеседованиям на позицию аналитика данных!

Программа насыщенная и затрагивает сразу много аспектов подготовки к собеседованиям:

◾️ День 1: Составление резюме, cover letter, портфолио и самомаркетинг
◾️ День 2: Решение задач с собеседований
◾️ День 3: Разбор вопросов с технических собеседований
◾️ День 4: Разбор продуктовых кейсов

Каждый день мы будем присылать вам материалы по одной из тем. А по некоторым темам даже будет дополнительное «домашнее задание»!

??Записаться на бесплатный интенсив??

Интенсив подходит всем, кто изучает аналитику и планирует искать работу. Участие в нем займет не более 1 часа в день, но даже в таком формате вы получите для себя массу пользы!

Кстати, вы можете вписаться и получить весь материал абсолютно бесплатно. А если хочется более глубокой проработки и персональных консультаций - мы предусмотрели 30 VIP-мест. Так что записывайтесь, выбирайте формат участия и погнали ?

??Записаться на бесплатный интенсив??

Реклама. ООО «АЙТИ РЕЗЮМЕ». ИНН 4025460134.
Erid:LjN8KPFAS

Таким образом, не важно планируете ли вы пойти на рынок труда и апнуть себе зарплату в 2 раза или нацелены на развитие внутри текущей компании — вы всегда через стратегическое планирование будете возвращаться к удержанию фокуса на собственном развитии. Это позволит сохранять мотивацию, добиваться поставленных целей и обеспечивать согласованность вашей текущей деятельности с личными карьерными устремлениями

Я сначала немного приуныл по результатам опроса. А потом подумал «А чё мне приунывать?»: стратегия роста через смену компании — вполне себе ок. Каждый сам кузнец своего счастья

Какой же непрошенный совет я могу дать людям, которые выбирают для себя стратегию частой смены работ?

Обращать внимание на то, насколько текущие рабочие приоритеты соответствуют вашим собственным долгосрочным целям. Долгосрочные личные цели в профессиональном развитии — это то, что позволяет наделять работу смыслом и уменьшать риск того, что работа в какой-то момент начнёт восприниматься как «перекладывание задачек в джире»

Аспект долгосрочного планирования должен быть на переднем плане, в независимости от того какая стратегия выбрана: будь то при частой смене работы ради карьерного роста или намеренном развитии внутри одной компании

Очень важно иметь четкий карьерный вектор и соизмерять свою деятельность с ним. Регулярно задавайте себе вопрос: «где я сейчас?». Например, хочу ли я развиваться в лидера или в принципала? Какие навыки и качества мне необходимо развить для этих ролей? Что важно для моего роста как лидера или какими специализированными знаниями мне нужно овладеть? Как я донесу до стейкхолдеров, что теперь обладаю этими важными качествами?

Не следует работать «наскоками», реагируя только на входящие задачи. Можно и нужно учиться через входящие задачи. Но если вы не смотрите на это обучение через призму ваших долгосрочных целей, то такое обучение получается как бы реактивным (в противовес проактивному) и вы не управляете своей карьерой. Ваши скиллы развиваются «как попало». Важно держать в фокусе свои цели и мотивироваться их достижением, обеспечивая соответствие этих целей вашему внутреннему компасу. Это помогает быстрее расти через входящие задачи

А ещё лучше ставить тебе дополнительные задачи, которые будут продиктованы только вашими стратегическими целями. Попробовать выбить у руководителя немного времени на них. И тогда появляется возможность самому управлять своим бэклогом, что добавляет в работу больше контроля и элемента некоторого творчества

Для того, чтобы успевать думать о своём карьерном развитии, можно выделять раз в месяц в календаре время для вот такого простого процесса:

1. Остановиться — Приостановить деятельность и дать себе время для размышлений
2. Чекнуть ожидания — Сформировать стратегические карьерные ожидания (если ещё не сформированы) или обновить предыдущие ожидания. Лучше их прям фиксировать письменно. Лично я это делаю через голосовое во время прогулки, а потом голосовое перевожу в текст и структурирую через GPT — на то, чтобы начать говорить мне нужно меньше когнитивного ресурса, чем на то, чтобы писать, поэтому голосовое тут хороший icebreaker, чтобы запустить эту работу
3. Зафиксировать разницу — Проанализировать свои ожидания и текущие результаты. Сравнивая первоначальные цели с текущими достижениями, важно понять, в каком направлении вы движетесь и где вам потребуется корректировка стратегии. Разбить результаты на ключевые показатели: что достигнуто, что требует доработки. Зафиксировать, в каких навыках и знаниях вы преуспели, а какие области требуют больше внимания. Хорошим инструментом здесь может быть SWOT-анализ (сильные и слабые стороны, возможности и угрозы). Это позволяет выявить расхождения и планировать действия для их устранения
4. Анализ и планирование — После этого можно отприоритизировать расхождения в соответствии с вашей стратегией. И дальше сформулировать план работы для дальнейшего личного роста. При этом тут можно опираться на текущее представление о планах компании, оценить возможности для использования корпоративных ресурсов (если есть внутренние обучения), свериться с планами развития по грейдам (если они есть), узнать у команды или лида какие сейчас существуют проблемы, где может быть важна ваша включенность. То есть ключевое тут — не смотреть на развитие «в вакууме», а попытаться включить его в окружающую вас среду и возможности этой среды. В итоге, на этом этапе у нас появляется план, который позволит систематически приближаться к своим карьерным целям

MLOps Engineer в СберОбразование
СберОбразование — компания экосистемы Сбера, созданная в 2021 году. Мы внедряем цифровые решения и создаем новые возможности для развития и обучения на протяжении всей жизни.

Задачи:?Поддержка, проектирование и развитие DS инфраструктуры;
⚙️Развёртывание необходимого ML-окружения на инфраструктуре, владение практиками DevOps;
?Проектирование архитектуры развертывания ML решений;
?‍♂️Внедрение ML-модели в прототип и prod;
?CI/CD пайплайны поставки моделей;
?Мониторинг работы моделей и ML-сервисов;
?Оптимизация доступа к данным для моделей и DS;
?Настройка CI/CD для batch/realtime моделей;
⚖️Настройка балансировки нагрузки;
?Обеспечение работы больших языковых моделей (LLM) в prod.

Ожидаем от вас:
?Знание практик управления жизненным циклом ML-моделей (автоматизация, оптимизация, мониторинг, переобучение/обновление) и умения их внедрять;
?Знания по поддержке, разворачиванию аналитической инфраструктуры;
?Знания: Linux, Python, SQL, Clickhouse, JupyterHub, Airflow, Docker, Git, Jira, Flask/FastAPI.

Полное описание на HH

Контакт для связи — Анна Егорова https://t.me/EEzhevica