Опубликовали запись доклада «SRE и перформанс, или Когда производительность имеет значение» на DevOops 2023:
— YouTube: https://www.youtube.com/watch?v=ukXD3t_abOI
— Материалы по докладу: https://t.me/chnl_GregoryKoshelev/59.

8 июня буду в Челябинске на UWDC с докладом Apache Kafka: погружение на 45 минут.

Погружение в Apache Kafka для разработчиков:
1. Внутреннее устройство и принцип работы основных компонентов Apache Kafka.
2. Особенности использования Apache Kafka в различных сценариях.
3. Разбор best practices и мифов.

Готовлю обучающий курс по Кафке — какие-то темы войдут в этот доклад с обновлённой "базой" из предыдущих выступлений.

uwdc.ru

Apache Kafka: погружение на 45 минут — UWDC

Стать партнёром UWDC2024

Материалы к докладу «SRE и перформанс, или Когда производительность имеет значение»:
— Презентация доклада.
— Доклад «В чём (ещё) польза распределённых трассировок» на DevOops 2022 (материалы, YouTube).
— Доклад «Как (не) надо проводить нагрузочное тестирование» на HeisenBug 2023 (материалы, YouTube).
— Доклад «Как внедрить SLO в продукт и получить от этого пользу» от Даниила Марданова (Контур) на DevOops 2023.
— Доклад «SLA — друг или враг разработчика?» на DevOops 2021 (материалы, YouTube).
— Доклад «Vostok Hercules: 3 года доставляем телеметрию — полёт нормальный» на JPoint 2022 (материалы, YouTube).
— Доклад «Работа над ошибками» (про внедрение Sentry у нас в Контуре) на DevOops 2020 (материалы, YouTube).
— Доклад «Перформанс: что в имени тебе моём?» от Алексея Шипилёва на JPoint 2017 (YouTube).
— Доклад «Где моя память, чувак?» От Никиты Сальникова-Тарновского на JPoint 2015 (YouTube).
— Google SRE books (помимо не устаревающей классики Google ещё 2 книги и большое количество дополнений к книге в виде статей и докладов):
SRE Book (2016)
SRE Workbook (2018)
Building Secure and Reliable Systems (2020)
SRE Book Updates
— Тот самый опрос про причины факапов (в презентации слепок результатов опроса на момент доклада).
— Статья про метастабильные отказы (white paper — PDF, 2021).
— Блог Брендана Грегга про Performance и Linux.
— Critical Path в распределённых трассировках:
Статья про анализ микросервисной архитектуры с использованием critical path от Uber.
Статья «Distributed Latency Profiling through Critical Path Tracing» от Brian Eaton, Jeff Stewart, Jon Tedesco и N. Cihan Tas из Google (white paper — PDF, 2022).
— Набор Java-инструментов для перформанс-инженера:
jattach (heap-dump, thread-dump, …)
async-profiler (профайлер)
JMH (java microbenchmark harness)
Eclipse MAT (memory analyzer tool)
Gatling (инструмент для нагрузочного тестирования)
JMeter (инструмент для нагрузочного тестирования)

Telegram

Gregory Koshelev channel

И сразу после DotNext выступлю в двух ролях на DevOops: с докладом "SRE и перформанс, или Когда производительность имеет значение" и экспертом на докладе "Как внедрить SLO в продукт и получить от этого пользу" у моего коллеги по Контуру Даниила Марданова.

25 апреля выступлю на JPoint 2024 c докладом "Зачем было тащить Undertow" ("Why Tow Undertow"). Это доработанная версия доклада со SnowOne.

У меня, как у спикера, есть персональный промокод со скидкой 25% на персональный билет. Кому нужен — пишите.

JPoint 2024. Java-конференция для опытных разработчиков

Зачем было тащить Undertow | Доклад на JPoint 2024

Undertow — это не только контейнер сервлетов Spring Boot или WildFly, но и высокопроизводительный веб-сервер, использующий асинхронную модель обработки запросов с неблокирующим I/O. Посмотрим, как устроена архитектура Undertow, организована асинхронная обработка…

В понедельник рассказывал студентам ФИИТ (УрФУ) про OpenSource. Собрал ниже интересные факты из лекции (в самой презентации ещё больше ссылок):
— Помимо OpenSource ПО существует OpenSource аппаратное обеспечение. Например, широко известная платформа Arduino. И RISC-V архитектура. Последняя примечательна тем, что среди основателей RISC-V Foundation/International не только IT гиганты, но и российская компания Syntacore.
— Владимир Кемпик (Syntacore) на JPoint 2023 рассказывал про опыт портирования OpenJDK на архитектуру RISC-V (YouTube).
— Ричард Столлман (статья о нём на Хабре) основал движение свободного ПО (СПО) в 1983 году. Философия СПО приведена на сайте проекта GNU, которую можно свести к четырём свободам пользователя: (1) исполнять программу, (2) изучать и править
исходный текст программы, (3) распространять точные копии, (4) распространять изменённые версии.
— Бесплатное ПО (или Freeware) ≠ СПО. Бесплатное ПО в своих лицензиях может иметь ограничения свобод или недоступность исходного кода. При этом СПО можно законно использовать бесплатно.
— Текстовый редактор GNU Emacs стал первым приложением проекта GNU. Поспособствовал этому будущий отец Java — Джеймс Гослинг.
— Определение OpenSource появилось в 1998 году. В текущем виде концепция OpenSource ПО описывается 10 пунктами. В настоящем OpenSource ПО у пользователя есть следующие права: (1) изучать, (2) изменять, (3) распространять ПО и (4) распространять его исходный код кому угодно и для любых целей, что интуитивно очень похоже на определение СПО. Важный вывод: "ПО с открытым исходным кодом" ≠ "OSS в соответствии с определением OpenSource Initiative".
— СПО и OpenSource ПО отличаются лицензиями. Поэтому выделилось пересечение Free(Libre) and Open Source Software или F(L)OSS.
— При разработке и выборе лицензии важно учитывать совместимость лицензий, коих огромное количество (чего стоит WTF Public License). На wikipedia есть статья с примерами.
— История про добавление к лицензии строчки «The Software shall be used for Good, not Evil», которая стала мемом.
— Любопытное исследование про OpenSource в России.
— Примеры OpenSource проектов из Контура:
Moira — система оповещения в реальном времени
на основе данных Graphite и Prometheus
Hercules — распределённая система для надёжной доставки данных телеметрии.
— Google Summer of Code — в этой программе от Гугла дважды участвовала Мойра (в 2019 и 2020).

13-17 ноября организую онлайн-конференцию Podlodka Techlead Crew. Тема конференции: Масштабирование архитектуры.

P.S. В треде обсудим темы сессий, которые я готовил вместе с коллегами по программному комитету.

podlodka.io

Онлайн-конференция Podlodka Teсhlead Crew #7

Недельное мероприятие от команды Podlodka: ежедневные интерактивные сессии в Zoom по актуальным проблемам techlead-разработки, нон-стоп общение с экспертами и звёздами индустрии, закрытое профессиональное сообщество в Telegram.

Делаю работу над ошибками: выкладываю материалы к своему докладу «Sentry: Работа над ошибками» с DevOops 2020:
— Запись доклада на YouTube.
— Презентация доклада.
— Sentry (документация, репозиторий).
— Moira — OpenSource-сервис для алертинга по метрикам Graphite и Prometheus / VictoriaMetrics. Создан и развивается инженерами Контура. Про поддержку Прометея писал в предыдущем сообщении.
— Доклад «Аварии помогают учиться» от Алексея Кирпичникова (Контур) на DevOpsConf 2019 (YouTube).
— Vostok Hercules — платформа для обработки и доставки данных телеметрии, разработкой которой я занимался в период с 2018 по 2022 год).
— Узнаём об ошибках из метрик
USE-method
RED-метод.

YouTube

Григорий Кошелев — Работа над ошибками

— . Правдивая история переезда на Sentry в масштабах большой продуктовой компании.— Как жили раньше?— Почему выбрали Sentry?— Как живём сейчас?— И, собственн...

Я довольно часто рассказываю про инструменты Observability, а буквально вчера коллеги зарелизили новую версию Moira — OpenSource-сервиса для real-time alerting по метрикам. Новая версия примечательна тем, что там появилась поддержка Prometheus в качестве источника метрик.
— Бэкенд: https://github.com/moira-alert/moira/releases/tag/v2.9.0
— Фронтенд: https://github.com/moira-alert/web2.0/releases/tag/v2.9.0
— Документация: https://moira.readthedocs.io/en/latest/

Исторически Мойра создавалась для совместимости с Graphite, когда метрики можно было в том же виде отправлять прямо в Мойру, либо использовать Graphite в качестве внешнего источника. В последние годы набирает популярность Prometheus / VictoriaMetrics (например, это стало де факто стандартом для мониторинга кластеров Kubernetes). У нас в Контуре поддерживается несколько кластеров K8S, поэтому поддержа Prometheus оставалась вопросом времени, к тому же от сообщества Moira приходили запросы на поддержку нового типа источника данных.

GitHub

Moira

Realtime alerting system based on Graphite data. Moira has 16 repositories available. Follow their code on GitHub.

А вот и видео с интервью про паттерны обработки данных (Kafka, CDC, Stream & Batch Processing): YouTube.

Ловите ещё выступление Мартина Клеппманна Turning Database inside-out, на которое я пару раз ссылался по ходу интервью.

YouTube

Интервью: Паттерны обработки данных - стриминг, батчи, CDC / Григорий Кошелев (Контур)

Плавно вливаемся в тему работы с базами данных. В рамках интервью с Григорием Кошелевым мы поговорим о поточной (streaming) и пакетной (batching) обработке данных, упомянем CDC: обсудим концепции, примеры, возможные варианты архитектуры, подводные камни и…