Питон, файлы, AWS, ч. 2
Не забываем смывать

Изначально я пофиксил код с помощью file.seek(0), ведь по опыту, именно из-за его отсутствия обычно возникают проблемы неконсистентности файла при записи и последующем чтении. Правда, это справедливо в случае, когда записываешь и читаешь через один файловый объект, а в примере выше файл читается разными файловыми объектами (s3 открывает файл самостоятельно и отдельно).

Поэтому меня удивило, что такой фикс сработал:

```

```

Однако ж, как верно подметил Михаил в комментах, более прямолинейная причина была в не вызванном file.flush(). Почему file.seek(0) из моего исправления также фиксит проблему — непонятно. Возможно, он неявным образом продуцирует flush со стороны ОС, но это выше моих познаний питона и линукса, и полагаться на такой «артефакт» точно не стоит.

Конечно же, предыдущий пост задумывался исключительно ради тупого каламбура в заголовке поста: «Не забываем посикать». Но так как мой изначальный фикс с вызовом file.seek(0) после записи оказался хоть и рабочим, но неточным, — заголовок пришлось изменить 🥲.

Впрочем, трудно переоценить символизм трансформации заголовка из «Не забываем посикать» в «Не забываем смывать» 🤪.

База
Всё дело в том, что когда питон пишет в файл, запись проходит несколько буферов-прослоек, часть из которых находится вне его контроля (например, буфер операционки). Поэтому, перед тем, как читать этот файл из другого места, нужно сделать .flush(), чтобы данные из буфера были записаны («смыты») на диск и могли быть целостно прочитаны другим куском кода или процессом (в данном случае, библиотекой AWS).

Питон, файлы, AWS

Питонячу тут очередную загрузку данных из апишки в амазоновский s3. Упрощённо, кладу ответ от API в файл и отгружаю в s3.upload_file():

```

with file as open("wb"):
file.write(data) # пишем bytes, потому что так хочет s3.upload\_file
filename = file.name # s3.upload\_file требует строковый путь к файлу в качестве аргумента

s3 = boto3.client("s3")
s3.upload_file(filename, "some_bucket", "some_path")

```

На бакет загружается пустой файл. Wat? Пробую ещё раз. Результат, разумеется, не меняется.

В file данные записываются. s3.upload_file, разумеется, рядом в сотне мест используется и работает.

Внимание, вопрос: почему так происходит? Похожий код на GCP, (внезапно) работает корректно 😃️️️️️️

Опрос для аналитиков

Когда количество подписчиков перевалило за 500, ко мне стали периодически приходить с предложениями запартнёриться или прорекламировать что-нибудь в канале. До сих пор я всем отказывал: не потому, что я такой гордый, а потому, что не видел никакой пользы в том, что они предлагают. Но в этот раз случилось приятное исключение 🙂.

Мне написали из newhr.org. Они ищут айтишников и делают исследования рынка айти в России и вне. Я люблю посмотреть, кто и сколько зарабатывает; интересно было почитать про уехавших и неуехавших в 22-24 годах (спойлер: вернулось меньше, чем обычно рассказывают). Довольно тенденциозно выглядит исследование про уехавших CTO, но, вероятно, это нормально для выборки из уехавших (иначе бы они не были уехавшими).

Они делают исследование рынка аналитиков в 2024 году, аналогичное предыдущему за 2023 год, и попросили поделиться ссылкой на опрос, чтобы собрать репрезентативную выборку. В исследовании: какие скиллы используют аналитики, на какие компании работают, удалёнка или офис, какие компании нравятся/не нравятся, и, конечно же, голосом Дудя «СКОЛЬКО ЗАРАБАТЫВАЮТ» с динамикой роста ЗП. Взамен упомянут меня в исследовании и воткнут ссылочек на канал :).

Мне подобные исследования помогают оценить, могу ли я претендовать на большую ЗП, есть ли рядом интересные ответвления по скиллам, которые я упускаю. Стать соучастником этого благого дела можно за 20 минут заполнив опросник.

Проходить могут все, кто считает себя аналитиком: продукта, данных, бизнеса, и т.д. К сожалению, я уже 3 года как не аналитик, но они намереваются в следующем году сделать аналогичное про DE 🔥. Буду ждать!

📋 Опрос тут

Меняю работу (^ repost ^)

Я проработал в Fishbrain больше 3-х лет — для меня это беспрецедентный срок! До этого лишь на одной работе я задержался больше 2-х лет, и то потому, что она была первая, а я не знал, чего хотел (тогда мне помог сдвинуться психотерапевт).

Я очень многому научился в этой компании: быть фулл-стэк дата инженером, который и инфру подкрутит, и джобу запилит, и дата модельки напишет; впервые поработал с облаком. Я увидел множество инженерных практик здорового человека: от миграции с MySQL на Postgres с возможностью обратного отката, до инцидент-менеджмента без поиска виноватых.

Однако ж, я упёрся в потолок по трём фронтам: зарплата моя выросла до топ-n среди инженеров в ситуации, когда с финансами у компании туго. Профессионально новых горизонтов тоже не предвиделось, так как всё, что могло быть полезно компании, я освоил, а на другое нет ресурсов и приоритета. Карьерного роста также не ожидалось — мы команда из двух инженеров и в ближайший год это не изменилось бы точно. Так что я заскучал настолько, что даже начал учить раст (спойлер: я прочитал Rust Book, фух).

Вообще, я планировал выучить раст и потом искать работу, возможно, на нём. Но в середине этого процесса в мой линкедин ворвался рекрутер из hemnet.se — эдакая Яндекс.Недвижимость в Швеции. Это не был оффер мечты, но был по всем статьям лучше моей ситуации в Фишбрейне, так что я решил его принять. Трудно найти крутой оффер, когда работаешь в отличной компании, гораздо проще, когда готов на что угодно, лишь бы свалить (те, кто знают мою историю с обоссанным туалетом в офисе, понимают о чём речь) :D.

Итак, 2 декабря я выхожу в Hemnet. Забавно, что в моей команде будет Илья, работавший со мной в Fishbrain, а продактом в Hemnet скоро выйдет Юхан, бывший у нас временным продактом. Это огромная разница с Москвой: здесь по ощущениям айти мир связан друг с другом через 3 рукопожатия, в то время как в Москве — через 4-5, из-за чего встретить знакомого было редкостью. Здесь — наоборот) С одной стороны это прикольно, с другой, красноречиво говорит о размере рынка — он на порядок меньше.

Потерянный пост

Поделюсь блогерской болью. Для меня до сих пор публиковать посты это стресс, так как перфекционист внутри свербит и хочет, чтобы посты были без ошибок, мысль сформулирована чётко, а если пост разделён на несколько, они вышли подряд без опоздания.

Когда я начинал канал, постил сообщения прямо в него. Но каждый раз напрягает, что стоит нажать enter без зажатого shift, и вместо новой строки ты отправишь в канал недоделанное сообщение сотням людей.

Кроме того, написать пост с одного захода у меня никогда не получается: в итоге я пишу, переписываю, меняю местами блоки текста, пока не получится внятно. Иногда на это уходит 10 минут, иногда целый час. Поэтому я быстро ~~поднял кубер~~ перешёл на написание постов в Saved Messages и отправку с помощью Forward message, стирая упоминание имени автора.

Однако, если в сообщении есть картинки, по каким-то одной телеге известным законам форварднуться может только первая картинка — без текста и без остальных картинок. Вроде смотришь в сохранённых сообщениях, вычитываешь, тестируешь — всё в порядке, постишь в ~~прод~~ канал — нате, картиноча. АААА. Бежишь быстренько стирать и перепощивать.

Вот и вчера это случилось вновь. Запостить всё нормально удалось попытки с пятой, и где-то на четвёртой, разволновавшись от собственной и тележьей криворукости, я впопыхах стёр... предыдущий пост про смену работы и уход в hemnet.se. И восстановить его в отведённые 5 секунд на передумывание я не успел. Так что пост исчез не потому, что компания передумала, если что 😃

Я написал в саппорт с просьбой восстановить пост, но надежды на это мало: во-первых телега везде заявляет, что то, что удалено — то удалено (ну-ну), а во-вторых, сколько раз в саппорт не обращался, мне ни разу даже ответа никакого не приходило.

Кому стоит учить Rust?
Девиз языка: "A language empowering everyone to build reliable and efficient software." Раст доставляет перформанс уровня C и бóльшую надёжность из коробки, за которые придётся заплатить сложностью языка, и невозможностью как в питоне наговнякать по-быстренькому в REPL.

Он подойдёт там, где важно не по-быстрее с постоянно изменяющимися требованиями, а заранее запланировав, да понадёжнее: в системном программировании, embedded системах, вероятно, в финтехе. При этом его слабая сторона — относительная негибкость, о чём рассказывает геймдев-разработчик, разочаровавшийся в расте именно по этой причине.

Из-за сложности, я бы так же не советовал его в качестве первого языка, так как мотивация может закончиться раньше, чем язык будет освоен. Тем, кто сомневается, советую учить питон: он простой, понятный и имеющий широчайшую сферу применения. Но если вы уверены в стойкости своего желания и готовы потратить много времени — вперёд, к ржавчине 🤘!

Как учить
Для начала, можно прочитать статью у JetBrains. By default, есть три официальных ~~стула~~ пути: book, rustlings course, rust by example. Если вам с книгой быстро становится скучно, смотрите book на youtube от прекрасного @letsgetrusty. Также не упустите короткие, понятные и насыщенные другие видео про раст на его канале. Порой сказанное там не 100% корректно, но это с лихвой перекрывается полученной пользой.

Ну и когда оцените свою мощь, переходите к лекциям Кладова — они глубокие, показывают много того, чего нет в rust book, рассказывают о деталях работы rust компилятора. Но дуже сложные.

В качестве бонуса для питонистов, рекомендую почитать статью itamar'а про то, как заворачивать раст код в питонячьи библиотеки. Я не думал, что это настолько просто, и нужен лишь простой советский...

Rust

Надо сразу оговориться, что единственный язык программирования, который я знаю — Python, а потому мой взгляд на Rust будет искажён этим восприятием. Конечно, более уместно было бы сравнивать его с плюсами, которые он косплеит, но последний раз я писал на них 20 лет назад в школе и это был хеллоуворлд. Поэтому сравнение будет с питоном, а значит я не буду ничего писать про memory safety и отсуствие сборщика мусора, главные рекламируемые преимущества раста.

Питон и раст очень разные языки в разрезе сферы их использования. Насколько я знаю, единственное, в чём они пересекаются — на обоих можно писать бэкенд) Дальше идут различия: питон используется в Data, ML, в CI/CD как замена башу, Rust же используется в системном программировании (драйверы, системные утилиты), программировании микроконтроллеров, криптографии, игровых движках, дев-тулы для других языков (привет, ruff и uv). Так что раст практически не даёт мне альтернативы для решения задач, решаемых питоном — но он открывает дверь в новые направления разработки.

Раст заставляет по-другому думать про код и даёт глубинное понимание, что происходит внутри. Приходиться думать о том, на стэке будет храниться переменная или в куче (а для начала вообще вспомнить, что это такое), продумывать заранее, какого размера будут коллекции, фиксированного или динамического. В расте приходится сразу писать типы: хотя я это делаю и в питоне, но в питоне они меня ни к чему не обязывают, так как являются лишь аннотациями. В расте же код не скомпилируется, если тип некорректный. Питон снимает с тебя эту когнитивную нагрузку, реализуя всё наиболее обощённым и не самым оптимальным способом, давая взамен простоту синтаксиса.

Компилятор в расте это топ. Признаюсь, я НИКОГДА не могу написать на питоне код с первого раза, чтобы он делал то, что мне надо. То отступ потеряешь, то тип перепутаешь, то параметры местами. И это следствие динамичности питона — встроенный линтер пайчарма не отругает тебя за эти действия в большинстве случаев, и даже если поставить ruff и mypy, они не всегда способны вывести и проверить типы. В расте же это решает линтер компилятора. Типы выводятся компилятором всегда. Так что если ты написал фигню, редактор кода сразу подчеркнёт код красненьким. В итоге, когда ты исправил все ошибки до компиляции, программма РАБОТАЕТ с первого раза. Это просто меджик после питона.

Вообще линтер из компилятора раста это отдельная песня. Мало того, что он отлавливает большинство ошибок до запуска, он ещё и предлагает, как переписать куски кода, которые ты по незнанию написал криво. Иногда доходит до смешного: напишешь 20 строчек кода, потом начинаешь принимать саджешнсы от линтера, и через 3 итерации ОК-ОК-ОК твой код схлопывается в три строчки. Да, линтер умеет генерировать замену коду, чтобы вы просто ткнули в редакторе ОК и новый код встал вместо вашего. Топ.

В расте вообще прекрасно устроен DevEx. Это и подробная и понятная документация, в которой прямо на сайте ты можешь запустить куски кода и увидеть результат, а потом побаловаться и поменять что-то в этом коде; и выдаваемые компилятором и линтером объяснения ошибок, которые просто за ручку тебя водят по коду и объясняют откуда, почему и зачем эта ошибка, и как её исправить; и чудесная обучающая программа прямо на офф. сайте, где можно выбрать, как учить раст: по книге, по примерам или по интерактивному курсу. Всё бесплатно.

В чём же наколка? Да в том, что раст, сука, сложный. И это не только потому, что я ~~блондинка~~ питонист — практически все интернеты жалуются, что раст язык с тугим learning curve. Тут дело не только в том, что он низкоуровневый, как си++, у раста очень богатый синтаксис. Мне кажется, он использует все существующие в природе виды скобок, комбинации амперсандов, вертикальных черт, нижних подчёркиваний, и всё это что-то значит. Иногда в одной семантической единице умещается пара десятков идентификаторов, которые надо прочитать, распарсить и удержать в голове. Конечно, это тренируется, но порой мне приходится тратить 20 минут, чтобы воткнуть, что тут вообще блин происходит (см. пример со скрина).