Securing Research Infrastructure for Advanced AI

Власне, ми багато працюємо з Computer Vision і основний продукт - це девайс, який вміє розумно щось детектити (читайте - івенти, які відбуваються перед камерою). Булшитні або ні. Чи треба слати нотіф, тому що хтось краде посилку або коцає авто, чи це просто кіт / вітер / бжели (мем).

Хоча і наша робота закінчується раніше (ще до релізу девайсу і сервінгу моделі), але те що ми робимо - називається Research Infrastructure.

І ми робили це ще до того як це стало мейнстрімом. Всі степи, по типу Data Collection, Annotation, Model Evaluation, Inference ... Окрім останнього, в силу багатьох причин.

Ну і я завжди вважав, що "ну що тут складного". Зібрав стрім, в бакет поклав, процесинг зробив, хтось проанотував, в базку поклав, готово. Можна тренуватись. А виявляється не так ?

Почитайте про безпеку в Research Infrastructure. Спершу виглядає як успішний успіх, але з другого-третього разу виявляється що цей набір практик має сенс.

Ви натренувались на даних, які користувач вам розшарив, а потім попросив видалити. Що тепер робити з моделькою?

Видалити і перетренувати? Так це ж дорого. І метрики моделі будуть гіршими. А якщо вона вже в проді?

Видаляти похідні цих даних (фрейми, шматки даних, деривативи будь-які) по системі, а як їх ідентифікувати? А якщо їх хтось викачав з інфри (не важливо як, опустимо цей момент)?

І це тільки мікрочастина data collection & data deletion.

Звісно, якщо це парсинг інтернету без консентів, то все простіше. Але і в результаті вийде лайно.

Власне, ще дуже багато роботи.

У девопсдейс кімнатах запитав шановного девопса, а "що ж там у них". І там по-іншому. Тули зібрав, почитаю потикаю, і теж поділюсь.

Поки подивіться цей блогпост від OpenAI, який з першого ознайомлення буде здаватись "за все хороше, проти всього поганого". ⤵️

https://openai.com/index/securing-research-infrastructure-for-advanced-ai/

Зарплатне опитування і мітап у Львові

Добрий вечір, пройдіть свіже зарплатне опитування і / або відвідайте DevOps мітап у Львові. Якщо ви це зробите, графіки будуть виглядати краще, і пропозиції будуть приємніше.

Прохання сабмітити тільки крепкі ЗП-хи (ніт) ?

Ну а на мітап просто сходіть.

Також зараз відбувається DevOpsDays Ukraine, і вчора в кімнаті "Disaster Recovery" ми обговорили цей топік. Короткі нотатки:

1. Створіть бекап план (так званий Backup Strategy)
2. Зберігайте бекапи в іншому регіоні, краще - в іншому аккаунті, ще краще - в іншому клауді.
3. Завжди тестуйте бекапи.
4. Дуже обережно поводьтесь з Базами Даних.
5. Не приховуйте, якщо ви щось дропнули ?
6. Репліка БД не є достатнім підходом, все ж треба бекапи.
7. Репліка БД, яка відстає на X годин - це добре, але краще - репліка в ріалтаймі + транзакшн лог.
8. Додайте умову в автоматизацію, яка видаляє інфру, щоб вона не потерла всі ресурси. Краще exit 1 :)

[ нотатки є думками людей які долучились до обговорення, і можуть не збігатись з моєю / вашою думкою ]

Напишіть комент, якщо у вас є Lessons Learned по Disaster Recovery ?

Google Docs

Портрет і зарплатне опитування DOU, літо 2024

Не зраджуємо традиції і продовжуємо щопівроку збирати анонімні дані про зарплати українських IT-спеціалістів. Як завжди влітку, до зарплат додаємо ще опитування «Портрет ІТ-спеціаліста». Якщо ви зараз знаходитеся в Україні або переїхали за кордон через…

⚡️Microsoft and Amazon will suspend access to their cloud products in russia from March 20.

The restrictions are prompted by the 12th package of EU sanctions dated December 19, 2023.

DOU Day 2024

Добрий вечір,

DOU, великий друг української айтішечки, і України, проведе топову конференцію, коректовану представниками багатьох спільнот, компаній, і бажанням зробити найкращу подію на нашому ринку.

Чому топову конференцію? Тому що там був відбір, як в FAANG. Сотні бажаючих взяти участь, і всього 5 місць на стейдж. Оргкомітет відбирав мега прискіпливо.

Просто зайдіть і подивіться, хто там буде. Я не буду рекламувати, але соромно повинно стати:
- Максиму Іщенку, за те що він створив DOU і Djinni
- Тарасу Чмуту, тут ясно за що
- Олесю Петріву з Reface, за попапи русакам в перші дні війни
- Анастасії Войтовій, за те що вона з Cossack Labs і її всі знають
- Віктору Турському, якого ви бачили на ютубі (а де Діма Малеєв тоді?)
- Івану Петрушенко за його школу алгоритмів на користь збройних сил
- Наталії Ренській, за те що вона з компанії SQUAD
- та іншим ?

Це має бути офлайн івент, і локацію зараз звісно не скажуть, хоч її знають. Це свято айтішки відбудеться 18 травня, і сьогодні до 00:00 можна вихопити квитки зі знижкою. Беріть собі і своєму тімліду, якщо в нього скоро день народження.

Особисто чекаю топіки на сайті і девопсів у якості спікерів. Вірю, що перше буде скоро (але квитків вже не буде), а друге - точно наступного року.

Кожен квиток на DOU Day, це мікро-подяка DOU за їх відоси, збори, внесок в нашу галузь, за можливість посратись на форумі і прочитати якусь холіварну статтю.

Квитки тут ❤️ https://dou.ua/dou-day-2024/

dou.ua

Велика офлайн-конференція DOU Day

High Middle DevOps, наваліться

Пожартували і вистачить, прямий збір, збирає DevOps з моєї команди + з міста Суми, @rzhyganov (відповідаю головою). Тепер деталі:

- 3 танкова бригада
- Харківський напрямок
- за 3 дні втратили 2 машини (FPV)
- всі живі ??
- грузовий бус для транспортування снарядів (більше 1 тони за раз)

Давайте проголосуємо за Суми і Харків гривнею, сума велика, але і ми не просто так за компами сидимо.

Попрацював, задонатив - день не даремно:

https://send.monobank.ua/jar/49VizSxCqw

nginx (компанія і власне продукт) в 2019 році продалися F5 (це контора яка робить лоад балансери, головний гравець ринку).

Але в 22 році ф5 каже Максиму Дуніну, основному розробнику (на рівні шо останні 10 років він більше половини коду написав) - Максимчик, ваша гнусна країна розпочала війну, ми валимо з рашки. Він вирішив залишитися у москві і працювати над жинксом далі безоплатно (зі сторони ф5, так-то напевно якісь консультації його годують).

На разі 24 рік і Максим пише листа у розсилку жинкса - ф5 поставили на проєкт якогось нетехнічного чувака, який вважає, що знає краще, я так більше жити не можу і форкаю жинкс у freenginx.org. Free, тому що, очевидно, він вільно у москві сидить, а не загниває десь на заході.

А проблема там в тому, що чуваки знайшли якийсь баг чи два в експериментальній фічі нжинкса, і хотіли присвоїти їм CVE, а він був проти. Чувак, відповідальний за CVE, таки їх зробив, на що Максим образився. Тобто це навіть не продуктова проблема, не напрямок, нічо. Просто его велике. А “нетехнічний” менеджер раптом виявився відносно відомим чуваком, який в інтернеті технічними речами займається з 89 року.

P.S. Якщо у вас є Твіттер, то можна лайкнути/рт англійську версію цієї історії. ?

Google продовжує навчальну програму "Розвивайте кар’єру з Google Cloud" – з фокусом на AI та Data!

? Реєстрація на програму за посиланням!

Новий потік програми стартує 13 лютого та націлений на Junior та Middle розробників, IT-інженерів, студентів IT-спеціальностей і точних наук та всіх кому цікаві хмарні технології.

Учасники програми отримають:

✔️45 днів безкоштовного доступу до платформи Google Cloud Skills Boost;
✔️доступ до лекцій, воркшопів, карʼєрних консультацій та сесій запитань-відповідей від фахівців Google;
✔️практичний досвід та бейджі Google Cloud, якими можна підкріпити свій профіль LinkedIn;
✔️індивідуальні напрями навчання, зокрема з фокусом на AI та Data;
✔️цінні нагороди від Google;
✔️ваучери на сертифікаційний іспит Google Cloud;

Withgoogle

Знайдіть роботу в IT із навичками від Google Cloud

Безкоштовна програма "Розвивайте карʼєру із Google Cloud: AI & Data" допомагає здобути потрібні навички для пошуку роботи

Щось робимо? Закиньте в чат, де готують відповідь пліз