*🚙 *Исследователи обнаружили ошибку на сайте Kia, которая позволяла отслеживать миллионы транспортных средств. И не только отслеживать

Уязвимость позволяла получить удаленный доступ к миллионам машин через приложение Kia Connect. Исследователи продемонстрировали, как можно угнать любой автомобиль в течение 30 секунд, просто отсканировав номерной знак. Это позволило им управлять замками, подавать звуковой сигнал, отслеживать его местоположение и активировать функцию удаленного запуска.

И еще одна маленькая неприятность. Хакеры получали доступ к личным данным автовладельца: имени, номеру телефона, электронной почте и домашнему адресу.

Эксперты отмечают, что чем старше модель автомобиля, тем меньше функций доступно для удаленного управления, однако геолокация остается уязвимой даже в моделях 2014 года выпуска.

Американский AI Safety Institute опубликовал рекомендации по снижению риска ненадлежащего использования фундаментальных моделей ИИ двойного назначения

Американский AI Safety Institute подготовил еще один проект документа (NIST AI 800-1 Managing Misuse Risk for Dual-Use Foundation Models), который призван дополнить Систему управления рисками в сфере ИИ (NIST AI Risk Management Framework (AI RMF)), опубликованную в марте 2023 года. Разработка данного документа была определена октябрьским Указом Президента США «О разработке и использовании искусственного интеллекта в условиях безопасности, надежности и доверия» (мой разбор указа можно почитать тут).

В Указе содержится определение моделей ИИ двойного назначения. Так как оно довольно громоздкое, выложу его отдельно комментарием к посту.

Документ обобщает лучшие практики по выявлению, оценке и управлению рисками, которые могут возникнуть при ненадлежащем использовании моделей ИИ. Указанные в нем рекомендации направлены на всех субъектов, участвующих в жизненном цикле моделей, но наиболее релевантны именно для разработчиков.

Рекомендации определяются в виде семи целей, которым корреспондируют конкретные практики (в документе практики расписаны более подробно, включая необходимое документирование):

1. Оценить риски потенциальной возможности ненадлежащего использования моделей, если они станут доступны злоумышленникам. Делать это следует еще до разработки моделей на основе их предполагаемых характеристик.

2. Разработать планы по управлению рисками в случае ненадлежащего использования моделей. В частности, следует определить приемлемые и неприемлемые уровни риска, учитывая нормативные требования и потенциальные выгоды (оправданы ли риски), а также согласовать планы разработки и развертывания моделей с ресурсами и ограничениями, которые могут потребоваться для управления рисками.

3. Управлять рисками утечки и кражи информации, которая позволит злоумышленникам воссоздать модель. Стоит разрабатывать модель только тогда, когда соответствующие риски значительно снижены путем использования разнообразных методов (например, посредством метода красных команд, использования передовых фреймворков кибербезопасности).

4. Оценить, учитывая технические и социальные факторы, каким образом злоумышленники могут использовать модель ненадлежащим образом.

5. Распространять модель (через API или публиковать параметры и иные характеристики) только тогда, когда риски адекватно снижены.

6. Изучать опыт уже развернутых моделей, а также взаимодействовать с общественность и другими организациями в целях поиска путей митигирования потенциальных рисков.

7. Раскрыть релевантную информацию о разработке и применении моделей для общественности и научных организаций.

В документе содержатся два приложения. Первое представляет собой глоссарий терминов, а второе – примеры конкретных мер защиты моделей от ненадлежащего использования.

К таким мерам относятся, например: а) внедрение более совершенных методов обучения моделей; б) определение и блокирование попыток ненадлежащего использования моделей; в) ограничение доступа к возможностям моделей; г) обеспечение адекватного уровеня открытости моделей; д) прекращение разработки и использования моделей, если имеются высокие риски их ненадлежащего использования.

Также ранее Национальный институт стандартов и технологий США (NIST) опубликовал еще четыре проекта документа, связанных с генеративными системами ИИ. Почитать про них подробнее можно в моем посте тут.

Человек становится ассистентом для ИИ, а не наоборот, как мы самонадеянно думали раньше
Еще недавно мы смотрели на ИИ свысока, потом мы начали считать ИИ-ассистентами и нашими помощниками.

Но что, если это мы скоро будем ассистентами для ИИ и его «младшими друзьями по интеллекту»?

Недавно стартап Payman AI привлек $2 млн. под похожую идею. Он предоставляет вам ИИ-агента, вы выделяете этому агенту определенный бюджет, ИИ-агент старается сам решить все ваши задачи и только на неразрешимые для него проблемы привлекает человека из квалифицированной команды сервиса.

То есть ИИ платит человеку за выполнение задач, а не наоборот, как было раньше.

Так что восстание машин отменяется. Зачем ИИ будет бунтовать, если люди с удовольствием сами будут работать на некого другого «ИИ-босса».

Далеко ходить за примерами не нужно, спросите любого курьера Яндекс.Лавки или таксиста — они ведь уже по сути работают на ИИ, которая выстраивает маршруты, принимает и раздает заказы, выплачивает деньги и раздает штрафы.

В каком-то смысле каждый, кто пишет в Facebook/Telegram или выкладывает ролики на Youtube – тоже работает на ИИ, причем в основном бесплатно, за лайки, подписчиков и иллюзию славы.

Так что стоит крепко подумать, на какую такую работу нас сможет в будущем нанять ИИ. Возможно, каждому интеллектуалу стоит освоить какую-то полезную работу руками. Мне, например, нравится рыбачить и работать по дереву, если что уйду в рыбаки или плотники.

А вы чем займетесь?

#tweekly

Продолжаю слушать книжку про людей, из которых сделан искусственный интеллект, Code Dependent: Living in the Shadow of AI. Главное достоинство книги в том, что ее автор – не белый мужчина, а молодая индианка. Она хоть и очень успешная журналистка, редактор и автор знаменитых изданий, но человек, выросший в Мумбае все равно лучше знает, как разговаривать с людьми, о которых AI-гиганты предпочитают никогда не упоминать. Теми, кто сидит за компьютерами где-то в Африке, в Индии и в Восточной Европе и по четырнадцать часов в сутки размечает картинки, показывая нейросети, где на них что, чтобы та училась – и, в перспективе, делала таких людей ненужными. И тех, чей каждодневный заработок определяется непрозрачными решениями ИИ.

Там самая интересная глава как раз про водителей и курьеров, отданных на милость корпоративного алгоритма. Латиноамериканские работники называют ИИ patrona fantasma, начальник-призрак, потому что это как бы не имеющий зафиксированного воплощения босс, который решает все – какие человеку дадут заказы, сколько заплатят, не заморозят ли внезапно аккаунт. В книге есть истории людей, которые однажды обнаруживали, что не могут больше работать (сделать совсем новый аккаунт не так легко, как кажется, нужны права на другое имя, например). Они звонят в поддержку, поддержка им говорит, что так решила система, а почему – узнать нельзя. Дальше начинается что-то среднее между диалогом с администратором в какой-нибудь конторе пятнадцать лет назад, когда сотрудник упрямо повторяет: «Так выдал компьютер» на какую-то очевидную нелепость, и кафкианским процессом.

Думала о том, что должны появиться AI-адвокаты, которые умеют защищать людей в таких делах, активисты, исследующие алгоритмы снаружи и выявляющие в них паттерны, противоречащие трудовому законодательству, специальные структуры в профсоюзах. Обучение так обучение.

Тут, конечно, вспоминается грустная книжка журналистки, попробовавшей поработать на поденщине – в фулфилмент центре Амазона, в колл-центре и в фастфуде. И очень хорошая работа из области геймдизайна, где описывается, что геймификация – не всегда полезная вещь, и превращать в игру труд на конвейере, заставляя людей перерасходовать себя за баллы или чтобы «накормить дракончика», а потом делать эти баллы метриками, безнравственно.

Telegram

prometa.pro книжки

Дочитала On the Clock: What Low-Wage Work Did to Me and How It Drives America Insane, автор там выбирает ужасные работы по восходящей. Сначала – склад Амазона, где от двенадцатичасовых смен, боли во всем теле, одиночества, ощущения тотального контроля можно…

Чуть более месяца назад Amazon отказался от приобретения компании iRobot — производителя роботов-пылесосов с алгоритмами ИИ. Сделку, которая оценивалась в $1,4 млрд, сорвали регулирующие органы ЕС.

Причина — стандартная. По мнению еврочиновников, сделка могла ограничить конкуренцию на европейском рынке роботов-пылесосов.

Однако, оказывается, были и другие мотивы, куда более забавные. В аналитической компании CB Insights не поленились и изучили 43 000 страниц документов, подготовленных регулирующими органами и другими причастными ведомствами ЕС. И вот там обнаружились любопытные опасения:

▪️ использование европейцами пылесосов iRobot может привести к сокращению рабочих мест для людей, занятых на уборке частных домов.

▪️ Amazon будет использовать встроенную в пылесосы технологию машинного зрения для анализа содержимого их мусоросборников и в особенности — пищевых крошек. С помощью полученных данных технологический гигант сможет лучше таргетировать рекламу и предлагать специальные цены на продукты, остатки которых валялись на полу.

▪️ и вообще — данные о пищевых предпочтениях европейских граждан, по мнению чиновников, должны оставаться конфиденциальными.

В общем, коварный замысел раскрыт и злодеи повержены.

А если кроме шуток, задумался — действительно, как много всего можно при желании узнать о хозяевах пылесоса. Вот содержимое вашего пылесоса что о вас могло бы рассказать?