Наткнулся на интересный пейпер прошлой недели на любимую тему:
Межвидовая коммуникация и АИ

Есть такой алгоритм Wav2Vec2 от Facebook AI — он позволяет переводить нашу речь в текст. Алгоритм работает намного лучше многих альтернатив, так как не требует много размеченных данных и работает напрямую с аудио дорожками, не пытаясь их сначала конвертировать в текст для обработки. Вместо этого, Wav2Vec2 сам находит важные характеристики звука (тон, звуки, паузы и тп), после чего распознает речь.

Так вот, ученые взяли этот алгоритм и применили к лаю домашних песиков и в итоге решили четыре ML-задачи: распознавание конкретных собак, идентификацию породы, классификацию пола и привязку лая к контексту — модель может сама связать вокализации собаки с контекстом, в котором они были произведены (например, агрессивный лай на незнакомца, игривый лай и т.д.). Это важно, потому что у нас наконец-то есть эффективный способ разметки и обработки собачьих звуков.

Самое прикольное, что Wav2Vec2 обученный сначала на ЧЕЛОВЕЧЕСКОЙ РЕЧИ помогает решать эти задачи еще точнее — это довольно странная и клевая находка.

Короче, если исследование подтвердят другие желающие — то нас ждет зарождение стартапов в области переводчиков с собачьего, котячьего (в этих я не уверен), птичьего и тп и тд. Исследователи готовы поделиться собранным датасетом, если написать им на почту (есть в пейпере)

Сам пейпер тут:
https://arxiv.org/abs/2404.18739

arXiv.org

Towards Dog Bark Decoding: Leveraging Human Speech Processing for...

Similar to humans, animals make extensive use of verbal and non-verbal forms of communication, including a large range of audio signals. In this paper, we address dog vocalizations and explore the...

Хороший термин, и логичное направление развития, а то уж слишком многие зациклились на разговорных способностях моделей и foundation models считают языковыми, пусть даже с мультимодальным входом:) И говоря про автономных агентов, часто подразумевают их способности договариваться о чем-то. Но вот предложена концепция фундаментальных агентов — foundation agents as a transformative shift in the learning paradigm of agents, которые обучаются на датасетах интерактивных данных, не обязательно человекочитаемых и вербальных. Эти агенты определяются как generally capable agents across physical and virtual worlds. Учитывая любимую тему Дженсена Хуанга про general artificial robotics, воплощенный и вполне наделенный здравым смыслом и практическим жизненным опытом ИИ (уже больше чем ИИ, конечно) становится все ближе.
Сама статья - https://arxiv.org/abs/2405.17009
Ее популярный пересказ-обсуждение — https://venturebeat.com/ai/how-foundation-agents-can-revolutionize-ai-decision-making-in-the-real-world/

Со всей суетой вокруг предстоящего в воскресенье тридцатилетия рунета пропустил ожидаемую — и все равно неожиданную — новость от Apple. Их новости про свой ИИ ждали летом на WWDC, но они решили начать разогревать публику раньше. И, опять же ожидаемо, новость описывает модель, которая по меркам традиционных LLM мала — но так и цель у Apple специфична: создать нечто, достаточно быстро работающее прямо на смартфоне и делающее смартфон умней и комфортней — а не заточенное на широкий класс задач как ChatGPT, например.
Теперь все гадают, успеют ли хоть что-то внедрить в iOS 18, но уже никто не сомневается, куда iOS движется.
https://www.tomsguide.com/ai/apple-reveals-realm-new-ai-model-could-make-siri-way-faster-and-smarter

tom's guide

Apple reveals ReALM — new AI model could make Siri way faster and smarter

Apple has unveiled a new small language model called ReALM (Reference Resolution As Language Modeling) that is designed to run on a phone and make voice assistants like

Happy birthday to Mac!:)
(этот текст вылез у меня из архива, а я не заметил:)) Да, день рождения был сильно раньше, но позже поздравлять мжно:))) )
Люди сильно по-разному относятся к продукции Apple, но сложно спорить с тем, что и сама компания, и ее продукты остаются мощным явлением в технологическом мире. Сегодня исполняется 40 лет тому моменту, когда Стив Джобс представил первый оригинальный Macintosh собравшейся в штаб-квартире Apple публике. Первый комп с графическим интерфейсом и мышкой для работы с ним:)
И эти персоналки по сей день остаются востребованы, хотя доля доходов от их продаж в общем обороте Apple уже не сильно велика.
В статье, кстати, есть ролик выступления Джобса 40 лет назад; он смотрится очень любопытно. И многие современные презентации так и не дотянулись до этого уровня, кстати. Эффекты и дорогая графика их не спасают:)
А про сорок непростых лет можно в статье по ссылке почитать.
https://www.theverge.com/24048479/apple-mac-40-anniversary

The Verge

The Mac turns 40 — and keeps on moving

Being middle-aged can be complicated.

Тесла и имеет шанс поразить нас своими инновациями не только в области разработки электромобилей и роботов — но и покусившись на традиции автопрома, сложившиеся со времен Форда.
Предполагается, что инновационный способ организации сборки может вдвое сократить расходы на сборку, и всё это за счет отказа от привычного конвейера. Новинка скорее напоминает сборку Lego, когда отдельные узлы и блоки собираются параллельно каждый в своей зоне, а потом в финале все фрагменты собираются в готовый автомобиль.
Однако никто в компании, включая Маска, не сообщает пока ни акционерам, ни публике никаких подробностей.
Ждем деталей, и компании придется поторопиться: с начала года акции провалились на 29%, все надежды теперь на удешевление автомобилей, а без удешевления сборки сильно изменить цену не выйдет.
https://www.autoblog.com/2024/03/30/teslas-25000-car-means-tossing-out-the-100-year-old-assembly-line/

Autoblog

Tesla’s $25,000 car means tossing out the 100-year-old assembly line - Autoblog

Tesla has a plan to fend off cheaper competition from China with a $25,000 electric car. But first it has to overhaul a 100-year-old manufacturing process pioneered by Henry Ford.

В отличие от разработчиков всякого развлекательного софта, создатели профессиональных программ вполне готовы вкладываться в создание нативных приложений под Vision OS (да, продажи стартовали сегодня). Вчера я писал про Microsoft, сегодня с аналогичной новостью подтянулся Adobe, хотя в этот раз предлагается далеко не весь богатый набор Creative Cloud.
Видимо, верят в сценарии рабочего использования нового устройства. Ну, и творения Firefly AI хорошо должны смотреться в таком антураже:)
https://www.theverge.com/2024/2/2/24059011/adobe-firefly-ai-image-generator-lightroom-apps-apple-vision-pro

The Verge

Adobe brings Lightroom and Firefly AI to the Apple Vision Pro

Generate images using AI and edit them, all in augmented reality.

Сэм Альтман вдруг решил поинтересоваться у своих подписчиков в Х, какое слово использовать, чтоб описать чувство ностальгии по настоящему. Вот словно обнаружил и прочитал стихотворение поэта моей юности, Андрея Вознесенского:
Я не знаю, как остальные,
но я чувствую жесточайшую
не по прошлому ностальгию —
ностальгию по настоящему.
Удивительное эхо через почти полвека... Зато не очень удивительно, что в англоязычной дискуссии одно из самых красивых слов предложил Microsoft's AI chatbot Copilot: “Nowstalgia.”

Mashable India

Sam Altman Asks Netizens For A Word To Define Nostalgia Of Present; The Internet Didn’t Disappoint

‘Yahi baatein toh baad mein…’

За день до начала поставок Apple Vision Pro, Microsoft объявил, что в App Store для Vision OS с первого же дня будут доступны все основные офисные приложения: Teams, Word, Excel, PowerPoint, Outlook, OneNote, и Loop, причем в версии с поддержкой ИИ-ассистента Copilot. Microsoft Teams on Vision Pro поддержит уникальную для этих очков фичу Persona.
Для успеха Vision Pro в роли spatial computer, а не просто дорогих VR-очков, это может оказаться важнее чем наличие или отсутствие игрушек, которое огорчает поклонников VR, всюду пытающихся углядеть перспективы для буксующей метавселенной:)
https://techcommunity.microsoft.com/t5/microsoft-365-blog/announcing-microsoft-365-apps-available-on-apple-vision-pro/ba-p/4042505

TECHCOMMUNITY.MICROSOFT.COM

Announcing Microsoft 365 apps available on Apple Vision Pro

Experience your favorite Microsoft 365 apps on Apple Vision Pro

Все, наверное, видели, но все-таки не могу не поделиться: видел много раз картинку на этой неделе и полностью согласен с заголовком статьи:) Более того, и сама ситуация не на шутку эпична.
Напоминаю, вдруг кто-то ещё не в курсе: японский спускаемый лунный модуль совершил прецизионную по точности автономную посадку: в радиусе меньше 10 метров от заданной точки. Увы, сбой в работе одного из тормозных двигателей привел к тому, что на поверхности аппарат совершил кувырок и в итоге застыл “вверх ногами”. Но перед этим он успел выпустить два миниатюрных ровера, которые отъехали от него на некоторое расстояние, и один из них сумел передать на Землю через уже умирающую от отсутствия питания (поскольку лежа в такой нештатной позе модуль не смог раскрыть солнечные батареи) систему связи фотку перевернутого модуля.
Нарочно не придумаешь.
https://mashable.com/article/japan-moon-landing-recent-images

Mashable

Japan’s moon landing picture might be the space photo of the decade

It's really hard to touch down on the lunar surface.