Transformer Sxemalarga Matematik Yondashuv/Framework

Kimdir so'rasa transformerlarni eng yaxshi tushuntiradigan maqola shu (va uning sekveli) deyman.

Maqola neyron tarmoqlardagi kichik va katta ichki mexanizmlarni mexanik tushunish va interpretatsiya qilish haqida. Bizda masalan, konvolyutsion tarmoqlar qanday ishlashi haqida yaxshi tushuncha (masalande) bor, lekin transformerlarni yaxshi bilmaymiz.

Ushbu maqola kichik transformerlar qurish orqali ularni tushuntirib berishga urunadi. Masalan, shu maqola orqali siz:
- rezidual strim haqida oqiysiz va nega barcha qatlamlar shu strimdan o'qib shunga qaytib yozishini kuzatasiz;
- tushunasizki, transformerlar juda ham g'alati ko'rinishda chiziqli. Agar attention maskalarni qotirsak, to'liq chiziqli ko'rinishga o'tishadi!
- 2-qavatli transformer qatlamlarda qiziq mexanik "harakatlar" vujudga kelishini kuzatasiz. Masalan, attention head larning tokenlardan nusxa olishi, o'chirishi va izlashi. Bu esa o'z navbatida skip-triagramalarni xosil qiladi ("make a -> wish")

Avtorlar yana bir muhim matematik analiz uchun qurol taklif qilishadi: matritsalarning spektral analizi. Shunday o'ylashingiz mumkin: agar tayin token A boshqa token B ning ehtimolini oshirsa, demak shunday eigenvectorlar borki, ularning eigenvalue lari musbat. Buni tekshirish uchun nusxa oluvchi attention head'larga, yoki biror spesifik (masalan, xitoycha tokenlar boshqa xitoycha tokenlarni ehtimolini oshidadi) attention head'larga qarash yetarli. Agar tegishli (maqolada OV ) matritsalarda eigenvalue'lar katta bo'lsa, demak bu head'lar nusxa oladi, yoki o'z gurux tokenlarini qidiradi!

Shu va shundan boshqa qiziq topilmalar orqali transformerlarni dekode qilishga harakat qilishadi.

Undan keyingi maqola esa chuqurroq transformerlarda "in-context learning" paydo bo'la boshlashini kuzatishadi.

Nima demoqchiman: "attention is all you need" is not all you need.

Man uchun qiziq ishlardan biri: optimizatsiyada LLM modellarni qo'llash.

Xo'sh, LLM lar np-hard muammolarni qanday yechadi?

Hamkasblarimdan biri few-shot in-context learning orqali LLM ga shu paytgacha u topgan bir nechta eng yaxshi yechimni ko'rsatib uni yaxshilash masalasini berayapti.

Bunday qobiliyatlar qanday masshtablashishini ko'rish qiziqarli.

Qarab ko'ring: https://the-ai-colosseum.com

Every algorithm, every data-structure comes back to you, maybe only once, when you are working. But it surely comes back.

Every algorithm, every data-structure comes back to you, maybe only once, when you are working. But it surely comes back.

Tasodifiy Sonli Chiziqli Algebra

Katta ko'lamdagi chiziqli algebra amallarini optimizatsiyalash va implementatsiya qilish.

Katta ko'lamdagi ML va statistic ma'lumotlar tahlili uchun foydali bo'lgan texnikalar va instrumentlar to'plami.

Ustozim Bertrand Meyer tasavvur haqida judayam qiziq blog yozibdi. Rostdan ham juda katta matematik olimlar manfiy sonlar va ularning abstrakt matematik arenada organik usulda paydo bo'lishidan juda qo'rqishgan. Fandagi abstrakt obyektlarni shunchaki, ularning…

UPD: qabul yopildi.

Deep Learningni o'rganishni istagan iste'dodli yoshlar uchun imkoniyat: Behbudiy Akademiyasi.

Akademiyada ilg'or yoshlar va tajribali muhandislar yangi iste'dodlarga DL o'rgatamiz.

Agar talaba do'stlaringiz orasida olimpiadalar bilan shug'ullangan iqtidorlar bo'lsa, bu ular uchun yaxshi imkoniyat.

Hozircha cheklangan sonda o'rinlar mavjud va topshirish ushbu ilova orqali amalga oshiriladi.

Erdosh-Bakon soni – insonning Erdosh soni va Bakon sonlari yig'indisi.

Erdosh soni – insonning Erdosh bilan maqolalar yozishdagi "hamkorlik masofasi", va

Bakon soni – insonning Kevin Bakon bilan turli filmlardagi rollar orqali bog'liqlik soni ekan.

Ushbu son qancha kichik bo'lsa shuncha Erdosh va Bakonga yaqin bo'lar ekan.

Masalan, bir Oksford professorida bu son 6 ga teng ekan.

Wikipedia

Erdős–Bacon number

A person's Erdős–Bacon number is the sum of one's Erdős number—which measures the "collaborative distance" in authoring academic papers between that person and Hungarian mathematician Paul Erdős—and one's Bacon number—which represents the number of links…

2024-yil uchun “fun student side project”:

“An LLM agent that helps with the maintenance of a code repository”

Nimalar ishlatish yoki qilish mumkin:
- #rag uchun biror vector database
- loyiha arxitekturasini LLMga berish uchun biror satr formatdagi UML diagrammalarning avtomatik generatsiyasi
- metod/class’larning analizi uchun AST generatsiyasi
- chat interfeys
- loyihaning egasi bo’lgan jamoa aloqa dasturlariga (Slack, Teams) Web Hook’lar orqali ulanish
- …

Bunday agent bilan yangi fichalarni qo’shishda maslahatlashsa bo’ladi. Yoki dokumentatsiya uchun ham ishlatsa bo’ladi.