Qeexid
Attention waxay xisaabisaa isku-darka la miisaamay ee qiimayaasha (values), halkaasoo miisaannadu ku xiran yihiin sida query-yadu ula jaanqaadaan key-yada. Self-attention waxay u ogolaataa token kasta inuu fiiriyo token kale oo dhan gudaha taxanaha.
Multi-head attention waxay isla mar ahaan wadaa dhowr qaab attention si loo qabsado xiriirro kala duwan.
Si fudud
Marka aad jumlad akhrinayso, waxaad dib ugu fiirsataa magaca la sheegayay si aad u fasirto ereyga ku beddela (pronoun). Attention waa fiirsigaas la xushay — kaas oo si toos ah la barto.
Halka aad ka aragto
- Transformers loogu talagalay tarjumadda, wada-hadalka, iyo koodhka.
- Vision transformers oo fiirinaya gogosha sawirka.
- Cross-attention gudaha moodeelada encoder–decoder iyo kuwa multimodal-ka ah.
Sida ay u shaqeyso
1.Samee Q, K, V
Wax-soo-galinta ku dhex tuur query, key, iyo value.
2.Dhibco isbarbardhig
Isku-egaanta udhaxeeya query-yada iyo key-yada waxay noqotaa miisaanno.
3.Isku-darka la miisaamay
Isku dar value-yada iyadoo la adeegsanayo miisaannadaas.
Maxay muhiim u tahay
- Attention waa waxa furay transformers — iyo iyaga oo furay LLM-yada casriga ah iyo AI-ga multimodal-ka ah.
Inta badan la khaldo
Attention macnaheedu waa in moodeelku "fahmo" sida bini'aadamka.
Waa hab xisaabeed oo miisaamid ah — isku-eg-raadin xoog leh, maahan diiradda miyirka leh.