Qeexid
Haddii aysan jirin activation-yo aan toosnayn, layers-ka isku-kaydsan waxay noqon lahaayeen hal isbedbedel toosan — awood xaddidan. Activation-yada sida ReLU, GELU, iyo tanh waxay keenaan aan-toosnaanta ay barashada qoto-dheer u baahan tahay.
Doorashada activation-ku wuxuu saameeyaa socodka gradient-yada, xawaaraha, iyo sax-nimada ugu dambaysa.
Si fudud
Layers-ka toosan waa waddooyin toosan. Activation-yadu waxay ku daraan leylo iyo qallooc si shabakaddu ugu sawiri karto xadaadyo go'aan oo kakan.
Halka aad ka aragto
- ReLU gudaha CNN-yada iyo MLP-yada dhaqameed.
- GELU gudaha qaab-dhismeedyada transformer badan.
- Softmax marka la gaarayo wax-soo-saarka kala-soocidda si loo soo saaro itimaalayaal.
Sida ay u shaqeyso
1.Isku-darka la miisaamay
Neuron-ku wuxuu xisaabiyaa isku-darka toosan ee wax-soo-galinta.
2.Dabaq activation
Ku dhex mari ReLU/GELU/iwm.
3.U gudbi
Qiimayaasha la firaystay waxay noqdaan wax-soo-galinta layer-ka xiga.
Maxay muhiim u tahay
- Activation-yadu waa faahfaahin yar oo leh saameyn aad u weyn marka la eego in shabakadaha qoto-dheer ay wax bari karaan iyo in kale.
Inta badan la khaldo
Softmax had iyo jeer waa activation-ka layers-ka qarsoon.
Softmax badanaa waa loo isticmaalaa itimaalayaasha wax-soo-saarka; layers-ka qarsoon waxay isticmaalaan hawlaha qoyska ReLU.