Pravila učenja nevronske mreže - učenje Perceptron in Hebbian

neural network learning rules perceptron hebbian learning

Ta poglobljena vadnica o pravilih za učenje nevronske mreže pojasnjuje hebbian learning in algoritem učenja Perceptron s primeri:

V prejšnji vadnici smo razpravljali o Umetna nevronska mreža ki je arhitektura velikega števila medsebojno povezanih elementov, imenovanih nevroni.

Ti nevroni obdelajo prejeti vhod, da dobijo želeni izhod. Vozlišča ali nevroni so povezani z vhodi, utežmi povezave in aktivacijskimi funkcijami.

Glavna značilnost nevronske mreže je njena sposobnost učenja. Nevronske mreže se urijo z znanimi primeri. Ko se mreža usposobi, se lahko uporablja za reševanje neznanih vrednosti problema.

=> Preberite celotno serijo usposabljanja za strojno učenje

Nevronska mreža se uči z različnimi učnimi shemami, ki so kategorizirane kot nadzorovano ali nenadzorovano učenje.

V nadzorovanih algoritmih učenja so omrežju znane ciljne vrednosti. Za optimalno delovanje poskuša zmanjšati napako med želenim izhodom (ciljnim) in dejanskim izhodom. V nenadzorovanih učnih algoritmih ciljne vrednosti niso znane in mreža se uči sama s prepoznavanjem skritih vzorcev v vhodu z oblikovanjem grozdov itd.

ANN je sestavljen iz 3 delov, tj.vhodne, skrite plasti in izhodne plasti. Obstaja en sam vhodni in izhodni sloj, medtem ko v omrežju morda ni skritega sloja ali 1 ali več skritih slojev. Na podlagi te strukture je ANN razvrščen v enoslojna, večplastna, povratna ali ponavljajoča se omrežja.

Kaj se boste naučili:

• Pomembna terminologija ANN
• Primerjava pravil učenja nevronskih mrež
  • Klasifikacija algoritmov nadzorovanega učenja
    • # 1) Gradient Descent Learning
    • # 2) Stohastično učenje
  • Klasifikacija nenadzorovanih algoritmov učenja
    • # 1) Hebbian učenje
    • # 2) Konkurenčno učenje
  • Mc Culloch-Pitts Neuron
  • Hebbijev algoritem učenja
    • Primer hebbskega pravila učenja
  • Algoritem učenja Perceptron
    • Primer pravila učenja perceptrona
  • Učni algoritem Widrow Hoff
• Zaključek
  • Priporočeno branje

Pomembna terminologija ANN

Preden razvrstimo različna pravila učenja v ANN, razumimo nekaj pomembnih terminologij, povezanih z ANN.

# 1) Uteži: V ANN je vsak nevron povezan z drugimi nevroni prek povezav. Te povezave imajo težo. Utež vsebuje informacije o vhodnem signalu na nevronu. Uteži in vhodni signal se uporabljajo za pridobitev izhoda. Uteži lahko označimo v matrični obliki, ki se imenuje tudi matrika povezave.

Vsak nevron je z utežmi povezav povezan z vsakim drugim nevronom naslednje plasti. Če je torej vozlišč 'n' in ima vsako vozlišče utež 'm', bo matrika uteži:

W1 predstavlja vektor teže od vozlišča 1. W11 predstavlja vektor teže od 1^stvozlišče prejšnje plasti na 1^stvozlišče naslednje plasti. Podobno wij predstavlja vektor teže od „i-tega“ obdelovalnega elementa (nevrona) do „j-tega“ obdelovalnega elementa naslednje plasti.

# 2) pristranskost : Pristranskost se doda omrežju z dodajanjem vhodnega elementa x (b) = 1 v vhodni vektor. Nagnjenost ima tudi utež, označeno z w (b).

Pristranskost igra pomembno vlogo pri izračunu izhoda nevrona. Predsodki so lahko pozitivni ali negativni. Pozitivna pristranskost poveča neto vhodno težo, negativna pristranskost pa neto vhodno težo.

# 3) Prag: V aktivirni funkciji se uporablja pražna vrednost. Neto vložek se primerja s pragom, da dobimo izhod. V NN je funkcija aktiviranja določena na podlagi mejne vrednosti in izračunana je moč.

Vrednost praga je:

# 4) Stopnja učenja : Označuje se z alfa? Stopnja učenja se giblje od 0 do 1. Uporablja se za prilagajanje teže med učnim procesom NN.

# 5) Faktor zagona : Dodan je za hitrejše zbliževanje rezultatov. Faktor zagon se doda teži in se običajno uporablja v mrežah za razmnoževanje.

Primerjava pravil učenja nevronskih mrež

Klasifikacija različnih učnih vrst ANN je prikazana spodaj.

Klasifikacija algoritmov nadzorovanega učenja

1. Gradient spust
2. Stohastično

# 1) Gradient Descent Learning

Pri tej vrsti učenja zmanjšanje napak poteka s pomočjo uteži in aktivacijske funkcije omrežja. Aktivacijska funkcija mora biti različna.

Prilagoditev uteži je odvisna od gradienta napak E pri tem učenju. Pravilo povratnega razmnoževanja je primer te vrste učenja. Tako je prilagoditev teže definirana kot

# 2) Stohastično učenje

Pri tem učenju se uteži prilagodijo na verjetnostni način.

Klasifikacija nenadzorovanih algoritmov učenja

1. Hebbian
2. Konkurenčni

# 1) Hebbian učenje

To učenje je leta 1949 predlagal Hebb. Temelji na korelacijski prilagoditvi uteži. Pari vhodnih in izhodnih vzorcev so povezani z matriko uteži, W.

Prenos izhoda se vzame za prilagoditev teže.

# 2) Konkurenčno učenje

To je zmagovalec je vse strategije. Pri tej vrsti učenja, ko se v omrežje pošlje vhodni vzorec, vsi nevroni v plasti tekmujejo in le zmagovalni nevroni imajo prilagoditve teže.

Mc Culloch-Pitts Neuron

Znan tudi kot M-P Neuron, je to najzgodnejša nevronska mreža, ki je bila odkrita leta 1943. V tem modelu so nevroni povezani s povezovalnimi utežmi, aktivacijska funkcija pa se uporablja v binarni obliki. Prag se uporablja za določanje, ali se bo nevron sprožil ali ne.

Funkcija nevrona M-P je:

Hebbijev algoritem učenja

Hebb Network je leta 1949 izjavil Donald Hebb. Po Hebbovem pravilu najdemo, da se uteži sorazmerno povečajo z zmnožkom vložka in izhoda. To pomeni, da se v Hebbovem omrežju, če sta med seboj povezana dva nevrona, lahko uteži, povezane s temi nevroni, povečajo s spremembami sinaptične vrzeli.

To omrežje je primerno za bipolarne podatke. Pravilo hebbskega učenja se običajno uporablja za logična vrata.

Uteži se posodabljajo kot:

W (novo) = w (staro) + x * y

Algoritem usposabljanja za hebbsko pravilo učenja

Koraki usposabljanja algoritma so naslednji:

• Sprva so uteži nastavljene na nič, tj. W = 0 za vse vhode i = 1 do n in n je skupno število vhodnih nevronov.
• Naj bo izhod. Funkcija aktiviranja vhodov je običajno nastavljena kot funkcija identitete.
• Funkcija aktiviranja za izhod je prav tako nastavljena na y = t.
• Prilagoditve teže in pristranskost so prilagojeni:

• Koraki 2 do 4 se ponovijo za vsak vhodni vektor in izhod.

Primer hebbskega pravila učenja

Izvedimo logično funkcijo AND z bipolarnimi vhodi s pomočjo Hebbian Learninga

X1 in X2 sta vhoda, b je pristranskost, vzeta kot 1, ciljna vrednost je izhod logičnega delovanja AND nad vhodi.

# 1) Sprva so uteži nastavljene na nič, pristranskost pa tudi kot nič.

W1 = w2 = b = 0

#two) Prvi vhodni vektor je vzet kot (x1 x2 b) = (1 1 1) in ciljna vrednost je 1.

Nove uteži bodo:

# 3) Zgornje uteži so zadnje nove uteži. Ko je drugi vhod sprejet, ti postanejo začetne uteži.

# 4) Vzemite drugi vhod = (1 -1 1). Cilj je -1.

# 5) Podobno se izračunajo tudi drugi vložki in uteži.

Spodnja tabela prikazuje ves vnos:

Hebb Net za funkcijo AND

Algoritem učenja Perceptron

Perceptron Networks so enoslojna povratna omrežja. Ti se imenujejo tudi Single Perceptron Networks. Perceptron je sestavljen iz vhodne plasti, skrite plasti in izhodne plasti.

Vhodna plast je s skrito plastjo povezana z utežmi, ki so lahko zaviralne ali vznemirljive ali nič (-1, +1 ali 0). Uporabljena funkcija aktiviranja je binarna funkcija koraka za vhodni sloj in skriti sloj.

Izhod je

Y = f (y)

Funkcija aktiviranja je:

Posodabljanje teže poteka med skrito plastjo in izhodno plastjo, da se ujema s ciljnim izhodom. Napaka se izračuna na podlagi dejanske in želene moči.

Če se rezultat ujema s ciljem, potem posodobitev teže ne bo izvedena. Uteži so sprva nastavljene na 0 ali 1 in jih zaporedoma nastavljamo, dokler ne najdemo optimalne rešitve.

Uteži v omrežju lahko sprva nastavite na poljubne vrednosti. Učenje Perceptron se bo konvergiralo k vektorju uteži, ki daje pravilne rezultate za vse vzorce vhodnega treninga, in to učenje se izvede v končnem številu korakov.

Pravilo Perceptron se lahko uporablja za binarne in bipolarne vhode.

Pravilo učenja za izhodni perceptron z enim izhodom

# 1) Naj obstajajo vhodni vektorji za usposabljanje, x (n) in t (n) pa so povezani s ciljnimi vrednostmi.

#two) Inicializirajte uteži in pristranskost. Za lažji izračun jih nastavite na nič.

# 3) Naj bo stopnja učenja 1.

# 4) Vhodna plast ima funkcijo za aktiviranje identitete, zato je x (i) = s (i).

# 5) Za izračun izhoda omrežja:

# 6) Funkcija aktivacije se uporabi preko neto vhoda, da se dobi izhod.

# 7) Zdaj na podlagi rezultata primerjajte želeno ciljno vrednost (t) in dejansko proizvodnjo.

# 8) Nadaljujte s ponavljanjem, dokler se teža ne spremeni. Ko je ta pogoj dosežen, se ustavite.

Učno pravilo za večkratni izhodni perceptron

# 1) Naj obstajajo vhodni vektorji za usposabljanje, x (n) in t (n) pa so povezani s ciljnimi vrednostmi.

#two) Inicializirajte uteži in pristranskost. Za lažji izračun jih nastavite na nič.

# 3) Naj bo stopnja učenja 1.

# 4) Vhodna plast ima funkcijo za aktiviranje identitete, zato je x (i) = s (i).

# 5) Za izračun izhodne vrednosti vsakega izhodnega vektorja od j = 1 do m je neto vhod:

# 6) Funkcija aktivacije se uporabi preko neto vhoda, da se dobi izhod.

# 7) Zdaj na podlagi učinka primerjajte želeno ciljno vrednost (t) in dejansko proizvodnjo ter prilagodite težo.

w je utež vektorja povezav med i-im vhodnim in j-im izhodnim nevronom, t pa ciljni izhod za izhodno enoto j.

# 8) Nadaljujte s ponavljanjem, dokler se teža ne spremeni. Ko je ta pogoj dosežen, se ustavite.

Primer pravila učenja perceptrona

Izvajanje funkcije AND z uporabo mreže Perceptron za bipolarne vhode in izhode.

Vhodni vzorec bo x1, x2 in pristranskost b. Naj bodo začetne uteži 0 in pristranskost 0. Prag je nastavljen na nič, stopnja učenja pa 1.

IN Vrata

brezplačna programska oprema za kopiranje DVD-jev za Windows 10

# 1) X1 = 1, X2 = 1 in ciljni izhod = 1
W1 = w2 = wb = 0 in x1 = x2 = b = 1, t = 1
Neto vložek = y = b + x1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0

Ker je prag torej nič:

Od tu dobimo, output = 0. Zdaj preverite, ali je output (y) = target (t).

y = 0, t = 1, kar pomeni, da ti niso enaki, zato pride do posodobitve teže.

Nove uteži so 1, 1 in 1 po predstavitvi prvega vhodnega vektorja.

#two) X1 = 1 X2 = -1, b = 1 in cilj = -1, W1 = 1, W2 = 2, Wb = 1
Neto vložek = y = b + x1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
Neto izhodna vrednost za vhod = 1 bo enaka 1 iz:

Zato se cilj = -1 ne ujema z dejanskim izhodom = 1. Potekajo posodobitve teže.

Zdaj so novi uteži w1 = 0 w2 = 2 in wb = 0

Podobno, če nadaljujemo z naslednjim naborom vhodov, dobimo naslednjo tabelo:

EPOCHS so cikel vhodnih vzorcev, ki se dovajajo v sistem, dokler ni potrebna sprememba teže in ponovitev se ustavi.

Učni algoritem Widrow Hoff

Poznan tudi kot Delta pravilo , sledi pravilu gradientnega spusta za linearno regresijo.

Posodobi uteži povezave z razliko med ciljno in izhodno vrednostjo. To je najmanj srednji kvadratni algoritem učenja, ki spada v kategorijo nadzorovanega učnega algoritma.

Temu pravilu sledita ADALINE (Adaptive Linear Neural Networks) in MADALINE. Za razliko od Perceptrona se ponovitve omrežij Adaline ne ustavijo, ampak se zbližajo z zmanjšanjem najmanjše povprečne kvadratne napake. MADALINE je mreža več kot ene ADALINE.

Motiv pravila delta učenja je zmanjšati napako med izhodom in ciljnim vektorjem.

Uteži v omrežjih ADALINE posodabljajo:

Napaka najmanj srednjega kvadrata = (t- y_v)^dva, ADALINE konvergira, ko je dosežena najmanjša povprečna napaka.

Zaključek

V tej vadnici smo razpravljali o dveh algoritmih, tj. Hebbian Learning Rule in Perceptron Learning Rule. Hebsko pravilo temelji na pravilu, da se vektor teže povečuje sorazmerno z vhodnim in učnim signalom, tj.izhodom. Uteži se povečajo tako, da se zmnožek vhodne in izhodne vrednosti doda stari teži.

W (novo) = w (staro) + x * y

Uporaba Hebbovih pravil je v težavah z združitvijo vzorcev, razvrščanjem in kategorizacijo.

Pravilo učenja Perceptron se lahko uporabi za omrežje z enim izhodom in za več izhodnih razredov. Cilj mreže perceptron je razvrstiti vnosni vzorec v določen članski razred. Vhodni nevroni in izhodni nevroni so povezani preko povezav z utežmi.

Uteži se prilagodijo tako, da se dejanski izhod ujema s ciljno vrednostjo. Hitrost učenja je nastavljena od 0 do 1 in določa razširljivost uteži.

Uteži se posodabljajo glede na:

Poleg teh učnih pravil se algoritmi strojnega učenja učijo tudi po številnih drugih metodah, npr. Nadzorovano, nenadzorovano in ojačitev Nekateri drugi najpogostejši algoritmi ML so Back Propagation, ART, Kohonen Self Organizing Maps itd.

Upamo, da ste uživali v vseh vajah iz te serije strojnega učenja !!

=> Obiščite tukaj za ekskluzivno serijo strojnega učenja

Priporočeno branje

• Popoln vodnik po umetni nevronski mreži v strojnem učenju
• Vrste strojnega učenja: nadzorovano in nenadzorovano učenje
• Data Mining Vs Machine Learning Vs Umetna inteligenca Vs Poglobljeno učenje
• Testiranje omrežne varnosti in najboljša orodja za omrežno varnost
• 11 Najbolj priljubljenih orodij za strojno učenje v letu 2021
• Vadnica za strojno učenje: Uvod v ML in njegove aplikacije
• 15 najboljših orodij za mrežno optično branje (omrežni in IP optični bralnik) iz leta 2021
• Top 30 orodij za testiranje omrežja (orodja za diagnostiko delovanja omrežja)