Studoši

pp A recimo da su razlicite vjerojatnosti po dimenzijama X kako bi onda rijesili to ?

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Onda bi mnozio matricu s vektorom vjerojatnosti (npr. [0.5 0.8]) pretpostavljam. Al uzmi sve sto ja kazem sa zrnom soli, ne znam bas dobro sve to.

pp u pravu si

ZI 19/20 jel rjesenje 5.) [0.7454, 0.558] ?

at5611 Meni je isto tako ispalo

Nisam skroz razumio ovaj zadatak,
imamo sigurno (h * h) + (x * h) + (y * h)
Kolege kazu da je x == y, jel zna neko zasto?
Onda vrijedi (hh) + 2(x*h)
e sad sta je nama X, jer X nije velicina vokabulara, odnosno x moze bit > ili < od V sta ne ?

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Ni meni nije jasno. Koliko kužim, izlaz (y) je 10-dimenzionalni jer je izlaz softmaksa pa zapravo daje vjerojatnosti za sve riječi u vokabularu, kojih je 10. Ne znam kako su odredili veličinu ulaza jer nigdje ne piše, moguće da se u tom labosu koji se spominje definirala veličina reprezentacija ali to mi je onda retardirano.

Rene

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 Mislim da je tu “trik” sto u pytorchu izlazni sloj nije dio RNN celije, pa se y ne ubraja u ukupne parametre.

Rene Sta mi uopce ovdje radimo, predvidamo sljedece slovo ? ako da onda je velicina izlaza = 1 isto, dost cudno zadan zadatak

Inače, u vezi tih zadataka sa brojanjem parametara, ni meni nije bilo jasno jel se broji izlazni sloj ili ne, i ako se broji odakle nam dimenzija izlaza pa sam pitao Tuteka i rekao je da će u takvim zadacima, ako ih bude, uvijek biti napisano broji li se izlazni sloj ili ne, te ako se broji kolika je dimenzionalnost izlaza. Tako da u ZI ne bi trebalo biti problema oko toga

indythedog a dimenzionalnost ulaza? Hahaha ta je problematicna u ovom slucaju
Ne kuzim jel se moze nekako zakljucit iz ovoga sto pise ili treba i to pisat

Rene Ja mislim da se njima taj zadatak nadovezivao na labos, pa su valjda trebali znati kolika je bila dimenzionalnost ulaza u labosu

Ne vidim što drugo bi moglo biti 🤔

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 ne pa pise da je na izlazu softmaks, znaci dobijes distribuciju preko svih mogucih slova a velicina vokabulara je 10 pa valjda 10 slova
Al ulaz u onom dokumentu samo uzmu da je 10-dimenzionalni sto mi nikako nije jasno jer mogli smo koristit embedding proizvoljne dimenzije

ima neko ovog ?

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁

za 1. je nesto tipa ovo:
\begin{align*} h_1 &= relu(w_1x_1 + x_2+x_3 + 1)\\ h_2 &= relu(x_1 + x_2+x_3 + 1)\\ y &= relu(w_2h_1+h_2+1)\\ L &= (y-y_t)^2\\ \frac{dL}{dh_1}&=2(y-y_t)\cdot \frac{\mathrm{d} relu(w_2h_1+h_2+1)}{\mathrm{d}h_1}=2(y-y_t)\cdot[[w_2h_1+h_2+1\gt 0]]w_2\\ \frac{dL}{dh_2}&=2(y-y_t)\cdot \frac{\mathrm{d} relu(w_1h_1+h_2+1)}{\mathrm{d}h_2}=2(y-y_t)\cdot[[w_2h_1+h_2+1\gt 0]] \end{align*}

\frac{d}{d w_2} sad je sad trivijalno iz predzadnjeg reda
\frac{d}{dx} te \frac{d}{dw_1} mislim da mozes sad i sam 🙃 ne da mi se vise

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 InCogNiTo124 Čudno mi je što kažu “pragovi” umjesto (pretpostavljam) biasi. Bi li se to trebalo oduzeti umjesto zbrojiti? Ako se kao gleda kao “prag ReLU-a je 1”.
Je li se igdje drugdje koristila takva terminologija?

InCogNiTo124 Nice hvala ti sefe 🙂

Nez jel neko ovog mozda rjesavo,
Nije mi jasno kako ht je inicijalno [0 ,0, 0] a dolje imamo da nam je ht uvijek 1 ili manje, kako ce to ikada dati zbroj da su sva trojica dosla odnosno 3 - 2 = 1

viliml dobro si to primjetio

Ja sam to vidio na par mjesta jer mi je segvic bio mentor pa znam da je prag == bias, i iako si tehnicki u pravu da bi se trebalo oduzet, konvencija je da se biasi samo zbrajaju

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 svaki clan ht moze biti ili 0 ili 1; ako tog ucenika nema onda ce na njegovom mjestu u skrivenom stanju biti 0, ako ga ima biti ce 1, a ako pokusa prevariti uciteljicu da ga pobroji vise puta onda ce nelinearnost min(ht, 1) osigurati da se on pobroji najvise jedanput, kada su sva tri ucenika prisutna, skriveno stanje je na kraju [1 1 1] i konacni izlaz mreze je o = Wyh * ht + by = [1 1 1] * [ 1 1 1] - 2 sto je 3 - 2 = 1

edit: spelling i to

Daeyarn a koje je dimenzije x(t)

𝐓𝐇𝐄 𝐒𝐄𝐂𝐑𝐄𝐓 - 𝐂𝐋𝐔𝐁 one-hot encoded vektor, 1×3

Daeyarn a kak bi izracuno min ( [0, 1, 0] , 1), sta je rezultat ovog