Studoši

Sulejman U mom terminu labosa je bilo par ljudi koji su samo pisali blic i odmah nakon se ustali i otišli, čisto sumnjam da su išta riješili da ne bi bar probali odgovarati. Moguće da treba bar nešto predati, makar prazan zip. Možeš poslat mail Šegviću i pitati ga, on jako brzo odgovori

Sulejman

indythedog

Ja sam pisao blic u svom terminu i nakon sto sam ga rijesio sam rekao da nisam vjezbu rijesio i jel mogu ici.
Na sto mi je asistentica odgovorila da mi se onda ova vjezba (i blic takoder) ne racuna i da moram doci na nadoknadu koja ce biti na kraju semestra.
Asistentica je bila Petra Bevandić.

filip zvuči kao problem kad uzmeš log od softmaxa kad ti softmax pljune jako male brojeve
pri računanju gubitka, napraviš unaprijedni prolaz ali prije softmaxa, i onda iskoristiš
torch.nn.functional.log_softmax
(staviš argument dim=1 da ti izračuna log softmakse po retcima)

tomekbeli420 nisam te baš skuzia, ako bi moga opet pojasnit 😅

filip što ti je veći x, to ti je manji softmax(x). Nekad broj bude toliko mali da se aproksimira u 0. U tom slučaju je log(softmax(x))=log(0)=-inf, a to ti je nan

ja to riješavam tako da dodam malu konstatnu; torch.log(x+0.000001)

Sulejman E samo napomena, 2 su različita ponuđena odgovora, zbrajanje i množenje. Točno je množenje (unless 👀)

Matt Aha nisam tako shvatio al da svejedno bi to odgovorio

indythedog 5) imamo funkciju koja rotira 2D točke za 35 stupnjeva. Koje su dimenzije njezine matrice parcijalnih derivacija?

6) a = f(x), b = f(x - gradijent od a (zapisan kao formula))
pitanje - što će vrijediti (a > b, b < a, a = b itd)

7) ako sve piksele u MNIST train i test setu nasumično i konzistentno izmiješamo i pokrenemo treniranje/test, hoćemo li dobiti
iste rezultate kao da nismo to napravili (pod isti rezultati mislim na preciznost/točnost na train i test/skup), ako
je odgovor ne ima ponuđeno par razloga zašto ne

5) 2 × 2?

Koji je odgovor na 6) i 7)?

Emma63194

5) 2 × 2 mislim da da, tako sam i ja stavio

Za 6 sam stavio b <= a, jer mi se to cini kao spust po gradijentu od a, koji bi nas trebao dovesti do minimuma funkcije f(x)

Za 7 nisam bas siguran, ja sam stavio da ce bit isto jer sam pretpostavio da ako normalizacija ne utjece na konacne rezultate, da onda nece ni ovo, ali nisam siguran jer su cudno to napisali i nisam bas skuzio jel to jedna nasumicna trasformacija koju onda primijenjujemo na sve slike ili za svaku sliku imamo novu slucajnu transformaciju

Moguce da je nes od ovog krivo, pa nek me netko slobodno ispravi

Emma63194
pod 6 je ništa od toga, jer ovisi i o funkciji i o tome koja točka je u pitanju
Npr a = b će biti ako se gleda u stacionarnoj točki (tamo gdje je gradijent nula).
Još jedan primjer kad će se to uvijek desiti i kad se ne gleda stacionarna točka bi bila za skalarnu funkciju jedne varijable f (x) = x^2 čiji je gradijent \nabla f (x) = f ' (x) = 2x
Vrijedi za svaku točku x \in \mathbb{R} :
f \left(x - \nabla f (x)\right) = f \left(x - f^{\prime} (x)\right) = \left(x - 2x\right)^2 = (-x)^2 = x^2 = f(x)

E a ako se uzme npr f(x) = 2x^2 onda će vrijediti f \left(x - \nabla f (x)\right) \geq f(x) a ako se uzme f (x) = \frac{1}{2} x^2 onda će biti manje ili jednako

indythedog 7 je da ako je miješanje konstantno, tj. svaki uzorak ima ispremiješane piksele na isti način.

Razlog tome je što linearni slojevi ne mogu detektirati prostorne značajke, pa je svejedno u kojem redoslijedu su podatci. Mreži je [1, 2, 3] isto krc ko i [2, 1, 3] ako su i druge značajne permutirane na iste pozicije, sam će težine biti različito razmještene po retcima/stupcima.

Potencijalno bi radilo i da se sve stalno nasumično promiješa al to je zato što je MNIST toliko lagan zadatak da je moguće dobiti ljudske performanse mrežom koja gleda samo jedan piksel. Trebalo bi probati.

tomekbeli420 pod 6 je ništa od toga

“Ništa od navedenog” nije bilo ponuđeno kao odgovor.

yabk ali ti nisi nista ni predao jel?

DnkCkv Tako je

Jesu vama upisani bodovi?

filip da, u ferku pod provjere znanja