Studoši

Amon Je li možeš molim te print screenat sve jarove koje si importao jer ja nemrem nikako kompajlirat ovo u eclipsu da bi mogao exportat (sve do tog normalno dela)

Ivančica Ja ti ne mogu screenat jer nisam za laptopom (a ima dosta tog za screenanje), ali mogu ti dat postupak jer je i mene zezao eclipse. Ugl ideš desni klik na projekt -> build path -> configure build path -> Java Build Path u izborniku -> Libraries -> Add external JARs. I onda tu odeš u tvoj_hadoop_folder\share\hadoop i dodaš sve iz common, hdfs i mapreduce foldera (i podfoldera koji se nalaze u njima ako ima šta). Ali ako si već ovako radio onda ne znam do čega je.

renren eee hvala ti, znači nisam dodavo jarove iz podfoldera neg samo koji su bili direktno u folderu
sad više nema errora

Frle Kako si napravio ovu mrezu “xapp” koju koristis u docker-compose.yml?

Dekan E sorry, to sam zaboravio napomenut, ugl treba pokrenut jos naredbu “docker network create xapp”, tako se napravi mreza

Par stvarčica koje vam se mogu dogodit (meni su se dogodile i izgubio sam par sati na njima).
Prva stvar:
Nažalost morate imati barem 10% diska na kojem vam se vrti hadoop slobodno. To su već ljudi spomenuli ovdje, ali ja sam malo kasno primjetil. Znači ako nakon što pokrenete naredbu hadoop jar VideoCount.jar VideoCount input/ output/ vam se pojavi sljedeće:

A nikako vam se nakon toga (trebalo bi unutar 10-20 sekundi) ne pojavi ovo (tj. program cijelo vrijeme stoji na istom, ne završava):

Onda krenite s brisanjem bloatwera kojeg ste skupili tijekom svog školovanja na feru (sve dok ne dođete do barem 10% slobodne ukupne memorije diska na kojem vam se vrti hadoop).

Druga stvar:
Pazite što vam se događa s datanode prozorčićem koji vam iskoči kada pokrenete start-dfs.cmd! Meni bi se pokrenulo, i ond bi se nakon nekih 20ak sekundi dogodio shutdown nodea. To nisam ni primjetio dok nisam otišao malo gore i vidio da imam java.io.IOException: Incompatible clusterIDs error. Znači izgleda vam otprilike ovak:
java.io.IOException: Incompatible clusterIDs in /Users/…/hadoop/yarn_data/hdfs/datanode: namenode clusterID = CID-XXX; datanode clusterID = CID-YYY
(umjesto XXX-a i YYY-a će te imati dugačke id-jeve)
onda samo umjesto funkcije
hadoop namenode -format
koristite funkciju
hadoop namenode -format -clusterID CID-YYY
(znači id ovog drugog navedenog u erroru)

Ima neko problem da kad po drugi puta pokušava pokrenuti zadatak mi uporno izbacuje nakon što pokušam pokrenuti
start-dfs.cmd :

'‘The system cannot find the file hadoop.’'

(Znači pri puta je sve ok radilo, a sada nakon hdfs namenode -format ne mogu ništa)

Smolaa Sve one prozore gasite sa crtl+c inače će vam stalno štekati na sljedećim runovima…

Je li itko naletio na ovo nakon što mu je sve uspješno instalirano? Doslovno mi ne zeli te argumente procitat iz nekog razloga. Intellijem sam kreirao JAR i kopirao ga u /bin od hadoopa, te izvrsio sve naredbe i tu je stalo… Itko?

Audaces probaj bez VideoCount argumenta

Odgovaranje: morate promijenit komparator da u 3. ide uzlazno a ne silazno, pokrenut 2. i 3. i onda vas pita šta ste promijenili, kako funkcionira VideoCount i dosta ljudi (uključujući i mene) pita da promijenimo matricu (elemente) i da pokrenemo to i onda da objasnimo kako funkcionira mapreduce za matrice. Mislim da su svi dobili 100% lol
Also bit će 2 labosa :^)

Fresh batch of questions:

• ako bi samo brojali koliko slova ima u dokumentu, koliko nam je reducera potrebno (1 jer je dosta 1 ključ kojeg će mapper emitati i sve će duljine riječi emitati kao value i imamo 1 key što znači da je dosta 1 reducer i on će samo pozbrojati sve što imamo kao value)
• kako funkcionira prvi mapper i reducer kad množimo matrice
• pokazati da množenje matrica funkcionira na 2×3 i 3×2 matricama