SoftwareEntwicklung Beratung Schulung

A coders, hackers heaven.....Hm...I do not think so...

Hadoop Cluster Test

| Comments

Ich habe mal einfach mal einen kleinen Hadoop Cluster mit 3 Knoten aufgesetzt und damit einige Experimente gemacht. Ich habe mir dazu eine 20 GiB (19.415.653.321 Bytes) große Log Datei genommen und die per Map/Reduce analysiert. So weit so gut. Die Default Block Size in Hadoop sind 64 MiB…Also habe ich mir gedacht ich ändere die Größe einfach mal, um mal zu sehen welche Auswirkungen das hat. Tja und damit hat der Ärger angefangen. Ich habe gesucht und die Größe geändert wie in der Doku beschrieben.