-jobconf mapred.map.tasks=67 -jobconf mapred.reduce.tasks=37

Nobuo Danjou
2008-09-15T21:38:32+0900

17台のslaveを並べて、↑こういう設定でやったら21分で処理できた。適当にslaveに入ってみたらload avgが3程度になっていた。ちゃんと仕事振ったら仕事した、ということか。もっと設定を調べていったらもっと速くなる気がするよ。