hdfsの代わりにs3を使う話

Nobuo Danjou
2008-09-17T05:46:45+0900

http://wiki.apache.org/hadoop/AmazonS3

うほうほ。→これ使わない手はないですな。っていうかblogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術でちらっと紹介されてましたね。見落としてた><

でもでも、

Note also, that by using S3 as an input to MapReduce you lose the data locality optimization, which may be significant.

ですよね。ブロック分割してるから速いんだし。どうしたもんかな。まぁ、使ってみてから考えよう。

Running Hadoop MapReduce on Amazon EC2 and Amazon S3でも詳しく書いてあるジャンスカ。自分の斜め読みして要点を飛ばす能力をほめてやりたい。

→うーむ。うまくいかんのう。hadoop-ec2のベースになってるのが0.17.0だしなぁ。初期バージョンだしほかのところ優先かなぁ。