Hadoopの仕事があるかも。。。

社内の部門向けに資料を作成するかも。・関数型の特徴 ・実例 ・MapReduceなどのトレンド等を紹介できればと考えています。

Hadoopによる大規模分散データ処理内容は、Googleを支える技術とオライリーの象さんで 書かれているのと同じような感じだった。 Hadoopを知るキッカケとしてはいい内容だったと思う。以下、発表中に考えたことなど ①Hadoopというか、HDFSにアクセスする場合…

＠産業技術大学院大学 どこから校舎に入ればいいかわからず、しばし放浪。

Scalaって.NET上の実装もあるんすか？ しらなかったなぁ。Dan KogaiのScalaよっこらセックス感も .NET版で多少解決される？

行ってこようと思います。

hbase-0.20.3 hbase-0.19.3 を試してみるが、どちらもbin/start-hbase.shすると masterとかが立ち上がらなくてエラー。。。Hadoopは一時お休み。 次は、Clojureかアセンブラやる。

調べておく。 fsとdfsの違いは？

Hadoopは動物系 Seasarは沖縄系なのにHadoopのChukwaは造物主って意味らしい。 一貫性がないのがアメリカン。

動いたログ $ bin/hadoop jar hadoop-0.18.3-examples.jar grep input output 'dfs[a-z.]+' 10/01/27 13:29:23 INFO mapred.FileInputFormat: Total input paths to process : 11 10/01/27 13:29:23 INFO mapred.FileInputFormat: Total input paths to proc…

もしやと思い、hadoop-0.20.1で hadoop-daemon.sh、hadoop-config.shのbinをダブルクォートしてみたが 結果は一緒だった。bin/hadoop namenode -formatしたり bin/start-all.shしたり bin/hadoop fs -put conf inputしたり bin/hadoop jar hadoop-*-examples…

conf/hadoop-env.shの末尾に以下を追加 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_16 export PATH=/usr/bin:${PATH}これで、使用するJavaの明示と、mkdirやcatが見つからないエラーを回避できる。 この設定はhadoop-0.20.1、hadoop-0.19.2でも同様にして…

hadoop-0.19.2で実行したときのログ $ bin/hadoop jar hadoop-0.19.2-examples.jar grep input output 'dfs[a-z.]+' 10/01/27 11:53:12 INFO mapred.FileInputFormat: Total input paths to process : 12 10/01/27 11:53:13 INFO mapred.JobClient: Running …

自宅ＰＣでは、 bin/start-all.sh bin/hadoop fs -put conf input までは上手くいったが、 bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+' でエラー。。。会社ＰＣでも、試みるが どうもCygwinのdirnameの結果とlinux系で異なる…

自宅ＰＣだと余計なPATHが付いてないので conf/hadoop-env.shにJAVA_HOMEを設定するだけで hadoop-0.18.3すんなり動いた。

bin/start-all.sh を起動した時に、hadoop-config.shが見つからないエラーが出るが そもそもこのファイルbinの中にいる メッセージだと、binの親ディレクトリにいるのを期待してるっぽい と思い、binの上に持っていったが、結局別のエラー出た。 Cygwinで動…

WindowsXP hadoop-0.20.1 standaloneでは動作確認できた。 但し、hadoop-env.shにJAVA_HOMEの設定をすると Program Files配下にJavaがいるので、パスのエラーが出た、が なんか動いたっぽい。 でも気持ち悪いので、JavaをCドライブ直下にインストールし直す…

自宅のＰＣで環境を作ったら、bin/start-all.shが問題なく起動した ところが、 bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+' を実行すると。。。 10/01/27 00:39:09 INFO mapred.FileInputFormat: Total input paths to proce…

とても分かりやすい！

たまたま家のクレジットカードを持っていたので、買ってやりました。 請求は２月か３月なのでバレないハズ。