2010-01-01から1ヶ月間の記事一覧
KVSっていろいろある Bigtable、hBase、kumofs これらのプロダクトでデータへのアクセス方法って RDBMSのSQLのように標準化されているんだろうか？
調べておく。 fsとdfsの違いは？
Hadoopは動物系 Seasarは沖縄系なのにHadoopのChukwaは造物主って意味らしい。 一貫性がないのがアメリカン。
が出てた。 多分オーム社。 超欲しかった・・・Gauche→Lisp→Schemeの流れで、Clojureはとても気になる存在。 LispBoxやClojureBoxは入れてるけど、あまり使ってない。 Hadoopの勉強が終わったら。 Clojureやろうか・・・実はアセンブラもやっておきたい。 Ha…
Javaの正規表現ってちゃんと使いこなせてない。 というか使ったことがない。 今までJavaでシステム作って来たけど 正規表現を使ったことがない。ちゃんとマスターしたい。
動いたログ $ bin/hadoop jar hadoop-0.18.3-examples.jar grep input output 'dfs[a-z.]+' 10/01/27 13:29:23 INFO mapred.FileInputFormat: Total input paths to process : 11 10/01/27 13:29:23 INFO mapred.FileInputFormat: Total input paths to proc…
もしやと思い、hadoop-0.20.1で hadoop-daemon.sh、hadoop-config.shのbinをダブルクォートしてみたが 結果は一緒だった。bin/hadoop namenode -formatしたり bin/start-all.shしたり bin/hadoop fs -put conf inputしたり bin/hadoop jar hadoop-*-examples…
conf/hadoop-env.shの末尾に以下を追加 export JAVA_HOME=/cygdrive/c/Java/jdk1.6.0_16 export PATH=/usr/bin:${PATH}これで、使用するJavaの明示と、mkdirやcatが見つからないエラーを回避できる。 この設定はhadoop-0.20.1、hadoop-0.19.2でも同様にして…
hadoop-0.19.2で実行したときのログ $ bin/hadoop jar hadoop-0.19.2-examples.jar grep input output 'dfs[a-z.]+' 10/01/27 11:53:12 INFO mapred.FileInputFormat: Total input paths to process : 12 10/01/27 11:53:13 INFO mapred.JobClient: Running …
自宅ＰＣでは、 bin/start-all.sh bin/hadoop fs -put conf input までは上手くいったが、 bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+' でエラー。。。会社ＰＣでも、試みるが どうもCygwinのdirnameの結果とlinux系で異なる…
HadoopがらみでCygwinを使用中。 といいつつも、中身はMS-DOSなんで、コピペとかは ウィンドウ左上のアイコンをクリックして編集メニューから操作する。ところが、この編集メニューが「×閉じる」の下にあるので よく間違えて閉じちゃいます。 これはＵＩのデ…
自宅ＰＣだと余計なPATHが付いてないので conf/hadoop-env.shにJAVA_HOMEを設定するだけで hadoop-0.18.3すんなり動いた。
bin/start-all.sh を起動した時に、hadoop-config.shが見つからないエラーが出るが そもそもこのファイルbinの中にいる メッセージだと、binの親ディレクトリにいるのを期待してるっぽい と思い、binの上に持っていったが、結局別のエラー出た。 Cygwinで動…
WindowsXP hadoop-0.20.1 standaloneでは動作確認できた。 但し、hadoop-env.shにJAVA_HOMEの設定をすると Program Files配下にJavaがいるので、パスのエラーが出た、が なんか動いたっぽい。 でも気持ち悪いので、JavaをCドライブ直下にインストールし直す…
自宅のＰＣで環境を作ったら、bin/start-all.shが問題なく起動した ところが、 bin/hadoop jar hadoop-0.20.1-examples.jar grep input output 'dfs[a-z.]+' を実行すると。。。 10/01/27 00:39:09 INFO mapred.FileInputFormat: Total input paths to proce…
とても分かりやすい！
たまたま家のクレジットカードを持っていたので、買ってやりました。 請求は２月か３月なのでバレないハズ。
*Main> L8.uncons (L8.pack "foo") Loading package bytestring-0.9.1.4 ... linking ... done. Just ('f',Chunk "oo" Empty) *Main> L.uncons (L8.pack "foo") Just (102,Chunk "oo" Empty) *Main>
parseByte関数 これは最初の１文字だけを解析して ASCIIコードで返す。 parse関数の第一引数として使う。 *Main> let before = ParseState(L8.pack "foo") 0 *Main> let after = modifyOffset before 3 *Main> before ParseState {string = Chunk "foo" Empt…
parse (identity 1) undefinedを読んでみる。 まず、 *Main> :type parse parse :: Parse a -> L8.ByteString -> Either String a *Main>parse関数はParse aとL8.ByteStringを受け取りEither String a を返す関数である。 次に、 *Main> :type identity iden…
本の登録情報にページ数の表記がありますが、 グラム数も表記してください。いっつも４００ページぐらいの本は持ち歩いているんですが ６００ページ越えると、もはや苦行です。 さらにプログラミングHaskellも持って歩いてるんで・・・
http://twitter.com/kento0307/status/7301472608 http://twitter.com/kento0307/status/7322168912 http://twitpic.com/wgo0p去年の終わりか今年の始めに、おじいちゃんの本棚から本を借りて来たら自分宛のメッセージが挟まれていた… という感動エピソード…
日本は引き算とかが出来きる文化で、アメリカは足し算の文化らしい。そーいえば、ちょっと前に言われていた 日本の算数は、問題ありきでその回答を出す。 こんな感じ １ ＋ ２ ＝ □ 欧米では、答えがあって問題を考えさせる □ ＋ △ ＝ ３ とか １ ○ ２ ＝ ３…
大手の場合、情報漏えいの危険性があるので なるべく、フリーのサービス（gmailとかブログとか）を 使わないようにしていると思う。でもフリーの方が便利。 さすがに顧客の情報が漏れるようなことがあると大問題だけど、 いつでもどこでもって利便性を考える…
ブログを書いてる人は、１つのブログに集中して書くのだろうか？ 自分の場合、使い分けてる １．このブログ 主に真面目な内容を書く。 ２．子供のブログ 保育園の送り迎えなどの状況を書く。 将来、子供のライフログになればと思っている。 ３．吐き溜ブログ…
当初は、Scalaをやるべく技術メモを残す目的で始めたブログですが 最近は、Haskellを身に付けるべく奮闘中です。特に技術とは関係ない話も書いてみる。 googleやyahooで簡単に取得できるフリーのメールアドレスですが 何かの用事に一時的に取得したり、意図…
-- file : nobsun.hs data Foo = F { foo :: Int, bar :: String } deriving (Show) aFoo = F { foo = 1, bar = "A" } bFoo = aFoo { bar = "B" }これをghciで試してみる。 *Main> :load nobsun.hs [1 of 1] Compiling Main ( nobsun.hs, interpreted ) Ok, …
９章ぐらいから読む速度がすごく遅くなって来たorz というのも、基本的な考えがわかってるだけでは （これも充分怪しいけど・・・） 読んで理解することができなくなって来ているので 実際にコードを書いて、:tとかで確認しながらの勉強になってる。 ８章ま…
import qualified Data.ByteString.Lazy.Char8 as L8 import Data.Word modifyOffset :: ParseState -> Int64 -> ParseState modifyOffset initState newOffset = initState { offset = newOffset } parseByte :: Parse Word8 parseByte = getState ==> \ini…
Haskellは難しいです。 Haskellをマスターして Haskellicなコードを書くのは、神クラスのデベロッパーです。
