発表資料は、以下です。 HBaseでグラフ構造を扱う(開発中) View more presentations from Toshihiro Suzuki 内容は、うちの会社でHBaseでグラフ構造を持って、 オンラインで使おうとしているのでその紹介です。 もっと完成度が上がってきたら、別の機会にま…

JRubyからJobTrackerにアクセスする方法を紹介します。 JRubyなので、JavaクラスのJobClinet経由でJobTrakcerにアクセスして、 情報を取得することが出来ます。 今回の例はCDH3u0の環境で動かしています。 また、実行時にHadoopの設定ファイルにクラスパスを…

以下のようにすればいい。 gunzip --to-stdout foo.gz | bzip2 > foo.bz2 参考 http://efreedom.com/Question/3-23533/Converting-Gzip-Files-Bzip2-Efficiently

結構たってしまいましたが、 ミクシィ × サイバーエージェント合同勉強会で発表しました。 以下、サイバーエージェントのエンジニアブログの記事です。株式会社ミクシィ様と合同勉強会を開催しました。 http://ameblo.jp/principia-ca/entry-10895267680.htm…

スレーブ側で以下を実行。 STOP SLAVE; CHANGE MASTER TO MASTER_HOST=''; もしくは、 STOP SLAVE; RESET SLAVE;して、mysqlを再起動。 マスタ側で、レプリケーション権限のユーザを削除。

Hadoopは内部的に独自のIPC/RPCフレームワークを用いています。 このフレームワークは、Writableを用いてバイナリでやりとりをします。 以下、実際に使ってみたメモです。 まず、プロトコルのインターフェースを定義します。 この時、versionIDも指定します…

メモ。 項目 意味 Configured Capacity 各DataNodeのdfs.data.dirで指定したディレクトリのパーティションのサイズ(File.getTotalSpace())からdfs.datanode.du.reservedで指定したサイズ(デフォルト0)を引いたものの和。予約領域以外の全領域のサイズ。 DFS …