発表資料は、以下です。 HBaseでグラフ構造を扱う(開発中) View more presentations from Toshihiro Suzuki 内容は、うちの会社でHBaseでグラフ構造を持って、 オンラインで使おうとしているのでその紹介です。 もっと完成度が上がってきたら、別の機会にま…

JRubyからJobTrackerにアクセスする方法を紹介します。 JRubyなので、JavaクラスのJobClinet経由でJobTrakcerにアクセスして、 情報を取得することが出来ます。 今回の例はCDH3u0の環境で動かしています。 また、実行時にHadoopの設定ファイルにクラスパスを…

結構たってしまいましたが、 ミクシィ × サイバーエージェント合同勉強会で発表しました。 以下、サイバーエージェントのエンジニアブログの記事です。株式会社ミクシィ様と合同勉強会を開催しました。 http://ameblo.jp/principia-ca/entry-10895267680.htm…

Hadoopは内部的に独自のIPC/RPCフレームワークを用いています。 このフレームワークは、Writableを用いてバイナリでやりとりをします。 以下、実際に使ってみたメモです。 まず、プロトコルのインターフェースを定義します。 この時、versionIDも指定します…

メモ。 項目 意味 Configured Capacity 各DataNodeのdfs.data.dirで指定したディレクトリのパーティションのサイズ(File.getTotalSpace())からdfs.datanode.du.reservedで指定したサイズ(デフォルト0)を引いたものの和。予約領域以外の全領域のサイズ。 DFS …

先日、Hadoop Training for DeveloperとHBase Trainingに参加してきました。 Hadoop Training for Developer http://www.eventbrite.com/event/878322085HBase Training http://www.eventbrite.com/event/878364211 Hadoop Training for Developerは10/25〜1…

HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライ…

hadoopをインストールしたあとに、 ファイルをputしようとすると下記のようなエラーがでる。 Error Recovery for block null bad datanode[0] nodes == null http://your_host:50070/dfshealth.jsp にアクセスすると直る。。 参考資料 http://ochien.seesaa.…

Hadoop0.20で、Ganglia3.1以降を使うには、 org.apache.hadoop.metrics.ganglia.GangliaContextではなくて、 org.apache.hadoop.metrics.ganglia.GangliaContext31を使う。 hadoop-metrics.properties dfs.class=org.apache.hadoop.metrics.ganglia.GangliaC…

基本的には、↓に書いてあるんですが、いくつか罠があるのでメモしときます。 http://wiki.apache.org/hadoop/Hive/CompressedStorage このページには以下のように書いてありますが、 SET io.seqfile.compression.type=BLOCK; -- NONE/RECORD/BLOCK (see belo…

hiveコマンドで hive -e 'quoted query string'とやると、コマンドラインでHiveQLをたたくことができるのですが、 以下のようなエラーになってしまいました。 Unexpected tables while processing |-S|-h|-e|-f これは/usr/bin/hiveスクリプトのバグで、 exe…

現在、仕事でHadoopのサブプロジェクトであるHiveをいじってます。 で、今回、JDBC経由で使ってみたので紹介します。Hiveのインストールなどの仕方は以下を参照してください。 http://wiki.apache.org/hadoop/Hive/GettingStarted まず、Hiveサーバを立ち上…

社内でHadoop本の輪読会をやってるんですが、 前回発表だったんで、その資料を公開します。 第２回 Hadoop 輪読会View more presentations from Toshihiro Suzuki. 嘘書いてあったら、ごめんなさいm(_ _;)m Hadoop作者: Tom White,玉川竜司,兼田聖士出版社/…