結構たってしまいましたが、 ミクシィ × サイバーエージェント合同勉強会で発表しました。 以下、サイバーエージェントのエンジニアブログの記事です。株式会社ミクシィ様と合同勉強会を開催しました。 http://ameblo.jp/principia-ca/entry-10895267680.htm…

HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライ…

基本的には、↓に書いてあるんですが、いくつか罠があるのでメモしときます。 http://wiki.apache.org/hadoop/Hive/CompressedStorage このページには以下のように書いてありますが、 SET io.seqfile.compression.type=BLOCK; -- NONE/RECORD/BLOCK (see belo…

hiveコマンドで hive -e 'quoted query string'とやると、コマンドラインでHiveQLをたたくことができるのですが、 以下のようなエラーになってしまいました。 Unexpected tables while processing |-S|-h|-e|-f これは/usr/bin/hiveスクリプトのバグで、 exe…

現在、仕事でHadoopのサブプロジェクトであるHiveをいじってます。 で、今回、JDBC経由で使ってみたので紹介します。Hiveのインストールなどの仕方は以下を参照してください。 http://wiki.apache.org/hadoop/Hive/GettingStarted まず、Hiveサーバを立ち上…