プログラミング言語の型システムの分類としては、下記の3つの軸があるようです。 静的な型付け or 動的な型付け 弱い型付け or 強い型付け 型安全かそうでないか 簡単に調べてみたので、メモしておきます。 静的な型付け or 動的な型付け 静的型付けな言語は…

WEB+DB PRESS Vol.67に載ってます。WEB+DB PRESS Vol.67作者: 川口耕介,山本和彦,大和田純,白土慧,太田昌吾,個々一番,Shawn M Moore,清水亮,じゅんいち☆かとう,小野修司,おにたま,神林飛志,杵渕朋彦,中島聡,齋藤正浩,高橋征義,ミック,みやけん,WEB+DB PRESS…

発表資料は、以下です。 HBaseでグラフ構造を扱う(開発中) View more presentations from Toshihiro Suzuki 内容は、うちの会社でHBaseでグラフ構造を持って、 オンラインで使おうとしているのでその紹介です。 もっと完成度が上がってきたら、別の機会にま…

JRubyからJobTrackerにアクセスする方法を紹介します。 JRubyなので、JavaクラスのJobClinet経由でJobTrakcerにアクセスして、 情報を取得することが出来ます。 今回の例はCDH3u0の環境で動かしています。 また、実行時にHadoopの設定ファイルにクラスパスを…

以下のようにすればいい。 gunzip --to-stdout foo.gz | bzip2 > foo.bz2 参考 http://efreedom.com/Question/3-23533/Converting-Gzip-Files-Bzip2-Efficiently

結構たってしまいましたが、 ミクシィ × サイバーエージェント合同勉強会で発表しました。 以下、サイバーエージェントのエンジニアブログの記事です。株式会社ミクシィ様と合同勉強会を開催しました。 http://ameblo.jp/principia-ca/entry-10895267680.htm…

スレーブ側で以下を実行。 STOP SLAVE; CHANGE MASTER TO MASTER_HOST=''; もしくは、 STOP SLAVE; RESET SLAVE;して、mysqlを再起動。 マスタ側で、レプリケーション権限のユーザを削除。

Hadoopは内部的に独自のIPC/RPCフレームワークを用いています。 このフレームワークは、Writableを用いてバイナリでやりとりをします。 以下、実際に使ってみたメモです。 まず、プロトコルのインターフェースを定義します。 この時、versionIDも指定します…

メモ。 項目 意味 Configured Capacity 各DataNodeのdfs.data.dirで指定したディレクトリのパーティションのサイズ(File.getTotalSpace())からdfs.datanode.du.reservedで指定したサイズ(デフォルト0)を引いたものの和。予約領域以外の全領域のサイズ。 DFS …

友人からHT-03Aを借りて、Android2.2(Froyo)をいれたのでメモします。 root権限をを取得する 以下のサイトが参考になります。http://d.hatena.ne.jp/ShingoS63/20100914/1284409135 root権限の取り方は、調べるとたいていGoldCardを作り、 OSのダウングレー…

先日、会社の同期でやっている勉強会のひとつ 「MySQLによってタフになる会」の発表をしました。 タイトル通りMySQLの勉強会です。 課題図書は以下です。 会社の先輩方が書いた本です。 MySQLによるタフなサイトの作り方作者: 佐藤真人,桑野章弘,岡田達典,大…

MacFusionが便利そうなのでインストールして、マウントしようとしたら 「Could not mount filesystem: Remote host has disconnected.」というエラーが。。 そこで、http://certio-lab.sblo.jp/article/36863310.html に書いてある通り、Macfusion 2.0.4-SL.…

先日、NoSQL in Afternoonに参加してきました。 NoSQLについていろいろ興味があったので参加したのですが、 全体的にプロダクトの概要レベルまででした。 時間も多くなかったので当然ですが。 ATND http://atnd.org/events/8460USTREAM http://www.ustream.t…

先日、Hadoop Training for DeveloperとHBase Trainingに参加してきました。 Hadoop Training for Developer http://www.eventbrite.com/event/878322085HBase Training http://www.eventbrite.com/event/878364211 Hadoop Training for Developerは10/25〜1…

タイトルのエラーがでたら、 /etc/profileに以下の設定をすれば直るよ。 export JAVA_HOME=/usr/local/java export MAVEN_HOME=/usr/local/maven export PATH=${JAVA_HOME}/bin:${MAVEN_HOME}/bin:${PATH} まあ、確実にもっといい方法ありそうだけど、 とり…

HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライ…

だいぶ今更ですが、はまったのでメモしときます。 環境は、CentOS 5.5 です。 ダウンロード 下記URLからダウンロードします。 http://incubator.apache.org/thrift/download/現在の最新版は、0.5.0です。 インストール まず、依存ライブラリをインストール s…

hadoopをインストールしたあとに、 ファイルをputしようとすると下記のようなエラーがでる。 Error Recovery for block null bad datanode[0] nodes == null http://your_host:50070/dfshealth.jsp にアクセスすると直る。。 参考資料 http://ochien.seesaa.…

少し勉強したんで、メモ。たぶん、今後更新していきます。 まず、パッケージとは、機能のグループ単位、サブシステムのこと。 Javaだと、パッケージの概念はあるけど、もっと広い意味でJarもパッケージに含まれる。 パッケージ内部の凝集度に関する原則 再利…

少し勉強したんで、メモ。たぶん、今後更新していきます。 単一責任の原則（SRP:the Single Responsibility Principle） クラスを変更する理由は1つ以上存在してはならない。 クラスが持つ責任は１つってこと。 まあ、当たり前のことだけど、難しいよね。 Pr…

Hadoop0.20で、Ganglia3.1以降を使うには、 org.apache.hadoop.metrics.ganglia.GangliaContextではなくて、 org.apache.hadoop.metrics.ganglia.GangliaContext31を使う。 hadoop-metrics.properties dfs.class=org.apache.hadoop.metrics.ganglia.GangliaC…

仕事でMeCabをインストールする必要があったので そこらへんをメモしときます。 MeCabとは、オープンソースの日本語形態素解析エンジンです。 http://mecab.sourceforge.net/ MeCab本体のインストール wget http://downloads.sourceforge.net/project/mecab/…

httpdの再起動を繰り返していたら、急に起動しなくなりました。。。 正確に言うと、起動した瞬間に落ちるようになりました。 httpdのエラーログを見ると以下の用のエラーが。。 [emerg] (28)No space left on device: Couldn't create accept lock これの解…

0 0 * * * aaa.sh > `date -d '1 day ago' +%Y-%m-%d`.log 2>&1これって、できるよね？ ちゃんとaaa.shに実行権限あるし、 実際に、コマンド部分をコピペしたらちゃんと動くし。。 バッククォーテーション部分を削除したら、動くんだよね。。 よくわからん。…

下記のように正規表現でnode名を書ける。 node /^node*/ { } めっちゃ便利！ ※ puppet0.25.xからだそうです。

前回のエラーに引き続き、puppet clientで以下のエラーが出ました。 err: Could not retrieve catalog from remote server: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed warning: Not using cache on…

Hadoopの設定ファイル管理をpuppetでやろうとしているのですが、 puppet clientで以下のエラーが。。 err: Could not retrieve catalog from remote server: hostname was not match with the server certificate warning: Not using cache on failed catalo…

先日、やっとの思いでgitoriousをインストールしました。 いろいろドキュメントはあるんですけど、 gitorious自体がバージョンアップしてるので もう既に古くなってたりして、めちゃくちゃはまりました。。 以下、メモしておきます。抜けてるところあるかも…

仕事でRuby on Railsを使う予定なので、今勉強してます。 http://codezine.jp/article/detail/2482 これを見る限り、NetBeansがいいということなので、 NetBeansを使うことにしました。 とりあえず、ここら辺を読んで勉強したいと思います。http://journal.m…

http://d.hatena.ne.jp/edvakf/20091027/1256675493バグってやがった。。キーボードが効かなくなるんで、本当に焦りました。。Dock を殺したり Mac をスリープさせないと直らないんだって。めんどくさ。