Cloudera Hadoop Training for Developer & HBase Trainingに参加した

先日、Hadoop Training for DeveloperとHBase Trainingに参加してきました。

Hadoop Training for Developerは10/25〜10/28の3日間で、
HBase Trainingは、10/28の1日でした。

前回は４月にあったのですが、出れなかったので、
今回は会社に頼んで行かせてもらいました。

以下内容になります。

Hadoop Training for Developerは、PFIの太田さんが講師でした。
ClouderaのTodd Lipconさん(HBaseのコミッター)も横にいて、
質問があるときに答えてもらうという感じでした。

レクチャーとエクササイズを交互にやる感じで進んでいきました。

一日目はHadoopの基礎知識からでした。

HDFSやMapReuduceの概要や仕組みから、その他のエコシステムの概要、
MapReduceのアルゴリズムについてのレクチャーがあり、
エクササイズでは、実際にMapReduceをJavaやHadoop Streamingを
使って書いたりしました。

Hadoop輪読会などで、Hadoopについてはある程度勉強していたので
ここらへんは難なく理解することができました。

二日目は、HadoopとRDBMSの違いから入り、
その後は、SqoopやHive, Pigの話でした。

Hiveは業務で使っていることもあり、
結構知ってることが多かったんですが、
Sqoop, Pigについてはいろいろ勉強になりました。
Sqoop, Pigは今後業務でも導入していこうと思いました。

三日目は、MapReudeのデバッグの話や、
もっと高度に使うためにどうカスタマイズしたらいいかという話があり、
パフォーマンスチューニングの話も少しやって、
最後にグラフアルゴリズムの話でした。

まあ、ある程度知識があったのでついていけましたが、
結構ハイペースで進んでいった気がします。

最後にテストがあったのですが、なんとか合格！
何点かはわかりませんでしたが、
後でなんか賞状的なもの？がもらえるらしいです。

今、ちょうどログ収集のソリューションを探していて
ScribeとFlumeの状況を太田さんとToddさんに質問したのですが、
Flumeの方がいいらしいということでした。
まあ、Clouderaの人に聞いたらそう答えますよね。。

太田さんが来れなかったのは残念でしたが、
いろいろな話を聞くことができて楽しかったです！

HBase Trainingは、HBaseのコミッターであるTodd Lipconさんが講師でした。
講義は全部英語でしたが、日本語の資料があったので、
英語ができない私でも、なんとか理解することができました。
こちらも、レクチャーとエクササイズを交互にやる感じでした。

HBaseを使ったことがなかったのですが、
概要から仕組みまで丁寧に説明してもらい、
エクササイズで実際にHBaseを触ることができたので、
大体どんなものなのかはわかりました。

また、チューニングポイントなども教えていただいたので、
今度クラスタを構築して検証してみたいと思います。

お昼はすべて人形町今半のお弁当でした。
美味しかったです！