Hadoop関連技術メモ 2010 年 1 月 29 日

Hadoopユーザー会
http://hugjp.org/

HBaseメモ 2010-02-20
http://www.ne.jp/asahi/hishidama/home/tech/apache/hbase/index.html

Liberty On Hbase 20091113
Hadoop/HBase 開発:Liberty インデクサプロジェクトの例
http://www.slideshare.net/ykomiyam/liberty-on-hbase-20091113

Hadoop入門 by PFI 西川徹さん
http://www.slideshare.net/pfi/hadoop-2525724

Elastic MapReduceでお手軽Wikipediaマイニング by 大倉務さん
http://www.slideshare.net/ohkura/elastic-map-reduce-wikipedia

SI事業者の視点から見たHadoopの適応領域と今後の展望 by NTTデータ 政谷好伸さん
http://www.slideshare.net/hadoopxnttdata/20091113-hadoop-conf-japan2009-v1a-clean

■HBase
Hadoop、hBaseで構築する大規模分散データ処理システム
http://codezine.jp/article/detail/2448
Hadoopのインストールとサンプルプログラムの実行
http://codezine.jp/article/detail/2485
複数マシンへHadoopをインストールする
http://codezine.jp/article/detail/2699

HBase を使ってセマンティック Web を実現する方法を探る
http://www.ibm.com/developerworks/jp/opensource/library/os-hbase/index.html

2010-02-04
HBase 基礎文法最速マスター
http://d.hatena.ne.jp/Takao/20100204/1265212226

2009年12月9日
1台でHBase, Hive, Pigを試してみる(CentOS + Cloudera)
http://saburi380.blogspot.com/2009/12/1hbase-hive-pig.html

■Hive
Hive――RDB使いのためのHadoopガイド
前編 Hadoop+Hive検証環境を構築してみる
・Hiveとは
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_01.html
・Hadoop+Hiveのインストール
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_02.html
・Hiveの基本的な使い方
・テーブルの作成とデータの読み込み:CREATE TABLEとLOAD DATA
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_03.html

後編 SQLライクにHadoop Hiveを使い倒す!
・パーティションを利用する/コラム◆MapReduce操作について
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_04.html
・テーブルの検索:SELECT
 シンプルなSELECT文/パターンマッチング/テーブルの結合
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_05.html
・データの保存:INSERT
 データを直接挿入する/HDFSのファイルとして保存する
 ユーザーが直接扱う(普通の)ファイルとして保存
・まとめ:Hadoopを直接操作するよりも簡単!
http://www.atmarkit.co.jp/fdb/single/s_hive/hive_06.html

Hive QL(HQL)でORDER BYするときの注意点
>http://blog.katsuma.tv/2009/10/hive_order_by.html

■Cloudera
http://www.cloudera.com/hadoop

Clouderaとは?
http://itpro.nikkeibp.co.jp/article/NEWS/20091005/338355/

Cloudera を使って CentOS に Hadoop on EC2 な環境を整える
http://blog.livedoor.jp/sasata299/archives/51344765.html

techlifeライトニングトークでHadoopのLTしました
http://blog.livedoor.jp/sasata299/archives/51352984.html

■導入事例
The New York Times
New York Times は Hadoop と EC2 を使うことによって、4TB の TIFF 画像 (40.5 万枚の巨大な TIFF 画像と 330 万本の SGML 記事、そして 40.5 万個の XML ファイルなど) を Web で使いやすい 80 万枚の PNG 画像に 36 時間で変換したのです。
http://www.ibm.com/developerworks/jp/linux/library/l-hadoop/

Yahoo! Developer Network Blog
http://developer.yahoo.net/blogs/hadoop/2008/09/scaling_hadoop_to_4000_nodes_a.html

楽天版MapReduce・HadoopはRubyを活用
http://www.atmarkit.co.jp/news/200812/01/rakuten.html

クックパッドとHadoop
http://techlife.cookpad.com/2009/09/16/cookpad-hadoop-introduction/

Hadoopで、かんたん分散処理(Yahoo!Japan)
http://techblog.yahoo.co.jp/cat207/cat209/hadoop/

Hadoopを使いこなす(2) 2010年03月01日
http://techblog.yahoo.co.jp/cat207/cat209/hadoop2/

Scala on Hadoop: Hadoop Conference
http://d.hatena.ne.jp/stanaka/20091125/1259124272

Hadoop活用事例(Littel)
http://www.littel-hadoop.jp/hadoopcase.html

GREE LabsでHadoopの話を聞いてきた
http://emasaka.blog65.fc2.com/blog-entry-505.html

Hadoop Conference Japan 2009 #1
http://www.slideshare.net/rakutentech/hadoop-conference-japan-2009-1

Hadoop Conference Japan 2009 #2
http://www.slideshare.net/rakutentech/hadoop-conference-japan-2009-2

Hadoop World NYC 参加記
http://kzk9.net/blog/2009/10/hadoop-world-nyc-report.html

Hadoop Conference Japan 2009
http://tsuchiya-yoshihiro.blogspot.com/2009/11/hadoop-conference-japan-2009.html

【第7回】「GMOとくとくショップ」に組み込まれたテクノロジー(前編)
http://www.gmo.jp/report/technology/02/index.php

【第7回】「GMOとくとくショップ」に組み込まれたテクノロジー(後編) ─ Hadoopを使った構築方法やチューニングポイント、運用管理 ─
http://www.gmo.jp/report/technology/02/index_02.php

2010年2月1日
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む
http://gihyo.jp/dev/serial/01/ruby/0029

2010年2月13日
PHPとMongoDBで学ぶ次世代データストア
http://handsout.jp/slide/2316

複数ディスクを使って効率の良い処理 2010/2/22
http://shun0102.net/?p=75

KVS(NoSQL)のまとめと「これから」の設計手法 2010-02-24
http://d.hatena.ne.jp/parrot_studio/20100224/1266938989

Hive on AWS @ COOKPAD 2010年3月4日
http://techlife.cookpad.com/2010/03/04/hive-on-aws-cookpad/

第2回 Hadoop本 輪読会 発表資料 2010-03-07
http://d.hatena.ne.jp/brfrn169/20100307/1267948963

5日間の処理を1時間に短縮
DWHからHadoop移行で成功事例、欧州広告企業 2010/03/15
http://www.atmarkit.co.jp/news/201003/15/hadoop.html

Hadoopのインストール 2010-03-25
http://d.hatena.ne.jp/hshinji/20100325/p1

Hadoopのボトルネックとチューニングについて 2010年3月20日
http://netmark.jp/2010/03/hadoop.html

HadoopのファイルシステムとしてS3を利用する 2010/4/5
http://shun0102.net/?p=198

開いているお店検索 2010年3月31日
http://techblog.yahoo.co.jp/lab/latlonglab/openshop/

関連する記事:

Leave a Reply