Silicon Soul -広告技術と広告のblog-

7/24にpostした「HadoopDB」の続きです。

■HadoopDBのアーキテクチャについて

HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. Azza Abouzeid, Kamil Bajda-Pawlikowski, Daniel J. Abadi, Avi Silberschatz, Alex Rasin. In Proceedings of VLDB, 2009.

より、
HadoopDBのアーキテクチャに関する章から、Hadoopに追加された４つのコンポーネントについて順に読んできます。

　

　
　
▼Database Connector

Database Connectorは、クラスタの各ノードにある個別のデータベースとTaskTrackerの間のインタフェースで、
HadoopのInputFormatクラスを拡張することによって実装されています。MySQLとPostgreSQLのConnectorが実装済みで、MonetDBやInfoBrightといったオープンソースのcolumn-storeデータベースについても実装の計画があるそうです。
InputFormatを拡張することによって、データベースをHDFS上のデータブロックと同じように扱うことができると説明しています。
　
　
　
▼Catalog

Catalogは、データベースのメタ情報を管理するコンポーネントで、以下の情報を持ちます。
１．データベースの場所、ドライバクラス、証明書等のパラメータ
２．クラスタ、レプリカの場所やデータパーテショニング情報等のメタデータ
現在の実装では、これらのメタデータをHDFS上にXMLファイルとして保持します。
　
　
　
▼Data Loader

Data Loaderは、以下の３項目について管理を行います。

１．ロードされているパーティショニングkeyに対するデータの再配分を実行します。
２．単一ノードに格納されてるデータを複数の同じパーティションやチャンクに分割します。
３．最後に、ある単一ノードのDBにチャンクをBulk-Loadingします。

Data LoaderはGlobal HasherとLocalHasherの大きく２つのコンポーネントからなっています。

Global Hasherは、Hadoop上で動くMapReduceのカスタムモードJobとして実行され、HDFSに格納されているrawデータを読み込み、再分割を行います。
Local Hasherは、HDFSから、各ノードのローカルファイルシステムにデータのコピーを行い、Maxチャンクサイズ設定に基づき、ファイルサイズが同一になるよう分割します。

チャンクが同一サイズになるようにするため、Global Hasher, Local Hasherでは異なるHash関数を使用しています。
　
　
　
▼SQL to MapReduce to SQL (SMS) Planner

HadoopDBは並列DBにSQLで問い合わせをするインタフェースを提供します。
SMS　PlannerはHiveを拡張したもので、HiveはHiveQLというSQLの一種をMapReduceのジョブに変換し、
HDFSに格納されたテーブルを操作します。

　
　
上図の(a)がHiveでのデータ処理、(b)がHadoopDBでの処理で、論文ではHiveとの処理の違いが詳細に述べられています。
　
　
SELECT YEAR(saleDate), SUM(revenue)
FROM sales GROUP BY YEAR(saleDate);
　
　
上記SQLを実行する際、HadoopDBでは各データノードにあたる部分にDBMSが配置されているため、SQLを実行して、次に結果を出力するだけという非常にシンプルな実行プロセスになっています。Hiveの処理フローにくらべ相当簡単なのが図でわかります。
　
論文を読む限り、HadoopDBとは、Hadoopのもつ耐障害性、スケーラビリティを生かして超大規模データを格納・処理するための仕組みで、HadoopのMapReduceフレームワークにRDBMSをくっつけて並列DBにしてしまうというもののようです。
　
時間ができたら実際に試してみたいとおもいます。