ウルシステムズ、基幹バッチ用HadoopフレームワークをOSS化
Hadoopは、米グーグルの並列プログラミングモデル「MapReduce」と分散ファイルシステム「Google File System」を模した分散バッチ処理ソフト。I/O処理を複数台のサーバーで分散処理することで、バッチ処理の速度を大幅に高速化できる。
Hadoopのプログラムは、プログラミング言語のJavaを使い、「Map処理」と「Reduce処理」というMapReduce独特の機構を組み合わせて開発する必要がある。そのため、分散処理に不慣れなプログラマーにとって敷居が高かった。ウルシステムズが開発したAsakusa Frameworkは、同社独自のDSL(ドメイン特化言語)を使って開発したプログラムから、MapReduce用のプログラムを自動生成する。プログラマーはAsakusa Frameworkを使うことで、MapReduce独特の機構を意識せずに基幹バッチ処理を開発できるようになる。
Asakusa Frameworkは、DSLを使って開発したプログラムからMapReduceプログラムを生成する「MapReduceコンパイラ(Ashigelコンパイラ)」や、「MySQL」からデータを取り出すプログラムを自動生成する「モデルジェネレーター」、バッチジョブの実行監視を行い、障害が発生した場合に処理をやり直す運用管理機能、テストコードの自動生成機能などを備える。
ウルシステムズは既に、Asakusa Frameworkを使った流通業向け基幹システムの開発を進めており、間もなく第一号システムがカットオーバーする予定。Asakusa Frameworkを使用することで、従来4時間かかっていたバッチ処理が、数分で完了したという実績もあるという。
MapReduceプログラムを自動生成するフレームワークとしては、Asakusa Framework以外にも、米フェイスブックが開発した「Hive」や米ヤフーが開発した「Pig」などがあり、HiveやPigではSQLに似た構文でプログラムを開発できる。HiveやPigがデータウエアハウス(DWH)用途やビジネスインテリジェンス(BI)用途で使われているのに対して、 Asakusa Frameworkは基幹バッチ処理に特化しているところに違いがある。
2011年 2月9日
参照Itpro
IT業界、コンサルティング業界の最新ニュースをお伝えします。最先端の業界で何がどう動いているのかをWatchすることで、広くビジネス界全体の今後の動きを展望することができるはずです。
Warning: include(../../naviadd.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
183
Warning: include(): Failed opening '../../naviadd.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
183
Warning: include(../../seminar_box.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
186
Warning: include(): Failed opening '../../seminar_box.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
186
Warning: include(../../job_box.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
189
Warning: include(): Failed opening '../../job_box.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
189
Warning: include(../../footaddobi.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
200
Warning: include(): Failed opening '../../footaddobi.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
200
Warning: include(../../foot.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
204
Warning: include(): Failed opening '../../foot.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
204
Warning: include(../../head.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
212
Warning: include(): Failed opening '../../head.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
212
Warning: include(../../menu.html): failed to open stream: No such file or directory in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
217
Warning: include(): Failed opening '../../menu.html' for inclusion (include_path='.:/usr/local/php/5.6/lib/php') in
/home/consul-movin/www/it-movin.co.jp/view/news/headline.php on line
217