ウルシステムズ、基幹バッチ用HadoopフレームワークをOSS化

Hadoopは、米グーグルの並列プログラミングモデル「MapReduce」と分散ファイルシステム「Google File System」を模した分散バッチ処理ソフト。I/O処理を複数台のサーバーで分散処理することで、バッチ処理の速度を大幅に高速化できる。

Hadoopのプログラムは、プログラミング言語のJavaを使い、「Map処理」と「Reduce処理」というMapReduce独特の機構を組み合わせて開発する必要がある。そのため、分散処理に不慣れなプログラマーにとって敷居が高かった。ウルシステムズが開発したAsakusa Frameworkは、同社独自のDSL(ドメイン特化言語)を使って開発したプログラムから、MapReduce用のプログラムを自動生成する。プログラマーはAsakusa Frameworkを使うことで、MapReduce独特の機構を意識せずに基幹バッチ処理を開発できるようになる。

Asakusa Frameworkは、DSLを使って開発したプログラムからMapReduceプログラムを生成する「MapReduceコンパイラ(Ashigelコンパイラ)」や、「MySQL」からデータを取り出すプログラムを自動生成する「モデルジェネレーター」、バッチジョブの実行監視を行い、障害が発生した場合に処理をやり直す運用管理機能、テストコードの自動生成機能などを備える。

ウルシステムズは既に、Asakusa Frameworkを使った流通業向け基幹システムの開発を進めており、間もなく第一号システムがカットオーバーする予定。Asakusa Frameworkを使用することで、従来4時間かかっていたバッチ処理が、数分で完了したという実績もあるという。

MapReduceプログラムを自動生成するフレームワークとしては、Asakusa Framework以外にも、米フェイスブックが開発した「Hive」や米ヤフーが開発した「Pig」などがあり、HiveやPigではSQLに似た構文でプログラムを開発できる。HiveやPigがデータウエアハウス(DWH)用途やビジネスインテリジェンス(BI)用途で使われているのに対して、 Asakusa Frameworkは基幹バッチ処理に特化しているところに違いがある。

2011年 2月9日
参照Itpro

IT業界、コンサルティング業界の最新ニュースをお伝えします。最先端の業界で何がどう動いているのかをWatchすることで、広くビジネス界全体の今後の動きを展望することができるはずです。

ニュース検索はこちらから 


初めての方へ

無料転職相談・登録

30~35歳のためのキャリア相談会 30代からのキャリア構築。いつ、どのタイミングで転職をすべきなのか。その方法をご紹介いたします。

セミナー情報

立ち上げ間もないコンサルティングファームへの転職相談会 立ち上げ間もないコンサルティングファームへの転職相談会 実際にどんなファームや部門があるのか、もっと詳しく話を聞いてみたいという方は是非一度ご相談ください。

アビームコンサルティング ITMSセクター 1日選考会 アビームコンサルティング ITMSセクター 1日選考会 2016年11月19日(土)

監査法人トーマツ 説明会兼選考会 監査法人トーマツ システム監査他職種、説明会兼選考会 2016年7月26日(火)

ウルシステムズ キャリアセミナー ウルシステムズ キャリアセミナー 【随時開催中】

株式会社SHIFT 休日選考会 株式会社SHIFT 休日選考会 2016年11月12日(土) 10:00~17:00

その他、セミナー情報はこちらから

アクセンチュア 第二新卒選考会! 経験不問!コンサルタントになるチャンスです!是非この機会をご利用ください!!

amazon 非公開ポジション企業の転職相談会 非公開ポジション企業の転職相談会 第1弾 amazon !!

フューチャーアーキテクト 個別転職相談会 過去最高益を記録した、東証一部大手ITコンサルティングファームです!完全無料プライベート相談会!

デロイトトーマツコンサルティング 未経験からのコンサルタント 大手外資系コンサルティングファーム、DTCにて若手・経営コンサルタント(Pool部門)を積極募集中です! その他部門はこちら

リクルートライフスタイル 求人特集 ホットペッパービューティ、じゃらんなど、全国規模のWebサービスを手掛けることのできるポジションです!

お一人お一人に合せた転職支援、専任のコンサルタントがサポート

ムービンでは大手には出来ない、お一人お一人に合わせた転職支援をご提供しております。
ご転職をお考えの方は、ご自身では気づかれない可能性を見つけるためにも是非一度ご相談ください。

無料転職相談・登録はこちらから

Page Top

ご自身では気づかれない可能性を
見つけるためにも是非一度ご相談ください。

無料転職相談・登録はこちらから

ページトップへ

お問い合わせ、ご相談はこちらから。すべて無料となっております。

Copyright (c) movin CO .,Ltd. All rights reserved.