ウルシステムズ、基幹バッチ用HadoopフレームワークをOSS化

Hadoopは、米グーグルの並列プログラミングモデル「MapReduce」と分散ファイルシステム「Google File System」を模した分散バッチ処理ソフト。I/O処理を複数台のサーバーで分散処理することで、バッチ処理の速度を大幅に高速化できる。

Hadoopのプログラムは、プログラミング言語のJavaを使い、「Map処理」と「Reduce処理」というMapReduce独特の機構を組み合わせて開発する必要がある。そのため、分散処理に不慣れなプログラマーにとって敷居が高かった。ウルシステムズが開発したAsakusa Frameworkは、同社独自のDSL(ドメイン特化言語)を使って開発したプログラムから、MapReduce用のプログラムを自動生成する。プログラマーはAsakusa Frameworkを使うことで、MapReduce独特の機構を意識せずに基幹バッチ処理を開発できるようになる。

Asakusa Frameworkは、DSLを使って開発したプログラムからMapReduceプログラムを生成する「MapReduceコンパイラ(Ashigelコンパイラ)」や、「MySQL」からデータを取り出すプログラムを自動生成する「モデルジェネレーター」、バッチジョブの実行監視を行い、障害が発生した場合に処理をやり直す運用管理機能、テストコードの自動生成機能などを備える。

ウルシステムズは既に、Asakusa Frameworkを使った流通業向け基幹システムの開発を進めており、間もなく第一号システムがカットオーバーする予定。Asakusa Frameworkを使用することで、従来4時間かかっていたバッチ処理が、数分で完了したという実績もあるという。

MapReduceプログラムを自動生成するフレームワークとしては、Asakusa Framework以外にも、米フェイスブックが開発した「Hive」や米ヤフーが開発した「Pig」などがあり、HiveやPigではSQLに似た構文でプログラムを開発できる。HiveやPigがデータウエアハウス(DWH)用途やビジネスインテリジェンス(BI)用途で使われているのに対して、 Asakusa Frameworkは基幹バッチ処理に特化しているところに違いがある。

2011年 2月9日
参照Itpro

IT業界、コンサルティング業界の最新ニュースをお伝えします。最先端の業界で何がどう動いているのかをWatchすることで、広くビジネス界全体の今後の動きを展望することができるはずです。

ニュース検索はこちらから 


無料転職相談・登録はこちらから

初めての方へ

INTERVIEWインタビュー



SEMINARセミナー情報

他セミナー情報一覧

FIRMファーム・企業特集

アクセンチュアの中でも特に積極採用を行っている各領域ポジション

DTC積極採用中!未経験からコンサルへ!

世界最大級ファーム「PwCコンサルティング」各ポジションの求人案件掲載中!

KPMGコンサルティングで積極採用中!各ポジションの求人案件掲載中!

過去最高益を記録した、東証一部大手ITコンサルティングファーム

おすすめ求人

業務プロセスコンサルタント:大手総合外資系コンサルティングファーム

もっとも知名度の高い大手総合外資系コンサルティングファームの一つ

SCM領域に対して、戦略の策定から業務改革やプロセスの再構築、組織変革、ITの導入・定着といったコンサルティングサービスを提供します。

詳細はこちらから

ITコンサルタント:最大のSI会社を母体とするシンクタンクにてIT戦略策定

日本最大のSI会社を母体とするシンクタンク。戦略立案、新規事業戦略、IT戦略等のコンサルを中心に展開しています。

一般企業、金融機関、行政機関全般における、IT戦略、CIO支援に関連するコンサルティング業務

詳細はこちらから

転職サービスはすべて無料となっております。ムービンではお一人お一人に
合わせた転職支援、そしてご自身では気づかれないキャリアの可能性や、
転職のアドバイス、最新の情報をご提供致します。
キャリアチェンジをお考えの方はぜひ一度我々にご相談ください。

無料転職相談・登録はこちらから

無料転職相談・登録はこちらから

転職サービスはすべて無料となっております。
ムービンではお一人お一人に合わせた転職支援、
そしてご自身では気づかれないキャリアの可能性、
転職のアドバイス、最新の情報をご提供致します。
ぜひ一度我々にご相談ください。

無料転職相談・登録はこちらから

ITコンサルタントになるには

ITコンサルタントとして求められる基礎能力・資質 - 求められる人材像とは

皆様からよく頂くご質問

弊社にご登録いただき、ご面談した方からよく頂くご質問をまとめてみました。

初めての方へ

ムービンのことや、弊社サイト活用法などをご紹介致します。

未経験からITコンサルタントへの転職 その対策方法とは?

未経験からITコンサル転職を目指している方へ、その転職方法と積極採用中の求人をご紹介いたします。

ページトップへ

お問い合わせ、ご相談はこちらから。すべて無料となっております。

Copyright (c) movin CO .,Ltd. All rights reserved.



未経験からコンサル転職

初めての方へ

無料転職相談・登録