富士通研、ビッグデータ向けデータ処理の開発期間を約1/5に短縮する環境を開発
2012年8月20日 12:32
富士通研究所は20日、業界で初めて、ビッグデータと呼ばれる多種大量の時系列データ処理を統合的に開発・実行する環境を開発したと発表した。ビッグデータ向けデータ処理の開発期間を約1/5に短縮できるという。
センサーデータや人の位置情報などの時系列データを代表とする多種大量なデータが飛躍的に増え続けており、たとえば、Hadoopなどの並列バッチ処理技術や、データをリアルタイムに処理する複合イベント処理技術が開発されてきた。しかし、各処理技術の開発・実行環境は異なるため、データの分析結果から得た知見を素早く処理の記述に反映することは困難だった。また、富士通研が開発したイベント処理エンジンの性能を最大限引き出すには、サーバ間通信量の見積りなど並列アプリ設計の知識が必要だった。
今回、蓄積データ処理と、複合イベント処理のそれぞれの処理記述言語を統合的に扱える開発・実行環境を開発することで、分析処理からイベント処理までの開発期間を富士通研の事例で約1/5に短縮すること（POS分析に基づくクーポン発行で8週間から1.5週間）を可能にした。また、同環境は、今回開発した複合イベント処理の処理効率を自動的に向上させる並列性抽出機能も内蔵しており、複合イベント処理の処理記述から並列性を抽出して適切な機能の組合せを推奨する技術により、高効率な並列アプリ設計を手間なく実現できる。