株式会社エスペラントシステム

大規模データの高速検索および表示、ダウンロードする技術をJAXAと共同研究

～ビッグデータをビッグデータのまま検索・加工・提供できるビッグデータサービスの実現に向けて～

企業動向

2020年3月25日 10:00

ITシステム開発の株式会社エスペラントシステム(本社：千葉県流山市、代表取締役社長：寺平英昭、以下ESS)、国立研究開発法人宇宙航空研究開発機構 (本社：東京都調布市、理事長：山川宏、以下JAXA)および株式会社ターボデータラボラトリー(本社：神奈川県横浜市、代表取締役社長：古庄晋二、以下TDL)は、巨大時系列データの高速アクセスに関する共同研究を2019年5月より行っています。今回、JAXAの持つアポロ11号～17号が月面に設置した地震計から取得した大規模データを、高速に検索・表示・CSV作成する実証実験に取り組み、ビッグデータの流通を実現できる革新的な技術を開発したことを本日3月25日に発表します。これにより5G環境の普及に向けてビッグデータの取り扱い容易性やデータ価値の向上につながることを期待しています。

この共同実験により、ビッグデータを検索し、ビッグデータのまま取り出し、表示し、ダウンロードするという、これまで困難であった”ビッグデータサービス“の実現が見えてきました。現在の主なビッグデータを使ったサービスは、最終的に提供されるのはスモールデータとなっています。そのため、ビッグデータを受け取って新たなビッグデータを生み出す知の創造サイクルは育ちにくいものでした。しかし、今回の成果と、今後の5Gなどの高速通信の普及で、ビッグデータが新たな価値あるコンテンツになる環境が揃うことになります。

「観測データをはじめとして、IoTデータ、ブロックチェーンデータ、ログデータなど、サービス提供ができないがゆえに活用されずに埋もれているビッグデータが世の中には大量に埋蔵されています。それらは本来、高い価値を持っているはずです。まもなく、ビッグデータそのものが流通・取引される時代が来るのではないでしょうか。今回の成果でその突破口が開かれました。“1兆行のマスターデータから”、“必要な条件で”、“億単位の対象データを”、“わずか数秒でダウンロードする”、ということを実現できる日も近いと考えています。」と株式会社ターボデータラボラトリー　代表取締役社長　古庄晋二氏は述べています。

「今回のビッグデータの超高速処理は新開発のREAD ONLYデータベースで実現できました。これにより、増殖する一方のビッグデータの扱いがとても容易になります。マスタービッグデータの管理は、PCサーバとSSDのみで実現可能であり、スケールアウトが容易に行えるため、低コストのシステム構成で大規模データを扱えるようになります。」と株式会社エスペラントシステム　執行役　生座本義勝は述べています。

【共同研究概要】

タイトル　　：巨大時系列データの高速アクセスに関する研究

　　　　　　　共同研究において大規模データの高速な検索および表示、

　　　　　　　CSV作成の実証実験を行い、低コスト環境で高速な

　　　　　　　ビッグデータのダウンロードサービスが実現できることを示す。

背景　　　　：大規模な観測データの高速・低コストの検索および

　　　　　　　ダウンロードサービスが必要であった。

共同研究実績：1. アポロ11号～17号が月に設置した地震計から得られた

　　　　　　　　大規模データを分割し、ビッグデータを仮想的にUNIONし、

　　　　　　　　約40億件(4,069,171,800レコード)のテーブルを作成。

　　　　　　　2. 『D5Aファイル圧縮』機能を開発。D5Aファイルサイズは、

　　　　　　　　 CSVサイズの50%以下にできたため、SSDのストレージサイズ