ストリームデータ高速処理への注目

米国証券業界ではアルゴリズムトレード(※１)の利用が広がっているが、そのインフラとして新たな高速DBMS(データベース管理システム)が利用されてきている。アルゴリズムトレードでは、ティックデータと呼ばれる取引所からのデータをリアルタイムで処理する。現在、米国の取引所をすべて合わせると、ピーク時で秒間10万以上ものデータ処理が必要となる。この処理インフラとして利用が広がってきているのである。

ティックデータのように大量かつ連続して発生するデータは、まるでデータが流れているかのようであることから「ストリームデータ」(※２)とよばれる。以前からストリームデータの処理にはIMDB(In MemoryDataBase)とよばれるコンピュータのメモリのみで処理を行うDBMSを活用し、高速化が図られていた。最近の高速DBMSは、それに加えてストリームデータ専用の処理ルーチンをDBMS内に有し、アルゴリズムトレードに対応できる高速処理が達成されている。

既存のDBMSがデータ到着後まずデータベースに書き込みを行い、その後、検索や計算処理、結果の出力を行うのに対し、このルーチンはまず検索や計算処理を行い結果を出力する。このため、処理結果が早く出力され、リアルタイム処理が達成できる。データベースへの書き込みは必要なものだけ、データ処理と並列、もしくは結果出力後、行われる。アルゴリズムトレードではティックデータを受け取ると、そのデータと過去の時系列データを元に、特定パターンへのマッチングやモデルに応じた計算を瞬時に行い、その結果を元に取引する。刻一刻と変化する市場に合わせるため、このような高速処理は非常に有効なのである。

もっとも、「大量のデータが配信され、そのデータひとつひとつを既存のデータとあわせて一瞬で分析する」といったニーズはアルゴリズムトレードに限られない。証券会社の中でも、各種システムから取引データを集約し、リスク管理やコンプライアンスに対応することが考えられる。それ以外の分野でも、クレジットカードの詐欺発見や無線ICタグ読み取りデータの活用など、適用できる分野はたくさんある。これらすべてに、ストリームデータ処理を重視した高速DBMSは最適である。

そればかりか、近年利用が広がっているSOA（サービス指向アーキテクチャ）でも、このような高速なストリームデータ処理は有効だろう。SOAでは様々な情報やサービスを組み合わせ、新たに価値を生み出していく。多数のサービスを利用し、大量のデータを集約・処理していく際には、ストリーム処理の活躍できるシーンが増えるのではないか。

米国の証券会社は、先端ITに競って投資し積極的に活用をすすめ、競争力を維持している。その過程で技術が醸成され他の分野に応用された結果、一般ユーザも恩恵を受けることが少なくない。ストリームデータを高速処理するDBMSも、今後幅広い範囲で利用されることで、大量の情報を自由自在に活用できるサービスが多数提供されることを期待したい。

（※１）市場の時系列データを特定の戦略(アルゴリズム)により分析し、発注を行うトレーディング手法。コンピュータを利用し、自動的に処理をすすめる。価格変動(マーケットインパクト)の抑制や発注機会の損失の回避など、執行コストの削減が目的となっている。

（※２）「ストリーミングデータ」とよばれる場合もある。ここではストリームデータで統一する。