「ストリーム・コンピューティング」という技術があります。
この技術が、世の中を大きく変革していく、という話です。
従来のデータ分析方法は、発生したデータを、データベースに蓄積して、それを分析ソフトで分析する、という方法でした。
でもこの方法は、基本的に過去データの分析なので、リアルタイム性が求められる業務には使えない、という問題があります。
例えば、刻々と動く状況に対応しなければいけないような、犯罪防止、災害予測、交通管制といった業務では、この方法では対応できません。
さらに、業務によっては、発生する膨大なデータを、極めて短時間で処理する必要があります。
例えば、交通管制で、車1台ずつの挙動を把握した上で、都市全体の交通状況を最適化しようとする場合、膨大な数の車が発生する凄まじい量のデータを把握する必要があります。
また、各所に設置した監視カメラの映像をチェックして犯罪防止しようとする場合は、膨大なデータを処理し、その中にある数少ない異常値を検知する必要があります。
いずれの場合も、データを一旦蓄積して、その上で分析する、という従来型の手法だと、業務が求める応答時間を確保するのは至難の業です。
これらの課題に対する一つの解決方法が、「ストリーム・コンピューティング」というソフトウェア技術です。
簡単に言うと、発生するデータを、溜めずに、そのまま分析する(不要なデータは片っ端から捨てる）、という手法です。
このために、2003年、IBMは「ストリーム・コンピューティング」のための基礎研究プロジェクト”System S”を開始しました。
その後、下記のようなプロジェクトでこの技術を実装して有効性を検証、機能を拡張してきました。
山火事監視（米国）：無人機で煙を感知し、衛星監視データと併せ、山火事発生リアルタイムマップを作成。防災に役立てる。
オンタリオ工科大：未熟児の状態を監視。各センサーのデータを解析し、ベテランICU看護士より6-24時間早く未熟児の異常を検知できる。
TD証券(カナダ)：160万件/秒で発生するデータを、全て1ミリ秒以内に処理、次世代アルゴリズムトレーディングを実現した。
サイバーセキュリティ：ビデオ/電話通話記録/音声を監視、犯罪につながる異常を未然に把握できる。
IBMマイクロチップ製造：100以上の製造工程を常時監視し、異常時に工程を停止する。これにより、巨額の廃棄コスト発生を未然に防止できる。
ハドソン川（米国）：500Km以上の流域にセンサーを配置し、データを収集・分析。川の生態系を維持する。
このような業務で活用するためには、数百万件/秒でエンドレスに発生するデータに対応し、かつほぼ瞬時に（1ミリ秒以下の遅延)、分析する必要があります。
さらに、多様な各種データから、関連性を発見していく必要があります。
