HadoopとSmartGrid・その４

Processing

電気にまつわる大量のデータをHadoopを使っている処理している事例を読み進めています。今回でようやく、下記の記事を読み終えました。技術的にわからない点も多々ありましたが、とても良い勉強になりました。どこの企業がどこと提携したというようなタイプのニュースよりも、こういった具体的な事例に触れる方が、自分にとっては面白いと思えるような気がしています。
http://www.cloudera.com/blog/2009/06/02/smart-grid-big-data-hadoop-tennessee-valley-authority-tva/

  • PMU Data Analysis at TVA
    • 分析における現時点でのニーズや要望
      • PMUデータのベストな使い方に関するアイデア
      • いくつかのテクニックやアルゴリズムが選択肢としてあがっている
    • 現在、MapReduceを使ったアプリケーションを書いている
      • 以前よりも、より多くのパワーグリッドのデータを扱える
      • 伝統的なテクニックによって、シンプルな周波数を計算する場合でも、テラバイト級のデータを扱う必要があるため、そのプロセスは退屈なものになりえた
      • MapReduceは、並列化処理を可能にしてくれただけでなく、ディスク読み込みのスピードを高めてくれた
    • 次は、indexing techniquesに取り組む予定
      • シンプルなスキャンから、複雑なデータマイニングまで使えるテクニック
      • パワーグリッドの挙動(内容については理解不能だった)に関する、より良い理解を得られる
    • Frequency Disturbance Recorders(FDR)のようなデバイスも利用する予定
      • 速度はPMUデバイスの3/1程度
      • しかし、数多くの安価なメーターが、オンラインになれる可能性を秘めている
      • そうすれば、TVAが管理できるデータ量も増える
      • このような追加的なデータによって、パワーグリッドに関する、より完全な実情を描き、その挙動を把握することが可能になる
  • Looking Forward With Hadoop
    • 改善したい分野がいくつかある
      • セキュリティは最も大きな分野
      • 特に、データの特性や、他機関も関わるという事情
      • Hadoopのコミュニティによって、セキュリティ問題は改善されていくだろうと見ている
    • 他のプロジェクトとの共存
      • 同じシステム内で、様々な研究プロジェクトを共存させる道を探している
      • 同じインフラを使うが、独自のプライベートなアカウントエリア内で、ジョブを実行し、結果をダウンロードできるような環境
      • 研究は競争力のあるビジネスになりうる
    • Cloudera