HadoopとSmartGrid・その２

Processing

前回のエントリーで読んだ記事の中で紹介されていた、以下のサイトの記事に取り組んでみました。専門的な内容が多く、Hadoopの話に辿り着く前に今日は時間切れとなってしまいましたが、SmartGridがどうやってデータを管理するのかの一端を覗くことができました。
http://www.cloudera.com/blog/2009/06/02/smart-grid-big-data-hadoop-tennessee-valley-authority-tva/

  • Intro
    • TVAの中の人による、Hadoopを使って成し遂げたことの解説
      • 大容量データを使って深い分析を行なう
      • 既存の解決法よりもはるかに低コストで実現
  • The Smart Grid and Big Data
    • アメリカ北部で信頼性の高い電力を供給しているNERCに代わって、TVAはPMUデータを収集している
      • PUM : phasor measurement unit
    • TVAは国営会社で、1933年に設立され、洪水対策・発電・経済成長を提供してきた
    • NERCはself-regulatory organization、米国やカナダの政府系機関からの監視の対象となっている
    • TVAはNERCから、PMUデータのレポジトリーとして選定された
    • PMUデータは、SmartGridと呼ばれる、発電・配電設備の測定データの一部だと考えられている
  • PMU Data Collection
    • PMUデバイスは、アメリカ東部で103箇所に配置されている
    • 新しいPMUデバイスが定期的にオンラインになると、これらのデバイスは、TVAデータを送る
    • PMUデバイスは、電力データを一秒間に数千回の単位で集められる(詳細については、理解不能)
    • PMUデータは、GPS time-stamped stream
      • 一秒間に30回送信される
      • 次のような情報を持つことができる：電圧、電流、周波数、周波数の差分、デジタル情報、ステータス
    • 以下のような性質を持つPMUデータを扱うにあたり、TVAは独自のアーキテクチャを構築する必要に迫られた
      • 変電所に配置されている測定装置(例えばPMU)が、様々なデータを抽出し、GPSクロックを通じて時間を測定し、ファイバーなどを通じて中央へ送られる
      • 通信は、VPN tunnel over a LAN-to-LAN connectionがよく使われる
      • (以下、理解不能になってきたので省略)
    • データ量について
      • TVAは現在、15TBのPMUアーカイブファイルの中に、1.5 trillion件のデータを保持している
      • PMUデバイスが定期的にオンライン化しているので、データの増加量は急速に上昇している
      • 2010年の終わりには40TB、5年間で500TBになると予想されている
  • このあと、Hadoopをどう使うのかが書かれているはず・・・