HadoopとSmartGrid・その１

Earth2Techに、表題の関連性についての記事がありました。MapReduce的なアルゴリズムの使い道を、今まであまり考えたことがありませんでしたが、確かに大量なデータを処理しなければならない、下記のような仕組みには相性がいいかもしれません。この記事の中からリンクされていた詳細記事も面白そうだったので、次回はこれを読んでみたいと思っています。
How to Use Open-Source Hadoop for the Smart Grid – Gigaom

• 一見すると、Hadoopがpower gridに役立つかどうかを判断するのは難しい
  • Hadoop
    • オープンソースのソフトウェア・フレームワーク
    • ウェブサイトで生成された大量のデータを解析するために開発された
  • なぜか難しいのか
    • オープンソースのツールとユーティリティは、しばしば一緒に使われない
    • しかし、それが起こった
  • Hadoopが使われた
    • the Tennessee Valley Authority (TVA)
    • the North American Electric Reliability Corp. (NERC)
    • power gridの稼動状況に関するデータを集めて、処理している
    • 参照：http://www.cloudera.com/blog/2009/06/02/smart-grid-big-data-hadoop-tennessee-valley-authority-tva/
• 具体的にHadoopで何をやっているか
  • TVAは、power grid内における電気の信頼性に関するデータを集めている
  • phasor measurement unit (PMU) devicesを使っている
  • NERCは、TVAのシステムを、そのような電気データのthe national repositoryに指定している
  • Hadoopを使うメリット
    • 大量データの管理を低コストで実現できる
    • 数多くの古くなったコンピュータの上で実行されることを想定している
  • システムの信頼性を向上させ、処理を簡単に実行させるための、さらに二つのメリットがある
  • 1. Hadoop’s Distributed File System
    • GoogleのFile Systemをモデルとしたもの
    • 複数のサーバーにデータのコピーを配置し、それらの全てをメンテナンスする
    • システム障害は頻繁に発生する、ということがアイデアのベースになっている
  • 2. a Distributed Processing Framework
    • Googleによって普及した、"MapReduce"と呼ばれているアルゴリズム
    • コンピュータのジョブを、数多くのノードに分割する
    • アプリケーションを、bite-sized chunks of work across serversに分割し、それぞれのchunkに割り振られたデータを、そこで処理する