ビッグデータとクラウド：アマゾンCTOに聞く

アマゾンのクラウドシステムは何を目指すか

Q5. アマゾンの技術は、この3年ほどでどう進化していますか？

WV：アマゾンのWebサービスは、フル稼働を開始して以来5年目で売上が27.6億ドルになりましたが、アマゾンのグローバルなシステム基盤のすべてを十分まかなえるよう、毎日サーバ容量を追加しています。190ヵ国で数十万のユーザー企業がいますが、大規模企業からスタートアップまで幅広く使われています。私たちが扱っているデータのスケールをお話しますと、Amazon S3は2,600億のオブジェクトを管理し、ピーク時毎秒20万リクエストを常時処理しています。

顧客へのサービスに集中しているので、イノベーションのベースはかなり急速です。開発のプロセスとしては、サービスのベータ版ををリリースして多くのユーザーに使っていただき、顧客のフィードバックを得ると、直ちにサービスに対する顧客の希望やニーズに対応した付加機能の開発に取り掛かります。数十万の顧客で考えられるあらゆるユースケースから得られることほど、私たちの学習を速めるものはないでしょう。（左の図はアマゾンAWSのコンセプト。ビッグデータが豊かなユーザー体験を支える）

顧客にとっての効率性、コスト低減にも徹底して取組んでいます。過去5年間、競争上の圧力がなかったにもかかわらず、12回にわたって価格の引き下げを行いました。伝統的なITベンダーと違って、私たちは大ボリューム・低マージンのビジネスに満足しています。

Q6. アマゾンのDynamoは独自の技術ですが、あなたの2007年のDynamoペーパーは、オープンソース・プロジェクト（例えばGoogleのBigTableとDynamoのコンセプトを融合させたCassandra）へのインプットとして使われています。アマゾンはなぜ認めているのですか？

WV：Dynamoはアマゾンが社内で開発した内部技術ですが、これは漸増的にスケーラブルで可用性の高い、key-valueストア(KVS)システムのためのニーズに対応したものです。この技術は、ユーザーが、コスト、精度、耐用性、パフォーマンスのトレードオフを調整できるようにするようにデザインされています。しかし、このコンセプトを適用する過程である種の問題に直面したので、あのペーパーを学会に提出し、現実的な実用システムを構築する上で必要なフィードバックをいただいたわけです。

考えるシステム空間の共有

Q7. オープンソース・プロジェクトに対して、アマゾンはどのような立場を取っていますか？　なぜFacebookやFacebookやLinkedInのように、最初からオープンソースのデータプラットフォームを開発しなかったのでしょう。

WV：私は、カスタマーに最善の経験を提供できるのならば、重要な貢献ができる分野でリソースを投入すべきだと考えています。私たちの使命は、一人のアプリケーション開発者から二千人の開発者がいる企業など様々なカスタマーに、高度でスケーラブルなアプリケーションが構築できるWebサービスプラットフォームを提供することです。AWS (Amazon Web Services)のコストを下げ、可用性を高める上で私たちができることであれば、それは大いにコミュニティを助けることになるでしょう。

Q8. Amazon Elastic MapReduceは、Amazon EC2 (Elastic Compute Cloud)とAmazon S3 (Amazon Simple Storage Service)のホストで稼動するHadoopフレームワークを使っています。Hadoopを選択した理由は何でしょう？　なぜ既存のBI製品ではだめ だったのでしょうか？

WV：Hadoopを選んだのには、いくつかの理由があります。第1に、100テラバイト、時に1,000テラバイト級のデータを処理し、最大4,000ノードまでインスタレーションを拡張できる、利用可能な唯一のフレームワークだったこと。第2に、Hadoopはオープンソースなので、そのフレームを拡張・進化させるイノベーションが可能で、私たちのカスタマーがフォーマット済みのアプリケーションを迅速に開発できること。第3に、Hadoopがすでに普及を始めており、複数のカスタマーが採用し、多くのベンダーが改良を加えていることです。

3年後にはおそらく、その選択で正しかったと言えるようになると思います。それに、MicroStrategyのような既存のBIベンダーも、そのソリューションをElastic MapReduceに統合するために協力してくれています。

Q9. データとプラットフォーム、分析の3つの要素に注目したときに、研究開発においてこれから最も大きなテーマとなるのはどれでしょう？　そしてビジネスにおいてはどうでしょう。

WV：私は、それらに共有を加えたいと思います。本質的に重要なことは、データの収集、格納、整理、分析という一連のプロセスを協調させることだと思います。例えば、研究対象を共有する科学者、様々な病院で、新薬の試験で協力している医師は、クラウドを使って成果を共有し、共通のデータセットで作業をするというイメージです。（了）

フォーゲル博士は、Amazon.comの副社長兼チーフ・テクノロジー・オフィサーで、同社のテクノロジー・ビジョンを担当し、世界の顧客のためのイノベーションを主導している。アマゾン入社以前は、コーネル大学で、基幹エンタープライズシステムのスケーラビリティと堅牢性を高めることを目標にした研究プロジェクトにおいて主要な役割を果たした。アマゾンのCTOとしては、学術研究の成果を産業技術に持ち込む立場にある。

フォーゲル博士は、アムステルダム自由大学(Vrije Universiteit)で博士号を取得。学会誌やカンファレンスのために多くの論文を書いているが、ほとんどがエンタープライズ・コンピューティングのための分散システム技術に関するもの。

2008年、クラウドコンピューティングへの貢献を表彰され、Information Week誌から「最優秀CTO」を受賞した。またカスタマーやメディア、一般公衆と関わりを持ちつつ開発を進める独特のスタイルを称えられ、2009年度のMedia Momentum Personalityを受賞している。