第2回 Big Dataと携帯メール


Big Dataとの戦いの起源はNOWプロジェクト


 クラウドコンピューティングが注目を集めるようになり、多くの方々はクラウドの登場がBig Dataをより意識させるようになってきたと思われるかもしれません。それも事実なのですが、Big Dataとの戦い、すなわち大量のデータやトランザクションを取り扱う技術そのものの起源は、インターネットが急速な発展を遂げようとした90年代中盤にまで遡ります。なかでも特筆すべき取り組みとして知られるのが、1994年に米カリフォルニア大学バークレー校のコンピュータ・サイエンス学部で始まった「The Berkeley Network of Workstation (NOW) Project」(以下、NOWプロジェクト、図1)ではないでしょうか。

図1 NOWプロジェクトのホームページのTOP画像

図1 NOWプロジェクトのホームページのTOP画像


 NOWプロジェクトは、高速スイッチを配したネットワーク上にクラスタリングされた、多数のコモディティーコンピュータ(量産され一般ユーザーが利用するクラスのコンピュータ)のパワーを使う「分散コンピューティング技術」によって、スーパーコンピュータを凌ぐ処理能力を得るための研究でした。当時、この研究には米国のそうそうたるインターネット企業およびコンピュータメーカーがいち早くスポンサーとなっており、分散コンピューティングへの期待が大きかったことを証明しています。また、急激に増え続けていたインターネットのトラフィックに対応することが、当時すでに重要な課題として認識されていたことを物語っています。

 GoogleやAmazon.comは、この分散コンピューティング技術を実用化し、自社サーバーを効率的に拡張してきています。しかし、それは一朝一夕に実用化されたものではなく、インターネットの創世記から現在に至るまで脈々と続けられてきた研究開発がようやく実を結びはじめた結果であるといえるでしょう。

 Big Dataに対応するための技術という側面からNOWプロジェクトの成果を見ていくと、ある有名な検索エンジンに行き着きます。それが「Inktomi」(インクトゥミ)です(図2)。NOWプロジェクトのベンチマークテストでは、最終的に当時のスーパーコンピュータに匹敵する性能を実現しましたが、その研究をリードしていたEric Brewer博士と研究メンバーが、その後に設立したのがInktomi社でした。Eric Brewer博士は、Big Data における分散データベースの特性を表した「CAP定理」の提唱者として有名な研究者です。

 Inktomi社は、NOWプロジェクトの研究成果を検索エンジンに応用し、Inktomiの開発にこぎ着けましたが、これがWeb検索エンジンとして大ヒットし、60%のマーケットシェアを得るまでに成長しました。Yahoo、MSN、AOL、NTT-goo などのメジャーなインターネットポータル事業者は、こぞってInktomiを採用してWeb検索エンジンサービスを広げていったわけです。

図2 Inktomi社のロゴ
Inktomiという社名の由来は、ラコタインディアンの伝説に登場する蜘蛛の精霊からで、インターネットにおけるWeb(蜘蛛の巣)検索に因んでつけられた

図2 Inktomi社のロゴ


 また同社は、NOWプロジェクトの成果から「Traffic Server」というWebトラフィックとオンデマンド・ストリーミング・ネットワーク向けのプロキシ・キャッシュサーバーも開発。これをいち早く採用したAOLは、一日当たり100億HTTPリクエストを処理する大規模システムを安定的に稼働するという偉業を達成し、業界を驚かせたものです。

モバイルの大波はメールとともにやってきた


 こうしてインターネット上の膨大なトラフィックを克服する技術が次々と生まれてくるわけですが、インターネット自身にもトラフィックを激増させる衝撃的な出来事が起きました。携帯電話がインターネット接続機能をもつことによって、爆発的に増えた携帯メールのトラフィックが一気にインターネットへと押し寄せたのです。(これは、ストリーミングなどの動画配信がインターネットに膨大なトラフィックをもたらす以前に起きたことです)

 携帯電話は、その利便性からあっという間に普及し、今や世界で最も普及したエレクトロニクス製品になりました。その携帯電話が、メーラーやブラウザといったネットワーク・アクセス機能、いわゆるモバイルインターネットに対応するようになり、インターネットにアクセスするユーザー数の爆発的増加を引き起こしたことは言うまでもありません。また、ユーザー数のみならず、携帯電話の特性上、その端末をいつでも、どこでも持ち歩き、だれとでもメールのコミュニケーションやウェブへのアクセスが手軽にできるようになったことによって使用頻度が上がり、ネットワークに膨大なトラフィックを生み出す結果になりました。携帯メールと携帯インターネットの拡大が、Big Dataの形成に強烈なインパクトを与えたといっても良いかもしれません。

 ここで発生したBig Dataは、プロバイダに対して想像を絶する負荷を与えました。特に、国内の各モバイル・キャリアがiモードやJ-Sky(現、Yahoo!ケータイ)、EZwebといったモバイルインターネットサービスを開始した当初には、想定以上の膨大なトラフィックが発生したため、サーバー設備(インフラ設備)の増強が矢継ぎ早に実施されていきました。そんな歴史のなかでモバイル・キャリアが培ってきたインフラは、まさに最先端のモバイルクラウドと呼べるものであり、Big Data に対応するためのノウハウのかたまりなのです。

 なかでも携帯メール利用者の急速な拡大は、モバイル・キャリアやプロバイダを悩ませました。Webアクセスであれば、ユーザーが画面の表示状況を確認しながらリトライしたり、時間を改めたりしてくれますが、メールはそうはいきません。送信ボタンを押したら必ず相手の携帯電話やPCに届くという通信サービスとしての信頼性が担保される必要があり、不達や紛失といったトラブルは絶対に避けなければなりません。これに加え、携帯電話にカメラが内蔵され「写メール」サービスが登場すると、画像を添付した容量の大きなメールが飛び交うようになりました。

 パケット料金がほぼ定額になってくると、ユーザーはメールのデータサイズや頻度を気にかけることがなくなり、回数やサイズが増えれば増えるほどモバイル・キャリアの設備投資コストが上昇します。そのためモバイル・キャリアは現在でもなお、メール・トラフィックの上昇に沿って低コストで拡張していけるスケーラビリティの高いメッセージングシステムを求め続けているのです。

12次ページへ
page top