ChatGPTの応答を1秒未満に

――企業では生成AIの活用ニーズが高まっています。これは、Fastlyのビジネスにどう影響しますか。

ナイチンゲール　エッジプラットフォームは、AIをよりパワフルにします。すでに、生成AIの推論モデルをエッジで構築し始めている顧客もいます。

現在の生成AIの利用事例として最も多いのが、ChatGPT等のLLMを活用するものです。セントラルクラウドにあるLLMを使って開発者は、非常に高度なインタラクションが可能なアプリケーションを開発して提供しています。

そこには2つの課題があります。1つは応答が遅すぎること。ChatGPTの応答には5～10秒くらいかかります。

もう1つはコストが掛かりすぎることです。例えば、カスタマーサポートに生成AIを使ったチャットボットを適用するには、従来のAIボットに比べて非常に高いコストがかかります。質問の8～9割は、ほぼ同じような内容なのにです。その回答にいちいちChatGPTを使うのは、応答性とコストの観点から極めて非効率です。

エッジプラットフォームは、この課題を劇的に解決できます。同じような質問への回答は、キャッシュから返せばいいのです。

――まさにCDNと同じ仕組みですね。

ナイチンゲール　LLMに対して出された質問を過去の質問と比較して、キャッシュの中に同じものがあれば即座に返す。これで、ChatGPTを使ったアプリケーションの応答時間を1秒未満に短縮できます。

もちろん、まったく新しい“固有の質問”はセントラルクラウドのChatGPTに問い合わせることになりますが、それは全体の1割から1.5割程度です。残りの“よくある質問”はキャッシュから拾い上げて返せばいいのです。これにより応答時間は1秒未満になり、トークンコストも大幅に削減できます。

我々は6月に、この「セマンティックキャッシュ」機能を持つ「Fastly AI Accelerator」をリリースしました。世界中のエッジで利用でき、多くの開発者がすでに活用しています。

生成AIを速く安く使えるようにするのに重要なのが、このセマンティックキャッシュ機能です。我々が長年磨いてきた、セマンティック比較技術の高さが生成AIの活用でも活かされています。

導入も容易です。開発者はコードを1行変更するだけで、AI Acceleratorをアプリケーションに実装できます。

――コストが下がることで、生成AIのユースケース拡大が期待できますね。

ナイチンゲール　遅延も重要です。カスタマーサポートやテクニカルサポートの返答なら、5秒、10秒の応答時間が許容されるかもしれませんが、緊急事態には対処できません。ヘルプライン（通報窓口）では、遅延が大きいほど満足度が下がってしまいます。また、ユーザーはすぐに、一般的なアプリでも数秒の待ち時間が許容できなくなってしまうでしょう。

――対応するLLMはChatGPTだけですか。

ナイチンゲール　他のLLMにも広げていく予定です。なお、我々のプラットフォーム向けにコードを書いている開発者向けのサービス、例えばコード分析等にはGeminiを使っています。

こうしたAI関連の投資では特に、専門知識を強化するためのトレーニングに力を入れています。AIに関してセンター・オブ・エクセレンス（CoE：優秀な人材、設備等を集約した専門チームのこと）の構築も計画しています。

「Fastlyへの道程をならす」

――日本のビジネス状況と今後の注力ポイントについても教えてください。

ナイチンゲール　ここ1年、日本の新規ユーザーが顕著に増えています。もう1つ目を引くのが、パートナーコミュニティの成長です。世界中で日本が最も盛り上がっているという状況で、日本チームにどんどん知識とノウハウが蓄積されています。

Fastlyを“エッジプラットフォームの企業”と認識していただけるお客様が増えており、特にセキュリティを切り口に、他社から我々のエッジに乗り換えていただけるユーザーが増えていることが嬉しいですね。

サイバー攻撃の増加を受けて、WAF等のセキュリティ機能のパフォーマンスを評価して他のCDN/エッジから乗り換えてこられるケースが増えています。

――CDNもセキュリティも、移行のハードルは高いと思いますが、それでも乗り換えユーザーが増えていると。

ナイチンゲール　その通りで、乗り換えは容易ではありません。

ですから、私たちは「Fastlyへの道程をならす」ことに力を尽くしてきました。乗り換えをシンプルにできるようにするには、お客様を支援するパートナーとの協力が不可欠です。加えて、様々な機能の寄せ集めではなく統合プラットフォームを提供していることも、乗り換えを促すうえで大きな強みとなっています。