公開チャットボットの利用上限は、成功した回答だけ数えても足りない

利用量の計測を連想させるメーターと、入口に並ぶ青いトークン

Webサイトに置くAIチャットボットでは、質問に答える品質と同時に、利用量の管理も必要です。公開された窓口は、想定どおりに使う人だけがアクセスするとは限りません。

「1日何件まで」という上限を設けていても、その件数をどこで、いつ数えているかによって、守れる範囲は変わります。回答の保存に成功した件数だけを数える仕組みでは、外部AIへ依頼した回数を取りこぼすことがあります。

回答が残らなくても、処理は始まっていることがある

要求を受け付け、外部AIへ送信し、返ってきた回答を保存する。この順番で動く仕組みを考えます。AI側では処理が進んだものの、通信が途中で切れたり、保存に失敗したりすると、回答ログには残らない場合があります。

外部サービスの課金条件によりますが、手元で失敗に見えたからといって、必ず無料になるとは限りません。失敗のたびに利用枠を戻していると、実際の依頼量と上限の計算が離れていきます。

そこで、成功した回答数と、外部処理へ進めた試行数を分けます。利用者への案内や品質の確認には回答ログを使い、費用を伴う処理の受付判断には、別の試行管理を使う考え方です。

上限の直前に、複数の要求が来たらどうなるか

仮に、残りの受付枠が一つだとします。二つの要求がほぼ同時に「まだ空いている」と読み取り、それぞれ処理を始めたら、上限を超えてしまいます。件数の確認だけでなく、枠を確保する処理まで一体で扱う必要があります。

実装では、データベースのトランザクションやロックなど、構成に合う方法で同時処理を調整します。大切なのは特定の技術名を使うことではなく、同時に来た要求が同じ空き枠を使わないことを確かめることです。

入力の確認後に試行枠を予約し、外部AIの処理と結果保存を行う流れ
入力の確認後に試行枠を予約し、外部AIの処理と結果保存を行う流れ

回数だけでなく、一回の大きさも制限する

短い質問と、非常に長い文章を含む質問では、必要な処理量が違います。回数上限だけをそろえても、費用や待ち時間が一定になるわけではありません。現在の質問だけでなく、会話履歴や添付資料を送る場合も考える必要があります。

  • 受け付ける本文全体と、各項目の大きさ。
  • AIへ送る会話履歴や参考資料の範囲。
  • 回答の出力上限と、処理を待つ時間。
  • 利用者ごと、短時間ごと、全体の受付量。
  • 一度に処理する数と、異常時の停止方法。

OWASPも、APIの資源消費について、実行時間や入力サイズ、回数などの制限を検討する必要性を整理しています。ここで挙げたチャットボットの試行予約は、その問題を公開AI窓口へ当てはめた設計上の考察です。OWASP API Security:Unrestricted Resource Consumption

処理中の枠と、一日の試行履歴は別に扱う

処理が終わったら、同時実行用の枠は空けます。しかし、その日の試行がなかったことになるわけではありません。処理中の枠を戻すことと、利用履歴を消すことは別です。

異常終了で処理中の枠が残る場合には、有効期限や復旧の扱いを決めます。一方、障害が起きるたびに回数カウンターを削除すると、それまでの利用量も失います。状態が壊れた場合に、際限なく処理を受け付けてしまわないかも確認したい点です。

再送は便利だが、二重処理に注意する

通信に失敗したとき、画面が自動で再送する設計もあります。利用者にとっては便利ですが、元の処理が外部AIで続いていれば、二つの処理が走るかもしれません。すぐ再送すればよいとは限らないのです。

同じ会話で回答を準備中なら追加送信を待ってもらう、再送回数を絞る、処理の識別方法を決めるなど、用途に応じて考えます。IPによる制限も、同じ会社や店舗の複数人が一つの回線を共有する場合があるため、それだけを本人の識別とは扱いません。

小さなテスト環境で、失敗する場面も確かめる

確認では正常な回答だけでなく、外部AIの応答遅延、保存先の障害、同時送信、長すぎる履歴なども再現します。外部AIを模擬する環境なら、有料呼び出しや本番への負荷を増やさずに、受付判断を確かめられます。

費用の見積もりには回数だけでなく、モデル、入力と出力の量、再送の扱いも関係します。AI提供側の使用量や通知も併せて確認し、アプリ側の上限だけで請求額が完全に固定されるとは考えないことが大切です。

利用制限は、単に使わせないための仕組みではありません。必要な人が使い続けられるよう、通常時と失敗時の両方を設計するための仕組みです。