推論ブリッジ：ローカルおよびクラウドLLMアクセスのためのブラウザブリッジ
Inference Bridgeは、samsamskies（SamSamskies）によって構築されたChrome拡張機能で、実験的なInference Provider APIを実装してウェブアプリとLLMを接続します。これは、標準化されたwindow.inferenceオブジェクトを注入し、ページがブラウザを通じてAIの応答を直接要求できるようにし、window.inference.request()を介してストリーミングテキストをサポートし、保存されたキーを使用してOpenAIにルーティングするか、ローカルのOllamaインスタンスにルーティングします。ウェブ開発者、AI研究者、プライバシーを重視するユーザーを対象としており、APIキーを拡張機能内に保持し、安全なモデルアクセスのためにオリジンごとの権限管理を提供します。
それがウェブページに標準のAIインターフェースをどのように公開するか
ブラウザ側APIを注入することで、ページが直接呼び出すことができるwindow.inferenceオブジェクトを提供します。この拡張機能は、window.inference.request()を通じてストリーミングテキストチャットをサポートしているため、ウェブアプリはトークンが到着するたびに消費できます。リクエストは、ネットワークアクティビティが行われる前に拡張機能内で検証されるため、ページが任意のペイロードを転送するのを防ぎます。このアプローチにより、ウェブインターフェースはページスクリプトにプロバイダーの資格情報を埋め込むことなくLLMクライアントとして機能できます。
それが資格情報を分離し、アクセスを制御する方法
オリジンごとの権限プロンプトがユーザーに各プロバイダーおよびモデルへのアクセスを許可、拒否、または記憶するように求め、サイトごとに細かい制御を提供します。APIキーは拡張機能のサービスワーカーに保存されるため、ページスクリプトは資格情報を見ることがありません。拡張機能は、ローカル接続を容易にするためにOriginおよびRefererヘッダーを削除し、セキュアなトップレベルコンテキストへの注入を制限して、非セキュアなページへの露出を減らします。
ローカルモデルとクラウドキーが出会う場所
統一されたAPIサーフェスは、ローカルOllamaサーバーと自分のキーを持ち込むOpenAIオプションの両方をサポートしているため、開発者はどちらのプロバイダーでもプロトタイプを作成できます。拡張機能は、ローカル推論のために一般的なCORS障壁を回避するためにヘッダーの削除とローカルルーティングを処理し、テスト中に追加のプロキシを必要としません。ストリーミングサポートと単一インターフェースにより、プロトタイプ統合はプロバイダータイプ全体で一貫して動作します。
開発者が計画する必要がある実用的な制限
実験的なリファレンスとして構築されたこの拡張機能は、注入をトップレベルフレームに制限し、file:ページやサブフレームでは動作しないため、埋め込まれたフレームに依存する統合には代替設計が必要です。これはChromiumベースのブラウザのみにターゲットを絞っており、開発者はこれをInference Provider API提案の公式リファレンス実装として位置付けているため、チームはこのツールを完成したプロダクションコンポーネントではなく、出発点として扱うべきです。
実用的で開発者向けの架け橋、実験的なトレードオフを伴う
この拡張機能は、実験的なツールや統合作業を受け入れる開発者や研究者がブラウザからLLMワークフローをプロトタイピングするための実用的な選択肢です。アプリケーションコードを適応させ、制御された環境でテストを実行することを期待してください。実用的なヒントとして、記憶された権限を開発ホストに制限し、テスト中はモデルエンドポイントを隔離されたネットワーク上に保つことをお勧めします。このツールは、提案されたブラウザAPIを実装するための作業参照として機能します。
