ChatGPT

ChatGPT Webブラウジングプラグイン比較

背景

ChatGPTでは2023年8月現在、プラグインを利用しないとWebブラウジングができない仕様となっています。

Webプラグイン用のプラグインはいくつかありますが、プラグインによっては与えたURLに全く関係のない内容を返すことがあるため改めて比較を行ってみました。

※食べログの利用規約を確認の上、問題のない範囲でテストを行っています。

プラグインの使い方

ChatGPTでプラグインを使用する方法は下記の記事を参考にしてください。

使用するプラグイン

今回比較に使用するプラグインは下記の8種類を使用します。

※Plugin storeで[web]で検索し、使えそうなプラグインを手動で選んだため漏れがあるかもしれません。

  • Web Requests
  • Webpage Summarizer
  • WebPilot
  • AAASummarize.app
  • Access Link
  • BrowserOp
  • Scrapee
  • Scraper

取得対象条件

今回は下記の条件で今回の比較を行います。

  • 対象サービス：食べログ
  • 店舗：新宿の「NO MEAT, NO LIFE.2nd」
  • 対象ページ：TOPページ、メニューページ、口コミページ

使用プロンプト

下記のプロンプトを利用してテストを行います。

下記のURLに含まれる情報をそれぞれ要約してください。
1:https://tabelog.com/tokyo/A1304/A130401/13174272/
2:https://tabelog.com/tokyo/A1304/A130401/13174272/dtlmenu/
3:https://tabelog.com/tokyo/A1304/A130401/13174272/dtlrvwlst/COND-2/smp1/?smp=1&lc=0&rvw_part=all

結果まとめ

各プラグインの結果をレスポンス、アウトプット（トップ / メニュー / 口コミ）の4項目で評価してみました。

  • レスポンス：ChatGPTの返事ではなく、返事の元となる内部処理の結果
  • アウトプット：ChatGPTが実際に行った返答のわかりやすさをトップ / メニュー / 口コミそれぞれ判定

今回使用したプラグインの中で使いやすそうだと感じたのは下記の3種類ですが、それぞれ特徴が異なりました。
個人的には用途に応じてWebPilot → BrowserOp → AAASummarize.appの順番で使っていきそうです。

  • WebPilot：トップページの情報は最もわかりやすかったが、メニューや口コミの情報が取得できなかった。
  • AAASummarize.app：全ての情報が取得できたものの、要約がわかりにくい。
  • BrowserOp：全ての情報が取得でき、要約もわかりやすいが1回の処理で1つのURLしか読み込むことができない。

※あくまでも今回の条件での比較結果のため、異なる条件で比較を行うと結果が変わります。

プラグイン名レスポンストップメニュー口コミ備考
Web Requests△✕✕✕
Webpage Summarizer✕✕✕✕
WebPilot△◎✕✕
AAASummarize.app◯△△△
Access Link△△✕✕
BrowserOp◯◯◯△1回の処理で1つのURLまでしか読み込めない
Scrape△✕✕✕
Scraper◯✕✕✕

各プラグインの結果

Web Requests

レスポンスを確認すると店名など正しい情報が返ってきていそうなのですが、店名から全く違いますね。

※ここで表示されている「串かつ田中 三軒茶屋店」は実在していましたが、食べログ評価も住所も全く違うものでした

Webpage Summarizer

扱えるデータ量が少ないのかURLの内容が大きすぎるとエラーが出力されました。

データ量が少ない場合の挙動は不明ですが、他のプラグインの方がよさそうですね。

WebPilot

トップページの内容は完璧に取得できていそうですが、メニューやレビューに関しては取得できていません。
レスポンスを確認するとメニューやレビューに関しては返ってきている情報がそもそもおかしそうでした。

AAASummarize.app

1～3がまとまって回答されてますね。写真の枚数などは正確ですが、評価点については実際のものと異なるようです。
メニューの情報が取得できているか試しに追加で聞いたところ、問題なく取得できていそうでした。

Access Link

トップページの情報は取得できていそうでしたが、それ以外の情報は取得できていないようでした。

BrowserOp

各URLの情報はしっかりと取得できるようですが、1度の処理で1つのURLしかアクセスできないようです。

Scrapee

何がどうしてこうなったって感じですね。
こちらも店名は実在していましたが、住所や電話番号は全く違いました。

Scraper

こちらも全く違う店が表示されています。
今回は店名から存在しないようでした。

まとめ

今回はWebブラウジング用のプラグインの比較を行ってみました。

指示の出し方や用途によって最善となるプラグインは変わりそうですが、少なくとも正しくない内容を出力されるのは避けたいのでプラグインをしっかりと選ぶ必要はありそうです。

-ChatGPT