Googleが提供するGeminiのGemsとNotebook LMの使い分けに悩むケースがあります。今回は同じソースで回答がどのように変わってくるのか検証してみました。

GemsとNotebookLMのどちらを使うべき？

Googleが提供するAI関連のサービスとして

  • Gemini内で使えるGems(ChatGPTのGPTsのようなもの)
  • Notebook LM

があります。

Gemsは質問に対してどのように対応するか事前に指示をしておくことで、一般的な生成AIの回答と比較して、より的確な回答を得ることができます。

一方で、Notebook LMは回答の元となるソース(文書ファイル、URL、動画など)を自分で指定して、それらのソースに基づいて回答を得ることが可能です。

Gemsも事前の指示において参照するソースを指定することができますので、個人的に使い分けをどうすべきか悩むケースがあります。

一般的にはNotebook LMはソースに｢のみ｣基づいて回答するので、生成AIがいかにも正解であるかのように間違った回答をするハルシネーションといわれる現象を回避できるとといわれていますが、実際のところどうなのでしょうか。

｢気になるのであれば自分で試してみよう！｣ということで、同じソースを指定した上で、同じ質問を投げて、回答がどのように異なるか検証してみます。

広告

同一ソース･同一質問への回答を比較すると･･･

今回ソースとして、私の事務所ホームページのURL(https://katoh-tax.com)を使うことにします。

このURLの下には

  • 提供しているメニュー
  • FAQ
  • 問い合わせフォーム
  • ブログ

等々が含まれています。

まずはGemsのカスタム指示ですが、次図のようにシンプルな指示をしてから、下の鉛筆マーク｢Geminiを使用して指示を書き換える｣をクリックします。

こうすると自動的に指示内容を見直してくれます。

今回はなぜかよくわからない外国語が混じってしまいましたので、その部分だけ日本語に直して保存すれば準備は完了です。

一方、Notebook LMは先ほどのURLをソースとしてアップロードするだけで準備は完了です。

では、いくつか質問してみましょう。

質問1：提供しているメニューを教えて

Gemsが提示した回答がこちら。

一方、Notebook LMが提示した回答がこちら。

｢提供サービス｣という形でグローバルメニュー内にまとめていることもあり、どちらも回答内容として問題ありません。

Gemsの方が読みやすいですが、その一方でNotebook LMは番号部分をクリックすれば、サイトのどこを参照して回答しているか確認できます。

質問2：対応している地域は？

Gemsの回答はこちら。

Notebook LMの回答はこちらです。

うーん、サイト内に営業エリアとして次の記載をしているのですが、どちらも参照してくれていないようです。

京都府(京都市・宇治市・向日市・長岡京市・城陽市・南丹市等)・滋賀県・奈良県・大阪府
※上記以外のエリアでもオンライン等含めて対応しますのでご相談ください

まあGemsは｢わからないことはわからない｣と素直に回答してくれている点は好感が持てます。

Notebook LMも間違ったことはいってないので、まあイイかなと。

質問3：連絡方法は？

Gemsの回答

Notebook LMの回答

えっ、Gems君ちょっと待って。MessangerとかSlackとかSkype･ハングアウトへの対応なんてどこにも書いてないんですが。

まあ、相談受ければ対応しないことはないですが、Notebook LMがサイト内の情報に基づいているのに対して、Gemsは勝手に情報を付加しているようです。

こういうときに、情報の参照元がわからないのは歯がゆいですね。

質問4：掲載されているブログ記事の主な内容は？

Gemsの回答

Notebook LMの回答

うーん、Gems君の回答は間違っていない部分もあるのですが

補助金･助成金(略)など、中小企業の経営に役立つ内容が掲載･･･

とあるものの、ブログで補助金や助成金の話は取り上げたことないはず。

また｢事務所からのお知らせ｣もブログとして括られていますし、そもそもそこに休業のお知らせなんて書いたことありません。

さらに｢日々のニュース(略)など様々なテーマについて書かれた記事｣という部分、ブログの書き出しにニュースを取り上げることはあったものの、回答としては誤解を与えそうです。

Gemsの方は、サイト以外の情報を書き足しているように見えますね。

質問5：事務所の特長は？

Gemsの回答

Notebook LMの回答

えっ、Gems君待って。税理士業界に入ってまだ20年経ってないんですが、なんで｢20年以上の実績を持ち｣って書いているの？

他にも、｢コストパフォーマンスがよくて、リーズナブルな価格でサービス提供｣してたつもりもないんですが？？

事務所サイトの内容はすべて自分で書いているので

  • コストパフォーマンス
  • リーズナブル

という言葉は、まず使うことはありません。

そのため、回答内容にものすごく違和感を感じます。

それに対して、Notebook LMはサイトの情報に基づいて、淡々と回答している印象があり、特に違和感は感じません。

質問6：どのような人に向いている税理士事務所ですか？

Gemsの回答

Notebook LMの回答

Gemsにツッコむの疲れてきました。

｢コストを抑えたい方：高品質なサービスをリーズナブルな価格で提供しており、コストパフォーマンスを重視する方にもおすすめです｣

って、現状ムチャクチャ高い顧問料払っている方を除けば、該当しないでしょうね。

それとも私が気付いてないだけで、うちの事務所ってもしかしてコスパがとてもよいのでしょうか？

広告

特長を理解して上手に活用する

今回、自分の事務所サイトをソースとして、6つの質問に対する回答内容を比較してみました。

参照元のソースはひとつだけですが、Gemsの方はソースから少し外れた回答をするケースがあるという印象を受けます。

一般的にいわれているように、ソースから外れた回答を得たくない場合はNotebook LMを使った方がよさそうです。

とはいえ、Gemsが使えないということではありません。

数多くのツールがあって、どれを使うべきか悩むケースも多いですが、きちんと特長を理解した上で使う必要があるということでしょう。

せっかくこれだけ便利なツールが提供されているわけですから、上手に活用したいものです。

投稿者

加藤 博己
加藤 博己加藤博己税理士事務所 所長
大学卒業後、大手上場企業に入社し約19年間経理業務および経営管理業務を幅広く担当。
31歳のとき英国子会社に出向。その後チェコ・日本国内での勤務を経て、38歳のときスロバキア子会社に取締役として出向。30代のうち7年間を欧州で勤務。

40歳のときに会社を退職。その後3年で税理士資格を取得。

中小企業の経営者と数多く接する中で、業務効率化の支援だけではなく、経営者を総合的にサポートするコンサルティング能力の必要性を痛感し、「コンサル型税理士」(経営支援責任者)のスキルを習得。

現在はこのスキルを活かして、売上アップ支援から個人的な悩みの相談まで、幅広く経営者のお困りごとの解決に尽力中。

さらに、商工会議所での講師やWeb媒体を中心とした執筆活動など、税理士業務以外でも幅広く活動を行っている。
広告