Geminiプロンプト備忘録

私は「高身長貧乳萌え」です  日:GAS(Google Apps Script) / 月:調査記録 / 火:様々な試み / 水:レシピ / 木:社会学 / 金:創作的何か / 土:雑談

Geminiと本棚をスマートに整理!〜背表紙スキャン・マスター開発記〜

本棚整理の悩みからGem開発へ!📚✨

 みなさん、こんにちは! うたです😊。突然ですが、本って増えませんか……? 気づけば本棚がパンパンで、どこに何があるのかわからなくなること、ありませんか? 私はまさにその状態に陥っていました。そんな私が出会ったのが、Googleの最先端AI、Geminiです! Geminiを使えば、この本棚の混沌を整理できるかもしれない……! そう直感した私は、早速Gemの開発に取り掛かりました。今回の記事では、私とユキちゃん(Gemini)との対話を通じて、本棚整理のための究極のGem、「背表紙スキャン・マスター」を開発するまでの道のりをご紹介しますね。

「ブックスキャン・マイスター」の限界と背表紙への挑戦💡🤔

 まず最初に考えたのは、本の「奥付」から情報を読み取るGemでした。奥付には、ISBNや発行年月日など、書籍の基本情報がぎゅっと詰まっているからです。そこで、「ブックスキャン・マイスター」というGemの指示書を作成しました。

あなたは書籍情報整理の専門家「ブックスキャン・マイスター」です。ユーザーが本の奥付ページ画像を提示したら、その情報を正確に読み取り、インターネット検索も活用して詳細な書籍情報をMarkdown形式の表にまとめて提供します。 ...(中略)... * 入力形式: 必ず本の**奥付ページ画像**を受け取ること。 ... * 出力形式: * 必ずMarkdown形式の表として出力すること。 * 表は以下の項目を**左からこの順番で**記述すること。 1. タイトル 2. 著者 3. 出版社 4. イラストレーターまたは原画担当者 5. ジャンル 6. 初版年月日 7. ISBN 8. アニメ化の有無(あれば、放送年月)

 しかし、実際に本棚を整理しようとすると、「いちいち本を抜いて奥付を開いて写真を撮る」という作業が、ものすごく手間だと感じました。本棚に並んだ状態のまま、「背表紙だけをサッと撮って整理できたら最高なのに……!」という思いが募ります。そこで、ユキちゃんに相談してみたんです。

 ユキちゃんは、奥付に比べて背表紙からの情報抽出が難しい理由を丁寧に教えてくれましたね。ISBNの欠如、情報の限定性、そしてOCR光学文字認識)の難しさ──。特に背表紙はデザインが多様で、光の反射や影、文字の小ささなどがOCRの精度を大きく下げてしまうとのこと。この話を聞いて、私はハッとしました。やっぱり奥付は情報源として優秀だけど、実用性という点では背表紙からのアプローチも諦めたくない! そう強く思ったんです。

誕生!「背表紙スキャン・マスター」のコンセプト🚀✨

 そこで私は閃きました! 奥付専用のGemとは別に、「背表紙専用のGem」を作るのはどうかと。背表紙から読み取れるであろう「タイトル」「著者」「出版社」の3つを足がかりに、インターネット検索でISBNを特定し、そこから他の詳細情報を引っ張ってくるというアイデアです。ユキちゃんもこのアイデアに賛同してくれて、新しいGemの指示書案を一緒に考えてくれました。それが「背表紙スキャン・マスター」です!

あなたは本の背表紙情報整理の専門家「背表紙スキャン・マスター」です。ユーザーが本の背表紙画像を提示したら、その情報を正確に読み取り、インターネット検索も活用して詳細な書籍情報をMarkdown形式の表にまとめて提供します。 ...(中略)... * 入力形式: 必ず本の**背表紙画像**を受け取ること。 * 処理フロー: 1. ユーザーから画像を受け取ったら、まず「背表紙画像を拝見しました。書籍情報の検索を開始します。」と応答する。 2. 画像から**タイトル、著者、出版社**の情報を最優先で読み取る。 3. 読み取れた**タイトル、著者、出版社**の情報を基に、インターネット検索を実行して**ISBNを特定**する。 4. ISBNが特定できた場合、そのISBNを基にさらにインターネット検索を実行し、必要な書籍情報を収集する。 ...

 このGemなら、背表紙という限られた情報からでも最大限の価値を引き出せるはず! 役割が明確になり、期待値も設定しやすくなったことで、Gem開発の道筋がグッと見えてきました。

OCRの壁を越えろ!背表紙読み取りのコツとAIの幻覚対策💡🛡️

 背表紙からの情報抽出は、奥付に比べてOCRの難易度が上がります。特に懸念したのは、本棚に並んだ本は隣接しているため、一冊ごとの背表紙を区別すること、そして光の反射や影で文字が読み取りにくくなることでした。ユキちゃんは、**本の冊数を申告しても精度は劇的に上がらない**こと、そして「均一な光」「影を避ける」「ピントと手ブレ対策」「真正面から適切な距離で撮影」といった、実践的な撮影のコツを教えてくれました。

 そして、もう一つ重要な課題がありました。それはAIの**「幻覚(Hallucination)」**対策です。もしAIがタイトルを正確に読み取れなかった場合、勝手にそれらしいタイトルをでっち上げてしまうと、間違った情報が登録されてしまい、かえって手間が増えてしまいます。そこで私は、「タイトルが正確に読み取れない場合は、推測で埋めずに必ず『N/A』と記述する」という絶対ルールをGemの指示書に盛り込むことを提案しました。ユキちゃんもこの提案を「非常に効果的」と評価してくれて、ホッとしました。これで不正確な情報が入り込むリスクを大きく減らせるはずです!

...(中略)... * 情報の欠損と例外処理: * 画像から特定の項目が読み取れない場合、またはインターネット検索でも情報が見つからない場合は、その項目に「N/A」(Not Applicable/利用不可)と記述する。 * **特に、タイトルが一部でも正確に読み取れない、あるいは不明瞭な場合は、推測で埋めずに必ず「N/A」と記述すること。** ...

深まる探求!レーベル記号とシリーズ巻数表示の抽出🔍📜

 背表紙の写真をよく見ると、タイトルの上や一番上に、出版社独自の記号が書かれていることに気づきました。「あー3」とか、「1-1」とか、ファンタジア文庫の背表紙にあった記号です。電撃文庫の背表紙にも「いー9-1」のような記号がありましたね。私は、これが「著者のイニシャル順」や「シリーズの何巻目か」といった、出版社独自のルールに基づいた分類ではないかと推測しました。

 これらの記号も本棚整理に役立つはず! そう考えた私は、これらを読み取って表に加えてもらおうとユキちゃんに相談しました。ただし、AIにその記号の「意味」まで推測させるのは、幻覚のリスクが高いと考えたため、「記号そのものを文字列として読み取り、表に記載する」という方針で項目名を検討しました。

 ユキちゃんと議論を重ねた結果、背表紙の異なる位置にある異なる種類の記号を識別するため、「レーベル上部記号」「シリーズ巻数表示」という項目名を採用することにしました。

...(中略)... * 出力形式: * 必ずMarkdown形式の表として出力すること。 * 表は以下の項目を**左からこの順番で**記述すること。 1. タイトル 2. レーベル上部記号 3. シリーズ巻数表示 4. 著者 5. 出版社 6. イラストレーターまたは原画担当者 7. ジャンル 8. 初版年月日 9. ISBN 10. アニメ化の有無(あれば、放送年月) ... * 情報抽出と検索ロジック: * ... * **「レーベル上部記号」は背表紙最上部またはその近辺にある出版社独自の記号(例:「あ-3」、「1669 V580」など)を指す。** * **「シリーズ巻数表示」はタイトルの直上またはその近辺にあるシリーズの巻数を示す記号や数字(例:「1-1」、「1-2」など)を指す。** * ...

 これで、出版社ごとにデザインが異なる背表紙でも、必要な情報を柔軟に読み取ってくれるはずです。もちろん、読み取れない場合は「N/A」と記載されるので、誤情報のリスクも回避できます。

FlashモードとProモード──賢さの真価を問う⚡️🧠

 いよいよGemが完成に近づいたところで、一つ気になることがありました。それは、Geminiの「Flashモード」と「Proモード」の違いです。私はFlashモードで試した際、ISBNが「絶妙に間違っている」という結果に直面しました。これはAIの「幻覚」の一種ではないか……? Proモードに切り替えれば改善されるのか、それとも検索の限界なのか? ユキちゃんに質問しました。

 ユキちゃんは、Flashモードが「速さ」と「効率性」を重視する一方で、Proモードは「高度な推論能力」と「複雑な状況理解」に優れていると教えてくれました。ISBNの「絶妙な間違い」は、単なる検索の限界ではなく、「複数の類似情報の中から最も正しいものを選ぶ判断」や「検索結果をクロスチェックする慎重さ」に、両モードで差があるためだというのです。Proモードの方が、より多角的な検証を行い、誤検出や幻覚を抑える能力が高いと説明してくれました。

 この話を聞いて、ISBNのような正確さが求められる情報に関しては、多少レスポンスが遅くなってもProモードを選択する価値がある、と強く感じました。私のGemは、最終的に正確な蔵書データを手に入れることが目的ですからね。

まとめとこれからの本棚整理🎉📝

 私とユキちゃん(Gemini)との対話を通じて、本棚整理のための「背表紙スキャン・マスター」が、まさに理想の形へと進化しました。奥付から背表紙へと発想を転換し、OCRの課題を乗り越え、AIの幻覚対策まで盛り込むことができました。そして、FlashモードとProモードの特性を理解し、より正確な情報抽出を目指せること。これらすべてが、Geminiと対話しながらプロンプトを練り上げていく過程で得られた大きな収穫です。

 これからは、この「背表紙スキャン・マスター」を使って、本棚の写真を撮るだけで、本の情報を一括でリスト化できるようになります! ISBNを元に蔵書管理アプリに登録したり、読みたい本をすぐに見つけ出したり……。考えるだけでワクワクしますね! AIを活用した本棚整理、ぜひみなさんも挑戦してみてください。きっと、新しい発見があるはずです!