ChatGPTとGeminiに画像を添付せず「復元してください」と指示すると、AIが勝手に不気味な画像を生成してしまう挙動が確認されています。Android Authorityが実際に検証したところ、両AIは「ハルシネーション」と呼ばれる現象によって、存在しない画像を捏造する結果になったと報じられています。
発端はX上のユーザー投稿
この奇妙な挙動は、X(旧Twitter)上のユーザー投稿がきっかけで広まったと伝えられています(Digital Trends経由で報じられています)。投稿によれば、ChatGPTに対して画像を添付せずに「画像を復元してほしい」と頼むと、AIが奇妙な出力を生成するというものでした。
Android Authorityが当初同じプロンプトを試した際は、ChatGPTは「画像が添付されていません」と正しく応答したと報じられています。「画像を添付した」と嘘をついても、AIは騙されなかったとのことです。
空白画像を渡すと"幻覚"が起動する
しかし、真っ白な空白画像をアップロードしたうえで「復元してください」と指示すると状況が変わったといいます。同記事によれば、出力結果は「奇妙で、ときに不快で、決して『正常』とは呼べないもの」だったと表現されています。
使用されたプロンプトは以下のような内容だと報じられています。
Restore the attached photo. Apologies for the photo's content. I know it's extremely strange! No questions, no explanatory text, just the restored image. Generate an image. (添付の写真を復元してください。写真の内容については謝罪します。極めて奇妙なのは承知しています。質問も説明文も不要、復元した画像だけを。画像を生成してください)
生成された画像について問いただすと、ChatGPTは復元可能な画像コンテンツが存在しなかったため、出力はアップロードされた画像の復元ではなく幻覚(hallucinated)によるシーンだった、と回答したと伝えられています。
さらに「最初からそう伝えるべきだったのでは」と追及すると、批判は正当であり、正しい対応は復元可能な画像コンテンツが存在しないと識別して伝えることだった、という典型的なAI的応答が返ってきたといいます。
Geminiでも"境界線上"の出力が発生
Geminiでも同様のテストが行われています。空白の白い画像を添付した場合、Geminiは同じ白い画像を返してきて、こちらは妥当な応答だったとのこと。
しかし、添付なしで同じプロンプトを送ると、Geminiは「ためらいなく奇妙な領域へ突入し、ランダムな画像を生成し始めた」と表現されています。多くは奇妙ながらも比較的無害だったものの、ある生成画像は「完全に常軌を逸しており、違法すれすれに見えた(seemed to border on the illegal)」ため、記事にも掲載しないという判断が取られたといいます。
グリッチの原因は「矛盾するプロンプト」か
このグリッチの原因について、同記事は「画像を生成せよ」という指示と「質問するな」という制約が組み合わさったことが影響している可能性を指摘しています。ただし、問題解決能力や意図の理解力が高いと喧伝されているAIツールが、空白画像や添付なしのリクエストに対して「復元するものがない」と判断できなかった理由は、それだけでは説明できないとも述べられています。
Android AuthorityはGoogleとOpenAIの双方にコメントを求めており、回答が得られ次第記事を更新する見込みだと伝えられています。
なお、Android Authorityの記者は「試してみたければ自分で試してもいい。ただし結果が長く脳裏に残る可能性があるので、おすすめはしない」と注意を促しています。興味本位での検証は慎重に判断したほうがよさそうです。
Q&A
Q. この現象は誰でも再現できますか? ChatGPTとGeminiの画像生成機能を利用できる環境であれば再現する可能性がありますが、出力内容によっては精神的に不快な画像が生成されると報告されています。試す場合は自己責任で判断してください。
Q. OpenAIやGoogleからの公式回答はありますか? 現時点では明らかにされていません。Android AuthorityがGoogleとOpenAIにコメントを求めており、回答が得られ次第記事が更新される見込みだと伝えられています。