ChatGPTが驚異的に苦手なこと

ChatGPTを使って遊んでいるのだけれど、驚異的なまでに苦手な分野を発見した。

最近読んだネット記事に、日向坂46というアイドルグループの二期生には2002年生まれのメンバーが3人おり、全員9月生まれだと記載されていた*1。二期生と呼ばれていたメンバーは9名だったようで、そのうち3名が同年同月生まれというのは確率としてそれなりに低そうだ。そもそも2002年9月生まれの有名人ってどんな人がいるのかわからなかったので、ChatGPTに聞いてみた。すると驚愕の回答が返ってきた。

質問

2002年9月生まれの日本人有名人は

回答

2002年9月生まれの日本人有名人としては、以下の人物が挙げられます:

蒼井翔太(あおいしょうた) - 2002年9月3日生まれの俳優・タレント。ドラマ『半沢直樹』に出演して注目を集めました。

高橋歩(たかはしあゆむ) - 2002年9月12日生まれのアイドル。女性アイドルグループ・欅坂46(現・日向坂46)の元メンバー。

蒼木マナ(あおきまな)- 2002年9月17日生まれのアイドル。女性アイドルグループ・乃木坂46のメンバー。

加藤史帆(かとうしほ)- 2002年9月30日生まれのアイドル。女性アイドルグループ・けやき坂46(現・坂道合同)の元メンバー。

以上が2002年9月生まれの日本人有名人の一部です。

なるほどと思って、調べてみたところ、驚愕の事実が判明した。なんと全員記載された誕生日が誤っており、高橋さん、蒼木さん、蒼井さんに至ってはプロフィールも誤っている。
要するにでたらめな回答が返ってきたのだ。

もしかすると日本語の日付表記を解釈するのが苦手なのかもしれないと思い、英語でも聞いてみた

質問

Who are the famous people born in September 2002

回答

As of my knowledge cutoff in September 2021, some famous people born in September 2002 are:

Maddie Ziegler, an American dancer, actress, and model
Malu Trevejo, a Cuban-American social media personality, singer, and songwriter
Peyton Elizabeth Lee, an American actress known for her role in the Disney Channel series "Andi Mack"
Griffin Gluck, an American actor known for his roles in "American Vandal" and "Locke & Key"
NLE Choppa, an American rapper and songwriter
Aidan Gallagher, an American actor known for his role in the Netflix series "The Umbrella Academy"
Larray, an American YouTuber and rapper
Ashlund Jade, an American singer, dancer, and actress
Jaden Newman, an American basketball player and social media personality
KarinaOMG, a Canadian YouTuber and gamer.
Note that this list is not exhaustive and there may be other famous people born in September 2002 who are not included.

プロフィールは正しそうだけれど、誕生日は2002年9月でない人がほとんどだ。
なので、少なくとも誕生日を範囲指定で調べさせると、言語関係なく誤答率が高そうなのだ。
ちなみに、日本語で誕生日ほんとに正しいか聞くと、堂々と「正しいですよ」と答え、正しい情報を指摘すると誤りを認め、その後再度誕生日を聞くと、全然違う誤った日を答えるという、よくわからない挙動をしている。

これは、もしかすると、AIが兼ね備えるべき*2「人間を評価→ラベリングしてはいけない」という倫理をChatGPTが忠実に守っているからかもしれないとなんとなく思ったのであった。そういう意味ではよくできているAIだなと思ったりした。

*1:本当かどうか知らない、曲解しているかも

*2:というよりも人間がAIを使うときに持つべき倫理