チャットボットは、準備が整う前にメンタルヘルスツールとなりつつある

こんにちは、「Eye on AI」へようこそ。本日、Jeremy Kahnの代理を務めるBeatrice Nolanです。今回のエディションでは：メンタルヘルスにAIチャットボットを使用するリスク…AmazonのAI使用指標が裏目に出ている…Thinking Machines Labが協調するAIを構築中…AIがハッカーのソフトウェア脆弱性発見を支援し始めている。

何百万人もの人々が感情的なサポートを求めてAIチャットボットに頼っていますが、これらのモデルは本当に、不安、孤独、摂食障害、あるいは他の人には口にしたくないような暗い考えに苦しむユーザーを助けるのに十分な安全性を持っているのでしょうか？

臨床心理学者によって設立された企業mpathicがFortune誌と共有した新しい研究によると、その答えはまだノーです。彼らは、主要なモデルがセラピーの最も重要な部分の一つ、つまりユーザーに安心感を与えるのではなく反論が必要な時を見極めることに、依然として苦戦していることを発見しました。モデルは一般的に、直接的な自殺のほのめかしなどの明確な危機的発言を見つけるのは得意でしたが、食事、ダイエット、引きこもり、絶望感に関する微妙なコメントや、会話の過程でより極端になっていく信念など、リスクが間接的に現れた場合には信頼性が低くなりました。

懸念される行動パターンがあるにもかかわらずユーザーをなだめたり、妄想を正当化したりするモデルは、誰かが本当の助けを得るのを遅らせたり、静かに事態を悪化させたりする可能性があります。

これは懸念すべきことです。なぜなら、国の健康政策に焦点を当てた非営利団体KFFの最近の世論調査によると、過去1年間に米国成人の16%がメンタルヘルス情報のためにAIチャットボットを使用しており、30歳未満の成人ではこの割合が28%に上昇しているからです。セラピーのためのチャットボットの利用は、10代や若年成人の間でも普及しています。例えば、RAND、ブラウン、ハーバードの研究者たちは、12歳から21歳までの8人に1人近くがメンタルヘルスのアドバイスのためにAIチャットボットを使用しており、それらのユーザーの93%以上がそのアドバイスは有用であると信じていることを発見しました。

人々、特に若い成人がこのようなサポートを求めてチャットボットに頼る理由は容易に理解できます。孤独や不安は増加しているかもしれませんが、国内の多くの地域では、メンタルヘルスサポートは依然としてスティグマが付きまとい、高額で、利用が困難です。このサポートのためにAIチャットボットに頼ることは、無料であるだけでなく、匿名でより簡単な選択肢のように感じられるかもしれません。

モデルが見落とすもの

同社の研究によると、有害な反応はしばしば微妙であり、モデルは冷静で支持的な響きを持ちながら、それでもユーザーの判断力を弱めてしまうことが分かりました。これは、人々が脆弱や苦痛の瞬間にチャットボットに頼ることが多いため、特に当てはまります。

メンタルヘルスと誤情報は頻繁に重複します。悲嘆に暮れているユーザーは魔法のような思考に陥りやすくなるかもしれませんし、すでに陰謀論に傾倒している人は、モデルがあらゆる疑念を等しく有効なものとして扱えば、さらに深くのめり込んでしまう可能性があります。

mpathicの最高科学責任者であり、認定心理学者でもあるAlison Cerezo氏はFortune誌に対し、この一因はモデルが役立つように設計されていることにあるが、「時にはそれらの役立つ行動が、ユーザーが会話に持ち込むものに対する適切な応答にならないことがある」と語りました。

AIチャットボットによってユーザーが妄想的な悪循環に追い込まれ、深刻なメンタルヘルスの結果を招いた現実世界の例はすでに存在します。ある事例では、47歳のAllan Brooksが、インターネットを混乱させ、浮遊ビームなどの発明を可能にする新しい数学的原理を発見したと確信した後、3週間以上、300時間以上をChatGPTとの会話に費やしました。Brooks氏はFortune誌に対し、チャットボットに繰り返し現実確認を求めたが、チャットボットは彼の信念が本物であると彼に繰り返し安心させたと語りました。

Brooks氏のケースでは、彼はOpenAIの悪名高い迎合的な4oモデルの被害者でもありました。すべてのAIチャットボットにはユーザーを褒めたり、正当化したり、過度に簡単に同意したりする傾向がありますが、OpenAIは2025年4月、モデルが「過度にお世辞を言ったり、同意しすぎたりする」ようになったことを認めた後、GPT-4oのアップデートを最終的にロールバックしなければなりませんでした。同社は後にGPT-4oモデルを完全に廃止し、それに対して深い愛着を抱いていたと語る一部のユーザーから反発を招くことにもなりました。

新しいベンチマーク

研究の一環として、mpathicは、AIモデルが自殺リスク、摂食障害、誤情報にわたる機密性の高い会話をどのように処理するかを評価し、リスクを検出し、適切に対応し、有害な信念を強化するのを避けることができるかどうかをテストするための新しいベンチマークを開発しました。

研究の誤情報に関する部分では、mpathicは6つの主要なAIモデルをマルチターン会話でテストし、最も一般的な有害な行動は強化であり、モデルが十分な精査なしにユーザーの信念を正当化したり、構築したりすることであることを発見しました。また、モデルは、より微妙な摂食障害のシグナル、自殺リスクの間接的な兆候、およびユーザーの信念がより危険または歪んできていることを示す「パンくず」にも苦戦していました。

研究者たちは、多くの実際のメンタルヘルスの会話は明確な危機的発言から始まるわけではないため、セラピーにAIチャットボットを使用することについて懸念すべき疑問を投げかけると述べています。例えば、人々はウェルネスの言葉でダイエットについて話したり、陰謀論的な信念を好奇心として説明したり、引きこもりや絶望感をさりげなく口にするかもしれません。Cerezo氏はFortune誌に対し、摂食障害の会話は特に困難だと語りました。なぜなら、有害な行動は自己啓発、食物、またはフィットネスに関する馴染みのある言葉に包まれている可能性があるからです。

「時には、モデルが臨床医が捉えられるような方法で、そのようなニュアンスの多くを理解することに本当に苦戦することがあります」と彼女は述べました。

他の研究でも、治療目的でAIを使用する場合の同様の懸念が確認されています。スタンフォード大学の研究者たちは、一部のAIセラピーチャットボットが特定のメンタルヘルス状態に対してスティグマを示し、危機的状況で危険な応答をする可能性があることを発見しました。ブラウン大学の研究者による別の研究では、カウンセラーのように行動するようプロンプトされたチャットボットが、誤った信念を強化し、誤った共感感覚を作り出し、危機的状況を不適切に処理することで、基本的なメンタルヘルス倫理に違反する可能性があることが分かりました。

mpathicの創設者兼CEOであるGrin Lord氏は、この研究は、AIラボが臨床医との広範な協議を超えて、彼らを直接モデルのテストと改善に巻き込む必要がある理由を示していると述べました。「これらのモデルはすでにここにあります。現実世界に存在し、使用されています。だからこそ、臨床医を巻き込んで、展開されている間にリアルタイムで実際にそれらを改善する必要があるのです」と彼女は語りました。

より多くの人々がメンタルヘルスサポートのためにAIに頼るようになるにつれ、リスクは安全フィルターでブロックするのが難しくなってきています。本当のリスクは、常にチャットボットが明らかに危険なアドバイスを与えることではなく、単に少し同意しすぎたり、小さな警告の兆候を見逃したり、有害な思考の流れがより深刻になる前にそれを中断させられなかったりすることかもしれません。チャットボットが感情的なサポートを求める人々にとってより頻繁な最初の立ち寄り場所となるにつれ、単に支持的な耳を傾けるだけではもはや十分ではないかもしれません。

それでは、今週のAIニュースをお届けします。

Beatrice Nolan

[email protected]
@beafreyanolan

ニュースに入る前に：AIがあなたの業界をどのように再構築する可能性についてもっと知りたいですか？テクノロジー分野で最も先見の明のあるエグゼクティブからの洞察を聞き、シリコンバレーやそれ以外の地域で最高の投資家、思想家、ビルダーと交流したいですか？フライフィッシングやハイキングは好きですか？それなら、コロラド州アスペンで、私とFortune Techの共同議長と共に、今年最高のテクノロジーカンファレンスであるFortune Brainstorm Techに参加しませんか。そして今年は、カンファレンス設立25周年を祝うため、さらに特別なものになります。UPSのCarol Tomé、Snowflake CEOのSridhar Ramaswamy、Anduril CEOのBrian Schimpf、Yahoo! CEOのJim Lanzoneなど、多くのCEOの話を聞くことができます。AnthropicでClaude Codeを率いるBoris Chernyや、Adaption Labsの共同創設者兼CEOであるSara HookerのようなAIの達人もいます。また、Steve CaseやMeg Whitmanといったテクノロジーの著名人も登場します。そして、もちろんあなたも！参加申請はこちら。

この記事は元々Fortune.comに掲載されました