本文へ移動

研究Note

断片から、誤った全体ができるとき

一つひとつは正しい事実を集めても、全体の像が間違うことがあります。誤りは断片ではなく、断片のつなぎ方にあります。試験の数字と本の売上を例に、その道筋を二つに分けて考えます。

  • 知識
  • エージェント

ある試験について、次の数字があったとします。

  • 合格した人の 8 割は、予備校 A の生徒だった。

読むと、A に通えば受かりやすいように見えます。けれども、この数字だけでは、そうとは言えません。

数字が数えているもの

8 割は、合格した人を分母にした数字です。合格した人の中に、A の生徒がどれだけいたかを表します。A の生徒が受かりやすいかを比べるには、向きが逆の数字、つまり A の生徒のうち何割が受かったか(合格率)が要ります。統計では、条件付き確率の向きを取り違える誤りとして知られています。

たとえば、受けた人が 1,000 人で、そのうち 900 人が A の生徒だったとします。合格した 200 人のうち、160 人が A の生徒でした。合格した人の 8 割は、たしかに A の生徒です。けれども、A の生徒の合格率は 160 ÷ 900 で約 18%、A 以外の人は 40 ÷ 100 で 40% です。この受験者の中では、A の生徒の方が、合格率が低かったことになります。

それでも、A に通うことの効果までは分かりません。通い始める前の学力や、試験を受けた理由が、二つの集団で違っていたかもしれないからです。合格率を比べても、その違いという条件は抜けたままです。

数字が正しくても、何を分母にした数字か、どんな条件の下の数字かを取り違えると、誤った全体像ができます。正しい数字だけでは足りません。それぞれの数字が、誰を分母にし、いつ、どんな条件の下で数えたものかを確かめ、数字どうしの関係を一つにつなぐモデルが要ります。

誤った全体ができる二つの道

この例を広げると、正しい断片から誤った全体ができる道が、少なくとも二つあります。二つは、別々にも、重なっても起こります。

断片どうしの関係が抜ける。 事実がばらばらにあり、それぞれがどんな条件の下で成り立つかをつなぐモデルがない場合です。上の試験の例では、合格した人に占める割合と、生徒の合格率を区別せず、二つの集団の違いも見ないことで、数字と条件の関係が抜けています。

表に見えるものを、仕組みと取り違える。 観察できる結果や数字を、それを生んだ仕組みの説明として扱ってしまう場合です。たとえば、ある本がよく売れたとします。売上は、その本が多く買われたという結果です。その結果を生んだのは、中身だけではありません。時期、値段、宣伝、運も効いています。中身が読む人を引きつけたとしても、それは考え方が正しいこととは別です。売れたことを「書かれている考え方が正しい」証拠として読むと、結果の数字を、それを生んだ仕組みと取り違えます。考え方が正しいかどうかは、売上とは別に確かめる必要があります。

現実に照らして直す道

二つが重なると、問題はさらに大きくなります。限られた断片から作った像を、現実の全体の説明として扱い、その像に合う断片だけを足していくと、中では筋が通って見えても、現実とのずれが残ったり、広がったりします。

ずれを見つけるには、その説明が正しければ何が起きるはずかを考え、観察や比較で確かめ、合わない結果が出たら説明を見直す必要があります。合わない結果を見直しにつなげなければ、説明は中だけで完結し、もう現実によって直されなくなります。

これは、科学や専門の知識、大きなモデルを退ける考えではありません。どんなモデルも、現実との行き来を失えば、この失敗に陥りえます。この note の考えも、例外ではありません。

AI の答えを読むとき

大規模言語モデルは、断片から滑らかな文章を作るのが得意です。けれども、文章が滑らかなことと、断片どうしの関係が本当に成り立っていることは別です。AI の答えを読むときにも、上の二つの取り違えは起こりえます。

たとえば、人と人が互いに相手の状態を読み、合わせていく関係は、どのように始まるのか。AI にこう尋ねて、因果、観測、フィードバックといった周りの分野の言葉を並べた答えが返ってきたとします。読むと説明のように見えます。けれども、言葉を並べただけでは、何がきっかけになり、どちらがどう変わり、相手がどう応じたのかは説明されていません。それらの言葉が説明になるのは、その中身が具体的に書かれたときです。

名前と説明

起きていることに名前を付けること、関係する分野を挙げること、どう起きるかを説明すること。この三つは別のことです。

名前や分類、仮の枠組みやモデルは、問いを扱いやすくし、次の比べ方を可能にする道具になります。けれども、役に立つことと、現象を正しく説明できることは別です。名前を付けても、まだ分かっていない仕組みが分かったことにはなりません。最後の答えとして固定せず、理解や観察が進むたびに組み替えるものです。

どうするか

  • 数字を使うときは、出典と調べた日に加えて、何を分母にし、いつの時点で、どんな条件の下で数えたものかを確かめ、書き残す。
  • 二つの集団を比べるときは、比べる前から違っていた点がないかを確かめる。
  • 確かめた事実、そこから考えた説明、まだ確かめていない仮説を、分けて書く。
  • 自分の説明に合わない例や、別の説明がないかも探す。

未解決の問い

  • 断片の正しさに加えて、断片のつなぎ方が正しいかを、どう確かめるか。
  • 観察した結果と、それを生んだ仕組みの取り違えに、書いた本人が気づく方法はあるか。
  • 説明のどこが確かめられた関係で、どこが仮説や言い換えなのかを、読む人が見分けるには何が要るか。
  • 名前や枠組みが、現象の整理を超えて、新しい観察を可能にするのはどんなときか。

更新の履歴

  1. v0.12026年10月7日最初の版。

この文書の URL は変わりません。版を添えて引用してください。

研究の一覧へ