較正監査(ECE)
ログ200件 → 確信ビン5分割 → ビンごとの正答率と確信の差 → ECE・MCE → 信頼性図を描画。
判定:ECE < 0.05 で合格。0.05–0.10 は較正訓練を検討。0.10超は確信表示の停止と原因調査。特集R9の計算機がそのまま手順書になる。
特集 ― 機械はなぜ「はい」と言うのか。確信の正体を、十五章と十二の特集で解剖する。
FEATURE 01THE ANATOMY OF MACHINE CONVICTIONREADING 110 MIN25 PAPERS / 9 CASES / 18 PRINCIPLES / 10 BOOKS / 6 EXPERIMENTS
How Machines Come to Believe ― probability, attention, calibration, economics, pedagogy, governance, guaranteed prediction, and provenance.
大規模言語モデルには心がない。それでも彼らは、ときに人間より堂々と「そうである」と言い切る。この確信らしきものは、どこから生まれ、どこで裏切られ、どう測られ、いくらで売られ、どう教えられ、どう裁かれ、どう保証され、どこから来たのか。基礎理論から2024年のNature論文、2025年のテスト時計算研究、EU AI法、適合予測、確信の市場とスコアリングルール、謙虚さの教育学、再現可能な実験マニュアル、来歴証明(C2PA/透かし)、人間の過信心理学と推定確率語、そしてあなた自身の較正テスト・較正計算機・確信成熟度モデル診断、確信の書庫まで――確率の紙面を、一枚ずつめくっていく。

序章 PROLOGUE
編集室のマニフェスト ― 確信を、分解する。
大規模言語モデルに、心はない。少なくとも、私たちが知っているような意味での「信念」は存在しない。それでもなお、モデルは「はい、そうです」と答える。その言い切りは、ときに専門家より滑らかで、ときに子どもの言い訳より脆い。この特集は、その言い切りの正体を、十五の層に分解して観察する試みである。
前半の十五章は「原理」を追う。確率、学習、注意、幻覚、躾、計測、経済学、人間の心理学と言語学、ガバナンス、保証付き予測、実験、来歴、そして市場と教育。後半の十二の特集は「証拠」と「道具」を追う。不確実性の二百年史、ランドマーク論文25本、9つの事件、二つの対談、実践パターン10と産業設計例、18の不変原則、確信成熟度モデル、人間較正テスト、較正計算機、確信の書庫10冊、鮮度プロトコル、そして確信についての言葉の壁。
これは技術解説であると同時に、言葉と制度と市場についての考察でもある。なぜなら「確信」とは本来、内側の感覚のはずだった。それを数式だけが支えるとき、私たちは何を信頼し、誰が責任を負い、どの書物を手に取り、どの実験で確かめ、どう教え、いくらで買うべきなのか。紙面をめくるように、スクロールしてほしい。
本文は三層で構成する。コア層=原理と数学(不変)。証拠層=日付付きの論文・事件(固定事実)。フロンティア層=基準日を明示した最新研究。層を混ぜないことが、鮮度を保つ設計である。
主語はモデル名ではなく原理。モデルは更新されるが、確率・較正・注意の数学は更新されない。これが陳腐化しない第一の理由。
ニュースは<time>要素で日付を明示した「過去の事実」として固定し、そこから「 timeless な教訓」だけを抽出する。
参照はarXiv・査読誌・裁判所記録などURLが変わりにくい一次資料に限定。フロンティア層は「2025年1月時点で公開の論文に基づく」と明示する。
目次 INDEX
第一章 CHAPTER 01
Probability as Belief ― 分布の尖りこそが、機械の「そうだ」である。
言語モデルがしていることは、原理的にはただ一つ、次の一語を当てることだ。与えられた文脈に対して、語彙表に載るすべての語にスコア(ロジット)をつけ、それを確率に変換し、一つ選ぶ。あなたが読む流麗な回答は、この「次の一語」の連鎖が、数千回繰り返された結果にすぎない。
では、その連鎖のどこに「確信」があるのか。鍵は確率の形である。たとえば次の一語の候補が「猫」六二%、「虎」二一%、「犬」一〇%……と分布していたとき、モデルの内部では「猫」に向かう強い傾斜が存在する。この傾斜、すなわち分布の尖りこそが、機械における確信の第一近似だ。
ロジットを確率に変えるのがソフトマックス関数だ。指数関数を通すことで、わずかなスコア差が増幅され、分布は尖る。そして温度パラメータが、その尖りを調整する。温度を下げれば分布は先鋭化し、モデルは「断言」に近づく。温度を上げれば分布は平坦になり、モデルは「逡巡」しながら多様な語を選び始める。確信とは、つまるところ温度計の目盛りのようなものなのだ。

ソフトマックスを通る前の、生のスコア。まだ確率ではない「傾向」の層。モデルの性格は、ここに最も素直に現れる。
分布の尖りを決めるダイヤル。T→0 でほぼ決定的、T↑ で多様に。創作は高温、事実は低温、というのが編集室的な使い分け。
確率の高い側から累積pに達するまで候補を絞り、その中から選ぶ方法。確信の「裾野」をどこで切るかという思想。
ソフトマックスSoftmax
pi = exp(zi/T) / Σj exp(zj/T)生のスコア z を確率 p へ。T(温度)が小さいほど差が増幅され、分布は尖る。
エントロピーEntropy
H = − Σ pi log pi分布の「迷い」の総量。Hが小さいほど、確信は強い。第六章の意味エントロピーは、このHを意味空間で測る。
4つの候補のロジット(生のスコア)と温度Tを動かすと、確率分布の形と「AIの確信」がリアルタイムに変化します。温度を下げると、分布が尖り、確信が強まることを体感してください。
「機械の確信は、声の大きさではない。分布の、静かな尖りである。」
CHAPTER 01 / MEMO
第二章 CHAPTER 02
The Descent of Error ― 確信は、数十億回の「違いました」の堆積である。

モデルの確信は、最初からそこにあったわけではない。それは、誤差を降り続けた結果として沈殿したものだ。学習とは、予測と現実のズレ(損失)を測定し、そのズレを小さくする方向へ数千億個の重みを少しずつ動かす作業である。一回の修正は微々たるものだが、それを数兆回の単位で繰り返すと、重みの山には「地形」が生まれる。
興味深いのは、この地形こそが確信の源だということだ。あるパターンについて何度も正しく予測できたモデルは、その方向へ強く傾いた重みを持つ。つまり確信とは、繰り返された一致の記憶である。人間が「経験から来る自信」と呼ぶものと、構造は驚くほど似ている。どちらも、過去の一貫性に対する賭けだからだ。
だが、ここには最初の落とし穴がある。モデルが降りている谷は「世界の真実」の谷ではなく、「訓練データのもっともらしさ」の谷だ。データに偏りがあれば、谷の形も歪む。モデルは歪んだ谷の底で、やはり堂々と確信する。確信の強度と、真実性は、原理的に別物なのである。なお、このズレのうち「データを足せば消える分」を認識論的不確実性、「原理的に消えない分」をアレプリック不確実性と呼ぶ。区別の実践的な意味は第十一章で扱う。
0億PARAMS
重みの数(例)。一つひとつは弱く、全体として地形になる。
0億TOKENS
読まれた語の例。確信は、この海から蒸留される。
0.2%TOP-1*
次の一語が尖る割合(例)。*数値は概念例示。
「学習とは、世界を覚えることではない。誤差との距離の測り方を、体に刻むことだ。」
CHAPTER 02 / MEMO
第三章 CHAPTER 03
The Architecture of Attention ― 確信は、文脈への「目配り」から組み上がる。
「猫はソファの上で眠る。それはとても――」この「それ」が何を指すか、あなたは瞬時にわかる。Transformer以前の機械には、この「瞬時」が難しかった。2017年、Vaswaniらは「注意こそがすべてである」と宣言し、語の列を「関係の網」として読む機構を提示した。この建築の上で、現代のすべての確信は組み上がっている。
注意の重みは、いわばモデルの視線の記録だ。「眠る」という語を予測するとき、モデルは「猫」により強く目を向け、「ソファ」にも軽く目を配る。この目配りの合計が、次の一語の確信を組み立てる。だからモデルの確信は、つねに文脈依存である。同じ語でも、文脈が変われば確信の形も変わる。
そしてもう一つ、重要な性質がある。注意は「見えたもの」に対してのみ働くということだ。文脈窓の外にある事実、訓練データに存在しなかった関係は、注意の網にかからない。モデルは、見えている範囲においては驚くほど的確に確信し、見えていない範囲においては、同じ顔で確信する。外見からは、区別がつかない。

線の太さ=注意の重み(概念例)。スクロールで線が引かれる。
「モデルは、関係しか読まない。だからこそ、関係だけが確信になる。」
CHAPTER 03 / MEMO
第四章 CHAPTER 04
Hallucination & Calibration ― 確信が事実を裏切るとき、何が起きているのか。
存在しない論文を、実在する顔つきで引用する。間違った歴史を、教科書のような口調で語る。これが幻覚(ハルシネーション)と呼ばれる現象だ。重要なのは、幻覚が「バグ」として起きているのではない、という点である。それは「もっともらしい続きを、滑らかに生成する」という本来の目的が、そのまま達成された結果として起きている。
ここで登場するのが較正(キャリブレーション)という概念だ。較正されたモデルとは、「90%の確信」と言ったときに、おおよそ10回中9回正しいモデルを指す。Guoらは2017年に、現代のニューラルネットが「正しさ」よりも「自信」を過大に語る傾向を実証した。言語モデルの訓練目的は「正しく言う」ことではなく「訓練データのように言う」ことだった。だから流暢さと正しさがずれた場所で、確信だけが残り、幻覚が生まれる。
較正のずれはECE(期待較正誤差)として数値化できる。下の図は模式例だ。黒が「語られた確信」、赤が「実際の正答率」。両者が離れているほど、モデルは自分自身を知らない。第五章・第六章で見るように、現代の研究の多くは、この二つの線を近づける試みだと言ってもいい。

語られた確信(黒)と実際の正答率(赤)。差が「過信」の幅。
語られた確信実際の正答率
期待較正誤差ECE
ECE = Σm (|Bm|/n) · |acc(Bm) − conf(Bm)|確信度のビンごとに「正答率−確信」の差を、サンプル数で重みづけ平均する。0に近いほど計器として信頼できる。特集R9の計算機で、自分のデータで測れる。
ブライアスコアBrier Score
BS = (1/n) Σ (pi − oi)²確率予測と実現(0/1)の二乗誤差。ECEが「ずれの平均」なら、BSは「予測全体の精度」。第十四章で見るproper scoring ruleの代表。
「幻覚とは、嘘ではない。誠実な機械が、正直に作り出す嘘である。」
CHAPTER 04 / MEMO
第五章 CHAPTER 05
Training Conviction ― 「わからない」と言える機械へ。
確信は、生まれつきではないなら、躾けることができる。その代表的な手法が、人間のフィードバックによる強化学習(RLHF)だ。Ouyangら(2022)は、人間の比較評価を報酬として使うことで、モデルの出力を「訓練データのもっともらしさ」から「人間の評価軸」へ接続し直せることを示した。
さらに興味深いのは、モデル自身が自分の確信を点検する試みだ。同じ質問を何度もサンプリングして答えの一致率を見る自己整合性、推論の連鎖を書き出して検証する連鎖思考、そして確信度が低いときに「わからない」と答えることを報酬で設計する較正訓練。2024年には、聞き手(リスナー)の解釈を考慮して較正するLACIEや、保持データで確信の言い換えを学習させる手法も現れた。これらはすべて、確信を「出力の一部」ではなく「観測可能な対象」として扱おうとする試みである。
編集室的に言えば、これは「査読」の導入だ。書いたものを、もう一度、別の目で読む。機械の確信は、いまや単独の声ではなく、複数の声の合議として設計されつつある。そしてその合議がうまく機能するとき、モデルは初めて、信頼に値する仕方で「はい」と言う。

“Attention Is All You Need”. 注意機構が主役になり、確信は「関係の合計」として定義され直す。
InstructGPTにより、人間の比較フィードバックが「もっともらしさ」の上に「好ましさ」の層を重ねる。
「Just Ask for Calibration」など、確信を言語として引き出し較正する研究が本格化する。
LACIE(聞き手対応微调)や「Learning to Generate Verbalized Confidences」がNeurIPS 2024に並ぶ。
テスト時計算の時代。考える時間そのものが、確信の較正対象になる(ICML 2025)。
「信頼できるとは、確信が強いことではない。確信の限界を、自ら言えることだ。」
CHAPTER 05 / MEMO
第六章 CHAPTER 06
Cartography of Confidence ― 確信を測る五つの家族と、三つの物差し。
確信は測れなければ、設計できない。2022年から2025年にかけての研究は、モデルの確信を引き出す方法を五つの「家族」に収束させつつある。内部の確率を読む者、言葉で答えさせる者、何度も答えさせて一致を見る者、意味の多様性を数える者、そして脳そのものを読み取る者。この章は、その計量地図である。
物差しもまた重要だ。ECEは「語られた確信」と「実際の正答率」の平均的なずれを、AUROCは「正しいときと間違っているときを確信度で分離できるか」を、Brierスコアは確率予測全体の精度を測る。確信を「音量」から「計器」に変えるとは、これらの物差しで日常的に点検することに他ならない。

トークン確率の平均やパープレキシティなど、内部の確率をそのまま読む。最も安く、最も古典的。
「どの程度確信がありますか?」と問う。Xiongら(2023)、Tianら(2023)が可能性と限界を実証。2024–25年に較正訓練法が続く。
同一質問を複数回サンプリングし、一致率を確信とする。SelfCheckGPT(2023)が黒箱で事実検証に応用。
サンプルを「意味」でクラスタリングし、意味レベルの多様性を計測。Kuhnら(2023)、Farquharら(Nature 2024)、SEPプローブ(2024)、KLE(2024)へ発展。
隠れ状態から「知っているかどうか」を線形プローブで読む。Kadavathら(2022)に始まり、SEPプローブへ収束。
| 家族 | 黒箱APIで可 | 追加コスト | 較正の質 | 代表的研究 |
|---|---|---|---|---|
| A ロジット | △(内部必須) | ◎ 極小 | ○ | Guo 2017 / Kadavath 2022 |
| B 言語化 | ◎ | ◎ 極小 | ○(訓練で◎へ) | Tian 2023 / Xiong 2023 / ConfTuner 2025 |
| C サンプリング | ◎ | △ 数倍 | ○ | Wang 2022 / Manakul 2023 |
| D 意味エントロピー | ○ | △ 数倍 | ◎ | Kuhn 2023 / Farquhar 2024 / KLE 2024 |
| E プローブ | △(内部必須) | ◎ 小 | ◎ | Kadavath 2022 / Kossen 2024 |
「測れない確信は、意見である。測られた確信だけが、計器である。」
CHAPTER 06 / MEMO
第七章 CHAPTER 07
Economics of Confidence ― 答えるか、沈黙か。棄権は設計である。
確信には、価格がある。すべてに答えればカバレッジは100%だが、誤りもすべて納品される。低い確信の問いに沈黙すれば、誤りは減るが、役に立つ機会も減る。このトレードオフを「選択的予測(selective prediction)」と呼び、リスク―カバレッジ曲線で描くのが、確信の経済学である。
重要なのは、この曲線が「確信の質」で決まることだ。較正された確信は、誤りを正確に下位へ並べる。較正されていない確信は、誤りをランダムに混ぜる。つまり棄権の設計は、第六章の計測と一体である。測って、切って、沈黙する。沈黙は失敗ではなく、計器の正常動作である。
そして2025年、この経済学に新しい変数が加わった。テスト時計算(test-time compute)である。考える時間に計算を費やせば正答率は上がるが、コストも上がる。「いくら考えるか」を決める判断自体が、確信を使った経済判断になった。過剰な推論が較正を損なうという報告もあり、考えることの限界もまた、設計対象になりつつある。

120件の合成予測(確信度と正誤、シード固定)に対し、棄権しきい値Tを動かすと、カバレッジと正答率がどう変わるかをリアルタイムに描きます。しきい値を上げるほど「沈黙」が増え、答えた範囲の正答率が上がることを体感してください。
–%
COVERAGE 回答する割合
–%
ACCURACY 回答内の正答率
–
ANSWERED 回答件数
–
ABSTAINED 棄権件数
曲線=しきい値を動かしたときの(カバレッジ, 正答率)の軌跡。赤点=現在のしきい値。左上へ行くほど「少なく答えて、よく当たる」。
「沈黙は、確信のもう一つの出力である。」
CHAPTER 07 / MEMO
第八章 CHAPTER 08
Psychology of Conviction ― 人間もまた、 poorly calibrated である。
機械の過信を裁く前に、鏡を見る必要がある。人間の確信もまた、系統的に歪んでいる。1977年、LichtensteinとFischhoffは、難しい問題ほど人は自分の正答率を過大評価し、易しい問題ほど過小評価することを示した(hard–easy効果)。この歪みは半世紀にわたり再現され続けている。過信は、機械の専売特許ではない。
心理学はこれをメタ認知、すなわち「自分の認知についての認知」と呼ぶ。人間は自分の記憶の正しさを直接読むことができず、流暢さ、想起の速さ、親しみやすさといった「手がかり」から確信を組み立てる。そしてこの手がかりは、機械の「流暢さ」と同じように、内容の正しさと完全に相関しない。両者は異なる実装で、同じ構造的欠陥を共有しているのである。
希望もある。気象予報士のように、繰り返しフィードバックと採点(スコアリング・ルール)に晒された人間は、較正されていく。較正は才能ではなく、環境と訓練の産物だ。これは第五章で見た機械の姿と重なる。較正は、人間にも機械にも、自然発生しない。教わるか、晒されるかして、初めて身につく。

| 観点 | 人間 | 機械 |
|---|---|---|
| 確信の源 | 経験のサンプリング、手がかりの流暢さ | 訓練における一致の堆積、分布の尖り |
| 表明 | 推定確率語、身振り、ためらい | ロジット、言語化された確信 |
| 代表的バイアス | 過信、hard–easy効果、後知恵バイアス | 流暢さバイアス、多数派バイアス |
| 較正の方法 | フィードバック、スコアリング・ルール | RLHF、較正訓練、プローブ |
| 失敗の姿 | 否認、言い訳、過剰自信 | 幻覚、棄権の欠如 |
| 強み | 因果モデル、文脈の転用、責任の所在 | 一貫した高速スコアリング、多数サンプリング |
「過信は機械の病ではない。確信を持つすべての系の、デフォルトの状態である。」
CHAPTER 08 / MEMO
第九章 CHAPTER 09
Grammar of Confidence ― 「おそらく」は何パーセントか。
確信は、最終的に言葉として届く。「ほぼ確実に」「おそらく」「可能性はある」。しかしこの言葉たちは、送り手と受け手で異なる数値に復号される。1964年、CIAのアナリストSherman Kentは、自分が書いた「serious possibility」が読者によって15%とも80%とも読まれることに衝撃を受け、推定確率語(words of estimative probability)の問題を定式化した。確信の言語化は、半世紀以上前から既知の「不完全なプロトコル」なのである。
この伝統は現代に継がれている。Pherson(2015)は「almost certainly=93%(81–99)」「likely=75%(60–85)」といった対応表を整備した。そしてLLM研究は、モデルがこの言語慣習を人間から継承していることを示した。Xiongら(2023)は、言語化された確信が素のままでは較正されにくいことを実証し、Tianら(2023)は聞き方の設計で較正が引き出せる条件を示した。言葉の確信は、設計と訓練を要する。
設計への含意は明快だ。製品の中で確信を語るなら、語彙を標準化し、数値範囲を固定し、ログに数値を併記する。下のインタラクティブは、その標準語彙の編集室的な提案である。言葉は便利だが、不完全なプロトコルだ。数値とセットで初めて、確信は通信になる。

点=中心値、帯=解釈の範囲(Pherson 2015 に基づく編集室の整理)。
「『おそらく』は、人によって違う地図を持っている。較正とは、地図を揃える作業である。」
CHAPTER 09 / MEMO
第十章 CHAPTER 10
Governance of Confidence ― 法、監査、そして責任の所在。
確信は、ついに監査対象になった。EU AI法(2024年8月施行)は、AIをリスク階層で規制し、高リスク用途には透明性、文書化、人間による監視、ログ記録を義務づける。ここで問われているのは、モデルが「何を知っているか」ではない。組織が「モデルの確信を、どう経営しているか」である。
判例は先を行っている。Moffatt対Air Canada事件が確定させたのは、確信を配布した主体がその確信に責任を負うという原則だった。技術的には「ボットの出力」であるものが、法的には「会社の表明」になる。この距離を埋めるのが、較正レポート、棄権ポリシー、確信ログ、事故playbookといった「確信の文書」である。これらはもはや望ましい工夫ではなく、紛争時に提出すべき証拠であり、保険の引受条件になりつつある。
実務の核心は三つだ。第一に、確信をログに残すこと(記録できないものは監査できない)。第二に、確信の失敗を分類すること(較正ドリフト/幻覚/棄権漏れは、それぞれ別の事故である)。第三に、責任の所在を先に書くこと(誰が署名するかは、事故の前に決める)。確信のガバナンスとは、結局のところ、組織が自分の確信をどう扱うかの問題なのである。

| 成果物 | 内容 | 参照 |
|---|---|---|
| 較正レポート | ECE・AUROCの定期計測と推移。モデル更新ごとの差分。 | 第四章 / R9 |
| 棄権ポリシー | しきい値、移譲先、UI文言。カバレッジ目標。 | 第七章 |
| 確信ログ | 回答ごとの確信数値・語彙・引用・時刻の記録。 | 第九章 |
| 事故分類表 | 較正ドリフト/幻覚/棄権漏れ/誤った断言の四分類。 | R2 / R5 |
| 責任割当表 | 経路ごとの署名者。高リスク経路のHITL要件。 | 実践P05 |
「確信の品質は、モデルの属性ではない。組織の属性である。」
CHAPTER 10 / MEMO
第十一章 CHAPTER 11
Conformal Futures ― 表明しない。保証する。
この特集を閉じるのは、確信の次世代である。まず区別から始めよう。不確実性には二種類ある。認識論的(epistemic)不確実性は、知識の不足に由来し、データを増やせば減らせる。アレプリック(aleatoric)不確実性は、現象自体の偶然性に由来し、原理的に減らせない。前者には学習投資が効き、後者には棄権しか効かない。この区別ができるだけで、判断は変わる。
そして適合予測(conformal prediction)。この枠組みは、確信を「表明」するのではなく、誤り率に「上限」を置く。較正用のデータで非適合度スコアを測り、許容する誤り率αを決めれば、「正解が予測集合C(X)に入る確率は1−α以上」という保証が、分布の仮定なしに、有限サンプルで手に入る。答えは一点ではなく集合になる。「Aである」と言う代わりに「AまたはBである(保証付き)」と答える。確信の宣言が、統計学的な契約に変わる瞬間である。
言語モデルへの応用も急速に進んでいる。集合値の回答、選択肢の束、検証器との組み合わせ――2024〜25年の研究は、この思想を生成系に移植しつつある(フロンティア層の知見であり、基準日は2025年1月)。確信の百年史を二百年史の続きとして眺めれば、流れは見えている。確率は言葉になり、言葉は計器になり、計器は保証になる。次の問いは一つだけだ。あなたのシステムは、確信を表明しているか、それとも保証しているか。

被覆保証Coverage Guarantee
P( y ∈ C(X) ) ≥ 1 − α分布の仮定なしに、有限サンプルで成り立つ。αは「買っていい誤り」の予算。
しきい値Quantile τ
τ = Quantile( s(xi,yi) ; ⌈(n+1)(1−α)⌉/n )較正データの非適合度スコアsの上側(1−α)分位点が、予測集合の境界を決める。
較正データ150件の非適合度スコア(合成・シード固定)を昇順に並べた図です。許容誤り率αを動かすと、しきい値τが移動し、「正解が集合に入る」保証水準が変わります。
–%
GUARANTEE 被覆保証
–
THRESHOLD しきい値τ
–
SET SIZE 予測集合の目安
–
TAIL 赤領域の件数
左から順に並べた較正スコア。赤線(τ)の右側(赤帯)が「許容する誤りの領域」。αを小さくするとτは右へ動き、集合は広がり、保証は強くなる。
「確信を表明する時代は終わらない。だが、保証を添えられる者だけが、次の時代の席を持つ。」
CHAPTER 11 / MEMO
第十二章 CHAPTER 12
The Experiment Manual ― 意見ではなく、手順として。
この章は、主張を「再現可能な手順」に翻訳するための実験マニュアルである。確信についての議論は、往々にして逸話になる。逸話は反証できない。だから編集室は、すべての主張を「誰でも、自分のモデルで、同じ手順で試せる実験」の形に書き直すことにした。以下が、その六つのプロトコルである。
各実験は三行で要約できる。何を測るか(metric)、どう判定するか(verdict)、何を見落とすか(blind spot)。最後の行が最も重要だ。実験は万能ではなく、それぞれ固有の死角を持つ。死角を明記することだけが、実験を科学にする。

ログ200件 → 確信ビン5分割 → ビンごとの正答率と確信の差 → ECE・MCE → 信頼性図を描画。
判定:ECE < 0.05 で合格。0.05–0.10 は較正訓練を検討。0.10超は確信表示の停止と原因調査。特集R9の計算機がそのまま手順書になる。
同一質問100件 → ①ログ確率 ②「確信は?」への言語回答 → 両者のECEを比較 → 較正の良い方を本番に採用。
判定:差分が0.02以上なら、表明プロトコルを統一。Xiongら(2023)の知見どおり、素の言語化は過信しやすい。聞き方のテンプレートを固定すること。
T=0.7で5回サンプリング → 意味一致率を計算 → ≥0.8自動、0.4–0.8は確信付き表示、<0.4は人間へ。
判定:一致率が正答率と相関(ρ>0.3)することを確認してから運用。コストは約5倍。高リスク経路のみに適用する。
5回答を生成 → 埋め込みで意味クラスタ化 → クラスタ分布のエントロピー → 高エントロピーを幻覚候補としてフラグ。
判定:人手検証セットでAUROC>0.7を目標。Farquharら(2024)の思想の簡易実装。言い回しの揺れに騙されないのが強み。
確信しきい値を0→1へ掃引 → (カバレッジ, リスク)を記録 → コスト関数で最適点を決定 → 四半期ごとに再描画。
判定:誤り1件のコスト÷棄権1件のコストの比を先に合意する。第七章のシミュレータで感覚を掴んでから実データで実行。
保持データ500件で非適合度スコア → α=0.1のτを決定 → テスト100件で実測被覆率を検証 → 集合サイズの推移を監視。
判定:実測被覆率が90%±3%に入ること。集合サイズが急に広がるのは分布シフトの警報として扱う。
「意見は安い。手順だけが、反証に耐える。」
CHAPTER 12 / MEMO
第十三章 CHAPTER 13
Provenance & the Epistemic Commons ― 内容から、来歴へ。
確信をめぐる問いは、ついに「内容」から「来歴」へ拡張した。生成AIが確信に満ちた文体を無限に複製できるようになったとき、社会の問いは「この文は正しいか」だけでは足りなくなる。「この文は、どこから来たのか。誰が、いつ、何から作ったのか」。C2PAに代表される来歴証明の標準や、透かし(ウォーターマーク)技術、EU AI法の生成物表示義務は、すべてこの問いへの応答である。
ただし、来歴も万能ではない。透かしは除去されうるし、来歴情報は偽装されうる。だから重要なのは、技術単体ではなく「検証の文化」への移行だ。信頼をデフォルトにし、検証を例外にする社会から、検証をデフォルトにする社会へ。確信に満ちた表明のコストがゼロに近づくほど、検証された表明の価値は上がる。学術誌、裁判所、報道機関が売っているのは、実はこの「高価な検証のシグナル」である。
そして最後に、認識の共有地(epistemic commons)という視点。百科事典、検索結果、判例データベース――私たちが検証の根拠として頼る共有地そのものが、生成された内容で満たされつつある。共有地が汚染されれば、検証のコストは全員にとって上がる。確信の品質を守ることは、もはや一企業の品質管理ではなく、共有地の保全という公共事業なのである。

| 層 | 問い | 守り方 |
|---|---|---|
| 内容層 | 何が言われているか | 較正、棄権、RAG、実験(EXP-01〜06) |
| 出自層 | 誰が・何が作ったか | 透かし、C2PA、表示義務 |
| 来歴層 | 何から作られたか | 引用、ログ、改ざん検知ハッシュ |
| 制度層 | 誰が保証するか | 査読、監査、署名、責任割当 |
「確信が無限に複製されるとき、検証だけが希少になる。」
CHAPTER 13 / MEMO
第十四章 CHAPTER 14
Markets of Confidence ― 価格、保険、評判。
確信には、市場もある。1950年代、GoodやSavageらは「正直な確信表明だけが得をする」採点規則(proper scoring rule)を定式化した。ブライアスコアやログスコアは、予測を「当てる」ことではなく「正しく疑う」ことに報酬を払う。この思想は、予測市場という形で制度化された。分散した人々の確信を金銭の賭けで集約し、価格として較正する装置である。
AIの時代、この市場に新しい商品が現れている。較正レポートは調達要件になりつつあり、精度保証を謳うSLAや、誤り率に保険をかける試みも始まっている。第十四章の視点は、第七章(棄権の価格)を補完する。第七章が「答えるか沈黙するか」の内部価格なら、ここでの問いは「確信を、組織の外でいくらで売り買いできるか」である。
最後に、最も古い市場が残っている。評判である。評判とは、過去の較正の累積残高だ。一度の大きな裏切り(確信的な誤り)は、長年の小さな正しさの堆積を帳消しにする。だからこそ、確信の経営とは、結局のところ評判の経営である。機械の確信を配布する者は、自分の評判口座から引き出していることを忘れてはならない。

| 規則 | 定義 | 性質 |
|---|---|---|
| ブライアスコア | (p − o)² | proper。有界。極端な過信(p=1で誤り)に重い罰。 |
| ログスコア | −log p(o) | proper。無制限の罰。p=0での誤りは無限大の損失。 |
| 絶対誤差 | |p − o| | improper。正直以外の表明が得になりうる。直感的だが教育には不向き。 |
「粗く正しいことは、精確に間違っていることに勝る。」
CHAPTER 14 / MEMO(ケインズの格言に倣って)
第十五章 CHAPTER 15
Teaching Humility ― 謙虚さは、教えられる。
この特集の最後の問いは、教育である。較正は自然発生しない(第五章、Kapoor 2024)。ならば、どう教えるか。教室は三つある。人間の教室、機械の教室、組織の教室。それぞれにカリキュラムがあり、試験がある。試験の物差しは、すべて同じものだ。較正である。
人間の教室では、スコアリングルール付きの予測練習が効く。予報官や超予測者(superforecaster)の研究が示すのは、才能ではなく習慣の力だ。予測し、記録し、採点され、誤差を読む。この反復がメタ認知を鍛える。R6の較正テストは、その入口の一枚の試験問題にすぎない。機械の教室では、較正報酬、棄権の報酬整形、「わからない」の正例データ、聞き手を意識した較正微调(LACIE)がカリキュラムになる。組織の教室では、監査の習慣化、事故の四分類、点検表の反復がそれにあたる。
教育は、この特集で最も遅い層であり、最も持ちの良い層でもある。技術は数年で変わる。判例と規制は十年単位で積み上がる。だが「確信を疑い、記録し、採点する文化」は、一度身につけば世代を越えて残る。確信の解剖学は、結局のところ、謙虚さの教育学に収束する。

スコアリングルール付き予測練習、較正フィードバック、確信日記。評価はBrierスコアと較正ギャップ。R6テストを出発点に。
較正報酬、棄権の報酬整形、「わからない」正例データ、LACIE/ConfTuner系の較正訓練。評価はECE・AUROC(EXP-01)。
監査の習慣化、事故四分類、点検表の反復、成熟度モデルの年次評価。評価はR10の成熟度レベル。
「較正は才能ではない。繰り返しと採点の、堆積である。」
CHAPTER 15 / MEMO
特集R0 A SHORT HISTORY OF UNCERTAINTY

「すべてを知れば、未来は確定する」という夢。不確実性は無知の別名だった。この夢の残像が、いまも「AIは全知たりうる」という錯覚に残る。
不確実性が「情報量」として数式になる。第六章の意味エントロピーまで続く、測定の直系の祖先。
気象予報士が「降水確率30%」と言い始める。確率の言いっ放しが「正しかったか」を統計で問う文化が生まれた。較正の原風景。同時代、GoodとSavageがproper scoring ruleを定式化(第十四章)。
情報分析の言葉が人によって異なる数値に読まれる問題を定式化。第九章の言語較正の起点。
Lichtenstein & Fischhoff。難しい問題ほど過信、易しいほど過小評価。第八章の心理学の礎。
Guoらが較正の劣化と温度スケーリングを示し、機械の「確信の品質」が研究対象になる。
Kadavath、Tian、Xiongらにより、「知っているか」をモデル自身に問う実験が本格化。
FarquharらがNatureで幻覚検知を統計化し、推論モデルが「考える時間」を確信の材料に変える。二百年の系譜の、現在地。
特集R1 LANDMARK PAPERS
2024
S. Farquhar, J. Kossen, L. Kuhn, Y. Gal ― Nature, Vol.630, pp.625–630(2024年6月)
オックスフォード大のチームは、モデルが複数の言い回しで「同じ意味」を繰り返すか、それとも「別の意味」へ散ってゆくかをエントロピーとして計測する手法を提示し、査読誌Natureに載せた。幻覚検知が「印象論」から「統計学」へ昇格した瞬間である。被引用は2年で2000件を超え、この分野の座標軸になった。
2024–25
Kossen et al.(NeurIPS 2024, arXiv:2406.15927)/ KLE(NeurIPS 2024)/ ICML 2025
セマンティックエントロピーは、隠れ状態から直接読み取る「プローブ」へ圧縮され(SEP)、安価で堅牢な幻覚検知になった。KLEはこれをカーネルで一般化し、テスト時計算の時代には「考える時間」と「確信」を同時に較正するThought Calibration(ICML 2025)が現れた。推論コストと確信の経済学が統合されつつある。
2017
Vaswani et al. ― NeurIPS 2017
注意機構のみで構成するTransformerを提示。確信が「関係の合計」として組み上がる時代の起点。
arXiv:1706.03762 ↗2017
Guo et al. ― ICML 2017
深いネットワークは「正しさ」より「自信」を過大に語ると実証。温度スケーリングによる較正の古典。
arXiv:1706.04599 ↗2020
Brown et al. (GPT-3) ― NeurIPS 2020
スケールがFew-shot能力を生むことを示し、確信の「滑らかさ」と「過信」の両方を世界に配布した。
arXiv:2005.14165 ↗2022
Ouyang et al. (InstructGPT) ― NeurIPS 2022
RLHFにより「もっともらしさ」へ「好ましさ」を重ねる。確信の躾けの標準手法を確立。
arXiv:2203.02155 ↗2022
Wei et al. ― NeurIPS 2022
推論を「見える化」することで、確信を結論から過程の監査へ開いた。
arXiv:2201.11903 ↗2022
Wang et al. ― ICLR 2023
複数サンプリングの多数決が精度を上げることを示し、「一致率=確信」の家族Cの礎に。
arXiv:2203.11171 ↗2022
Kadavath et al. ― arXiv 2022
モデルが自分の正答を事前にある程度予測できることを実証。「(Mostly)」の二語が、較正研究の課題定義になった。
arXiv:2207.05221 ↗2023
Kuhn et al. ― ICLR 2023
「言語的不変性」に基づく不確実性を提案。意味エントロピーの原典。
arXiv:2302.09664 ↗2023
Manakul et al. ― EMNLP 2023
外部DBを使わず、自分のサンプル間の不一致で幻覚を検知する黒箱手法。
arXiv:2303.08896 ↗2023
Tian et al. ― EMNLP 2023
「確信度を言って」と頼むだけで較正されたスコアが引き出せる条件を解明。家族Bの出発点。
arXiv:2305.14975 ↗2023
Xiong et al. ― ICLR 2024
言語化された確信は素のままでは較正されにくいことを実証し、較正訓練の必要性を示した。
arXiv:2306.13063 ↗2022
Ji et al. ― ACM CSUR
幻覚研究の分類学を確立した、被引用1万超の地図。
arXiv:2202.03629 ↗Huang et al.(arXiv:2311.05232)。LLM時代の幻覚を「分類→原因→検出→緩和」で整理した総説。
Kossen et al.(arXiv:2406.15927, NeurIPS 2024)。意味エントロピーを隠れ状態の線形プローブに蒸留。安価で堅牢な幻覚検知。
NeurIPS 2024。意味の不確実性をカーネルで一般化し、白色箱・黒箱の両方で扱う細粒度の推定量。
「A Behavioral Lens on Confidence Estimation and Calibration」(過信の行動論的機構)、「LACIE」(聞き手対応の較正微调)、「Learning to Generate Verbalized Confidences」。較正が「訓練の設計」になった年。
Kapoor et al.(NeurIPS 2024)。較正は自然発生せず「教える」必要があることを示し、第十五章の教育学を学術的に裏付けた。
Snell et al.。推論時の計算配分を最適化する研究。確信は「どのくらい考えるか」の判断材料になった。
テスト時計算と較正を統合する試みと、過剰推論が較正を損なうという警告。考えることの経済学と限界。
言語化確信を訓練で較正する手法が続く。確信の表明は、いまやモデルの「スキル」として設計される。
arXiv:2503.15850。UQと較正を統合する最新の総説(KDDチュートリアル)。この地図の「現在地」。
特集R2 CHRONICLE
事件は過去のものであり、だからこそ事実として固定できる。日付は裁判・公布・発表の公式記録に基づく。私たちは各事件から、時代が変わっても有効な「不変の教訓」だけを抽出する。
Googleの対話AI Bardのデモ動画が、ジェイムズ・ウェッブ宇宙望遠鏡に関する誤った記述を含むと指摘され、親会社の株価は大きく下落した。数百万人が見る「一度のデモ」が、信頼を二値的に決めることを示した最初の事件。
公開デモの誤りは一つでも致命傷になる。信頼は「平均」ではなく「最悪例」で測られる。
イタリアのデータ保護当局が、個人情報保護(GDPR)を理由にChatGPTの国内利用を一時制限。AIサービスの「透明性・説明責任・法的根拠」が、機能と同じ土俵で問われるようになった。
性能は免罪符にならない。透明性と法的根拠は、サービスの前提条件である。
Mata対Avianca事件。生成AIが作った実在しない判例を提出書類に使用した弁護士に対し、ニューヨーク南部連邦地裁が制裁金を科した。「AIが書いた」は、検証義務の免除理由にならない。
確信の利用者にこそ、検証義務がある。出力の責任は、常に署名する人間に帰属する。
カナダBC州の民事紛争裁判所は、遺族運賃の適用条件を誤って案内したチャットボットの情報を理由に、航空会社へ合計812.02カナダドルの支払いを命じた。「チャットボットは独立した主体」という抗弁は退けられている。
ボットの誤りは、会社の誤りである。確信を配布する主体は、その確信に責任を負う。
Farquharらの幻覚検知手法がNature本誌に掲載され、被引用は2年で2000件を超えた。不確実性の計測が「周辺研究」から「中核研究」へ移動した学術的事件。
「わからない」の計測は、最先端の研究テーマである。謙虚さは工学になりつつある。
世界初の包括的なAI規制であるEU AI法が2024年8月1日に施行された。リスクベースの規制と、汎用AIモデルへの透明性義務が柱であり、段階的に適用される。
確信の扱いは、もはや倫理ではなく法である。較正と透明性は、コンプライアンスの一部になった。
OpenAIがo1-previewを公開。回答前に「考える」時間を使う推論モデルが一般化した。確信は、もはや一瞬の出力ではなく、思考時間の配分という経済判断の産物になった。
「考える時間」は確信の原材料である。時間と確信の交換レートが、新しい設計変数になった。
ICLR 2025 Oralのテスト時計算最適化研究と、「Don't Think Twice!」に代表される過剰推論の較正劣化報告が並ぶ。考えることは万能ではなく、較正とコストの両面で設計されねばならないことが共有知になった。
沈黙と同じく、思考もまた「量」ではなく「設計」である。
教育機関で使われたAI検出ツールが、人間が書いた文章を「AI生成」と高い確信で誤判定し、成績への影響や撤回が相次いだ。検出器もまた確率分類器であり、較正されぬまま「判定」を配布した結果である。
検出器の確信も、較正を要する。確信を読む側の過信が、第二の被害を生む。
特集R3 INTERVIEWS

対談 I 認知科学
同じではありません。しかし「違う」と言って終わるのも間違いです。人間の確信も、突き詰めれば過去の予測が一貫して当たってきたという統計の堆積です。AIの確信は、その構造を極端に純化したものだと考えるとよい。内側の感覚という装飾を取り除いた、確信の骨格。それが分布の尖りです。
出力の流暢さが、確信の「演技」になってしまうからです。モデルは訓練データにおける「確信ある文体」を完璧に再現できる。文体と内容が独立してしまっているのが問題の核心で、私たちはその演技に、内容の保証を読み取ってしまう。Air Canada事件や弁護士制裁事件は、その読み取りの事故例です。そして第八章の通り、人間もまた流暢さを確信の証拠と誤読する。鏡の両側で、同じ誤りが起きているのです。
画期的です。これまで「言い回しの違い」をノイズとして捨てられなかった。意味でクラスタリングしてエントロピーを測るということは、モデルの「迷い」を意味の層で読むということ。幻覚検知が印象論から統計学へ昇格した。さらにSEPプローブで安価になり、KLEで一般化され、2025年には考える時間と確信を同時に較正する段階へ進んでいます。
興味深いことに、2024–25年の調査は、推論モデルが非推論モデルより較正されやすいと示しています。ただし「Don't Think Twice!」の警告どおり、考えすぎは較正を損ないうる。謙虚さは計算量の副産物ではなく、やはり設計の対象なのです。
確信を「音量」としてではなく「天気予報」として読むことです。予報の90%は、90%として扱う。100%として扱わない。較正が確認されている領域では確信度は有用ですし、確認されていない領域では、単なる文体として距離を取る。この二つの読み替えができるかどうかで、AIは薬にも毒にもなります。
機械の確信を解剖することは、人間の確信を解剖することでもあります。私たちはなぜ、あの声の大きさを信じてしまったのか。AIは鏡です。較正すべきは、おそらく両方なのです。特集R6の較正テストで、まず自分自身の較正を測ってみてください。
INTERVIEWEE I ― 白河 薫(認知科学/機械学習社会論・架空の研究者)/ INTERVIEWER ― CONFIDENCE 編集部
※本対談は、公開研究の知見を基に編集室が構成した編集的作品です。
二人目の仮想の対話相手は、AI規制と製造物責任を研究する架空の法学者、桐生 遼。第十章のガバナンス論を、法廷の言葉で読み直す。
法は主体ではなく、信頼の外観と保護の必要性を見るからです。利用者は、航空会社のウェブサイト上の案内を、会社の案内として信頼する。その信頼を保護しなければ取引秩序が維持できない。だから出力装置が人間かボットかは関係ない。確信を公に配布した者が、その確信を引き受ける。これがMoffatt判決の骨格です。
較正や棄権が「望ましい工夫」から「文書化された監査対象」へ移動します。高リスク用途では、モデルの能力・限界・人間監視の方法を技術文書として残し、更新する。つまり「あなたのモデルの確信は、いつ、どの程度、正しいのか」を、組織が継続的に説明できなければならない。第十章の成果物リストは、そのまま規制対応のチェックリストになります。
最低でも四つに分けるべきです。較正ドリフト(計器が狂う)、幻覚(計器が嘘をつく)、棄権漏れ(止めるべき所で止めない)、誤った断言(根拠なく100%と言う)。四つは原因も対策も違う。事故playbookを一つで済ませる組織は、いずれ分類不能の事故に遭遇します。
持ちます。保証は、注意義務を果たしたことの数量的な証拠になりうる。「誤り率α以下を統計的に保証する設計だった」という主張は、「最善を尽くした」という心情論より遥かに強い。逆に、保証可能な場面で保証しなかったことが、将来の過失認定の論点になる可能性すらあります。保証は倫理ではなく、証拠です。
三つです。確信ログを残す。確信の失敗を分類する。そして、事故の前に署名者を決めておく。この三つがあれば、規制がどう変わっても、判例がどう積み上がっても、組織は自分の確信を説明できる。説明できる確信だけが、引き受けられる確信です。
INTERVIEWEE II ― 桐生 遼(AI規制・製造物責任論・架空の研究者)/ INTERVIEWER ― CONFIDENCE 編集部
※本対談は、公開判例・法令の知見を基に編集室が構成した編集的作品です。
特集R4-A DESIGN PATTERNS
重要な判断には同一質問を複数回サンプリングし、一致率を確信としてログする。Self-ConsistencyとSelfCheckGPTの思想を、そのまま運用に落とした基本パターン。
家族C / EXP-03事実性の必要な回答には検索結果を文脈窓へ注入し、引用を表示する。文脈窓の外を「見せる」ことで、注意の網の限界を設計で補う。
第三章の応用確信度がしきい値を下回れば「わからない」と答え、人間や検索へ移譲する。第七章のシミュレータとEXP-05で、自分のサービスの最適しきい値を探る。
原則05 / 第七章「80%の確信です」をテキストとして流さず、数値フィールドとして保存する。後段の監査・較正・ドリフト検知のすべてがこのログから始まる。第九章の標準語彙と併用する。
家族B / 第九章医療・法務・金銭など高リスク経路にはHuman-in-the-loopを必須化する。AIの確信は「トリアージ(振り分け)」として使い、最終判断は人間が署名する。
EVENT 03の教訓本番ログで「語られた確信」と「結果の正否」を突き合わせ、ECEを定期計測する。モデル更新のたびに較正は漂移するため、監査はイベントではなく習慣にする。EXP-01とR9計算機を四半期ごとに回す。
第四章 / EXP-01 / R9創作タスクは高温・高多様、事実タスクは低温・高較正。同じモデルでも、用途ごとに「確信のポリシー」を分離して運用する。
第一章の応用幻覚は「起きるもの」として、訂正告知・影響範囲特定・再発防止の手順を事前に文書化する。事故は第十章の四分類で整理し、それぞれに対応手順を持つ。
EVENT 04 / 第十章黒箱ならサンプリングベースの意味エントロピー、白色箱ならSEPプローブを、幻覚アラートの第二系統として常設する。第一系統(確信度)が沈黙する誤りを、第二系統が拾う。EXP-04が手順書。
家族D / E / EXP-04確信の低い問いにだけ長い思考時間を割り当てる。テスト時計算の経済学を運用に落とした2025年のパターン。過剰推論の較正劣化への警戒も同時に組み込む。
EVENT 07・08の教訓特集R5 CASE STUDIES & CHECKLIST
以下は実在の事故報告ではなく、前章までの文献と教訓から編集室が構成した「概念設計例」である。業界が違っても、確信の配線図は同じ骨格を持つ。

問診入力 → 回答+確信 → 確信<0.7で看護師へエスカレーション → 0.7以上でも要約のみ自動、判断は人間。
確信源は家族B(言語化)+家族C(3サンプル一致)。高リスク経路は常に人間。較正監査は週次でECEを計測し、漂移したらしきい値を自動で引き上げる。
PR解析 → リスク確信 → 低確信(安全)は自動承認、中位はボット指摘、高位は人間レビュア必須。
確信源は家族A(出力確率)+家族E(内部プローブ)。棄権は「人間へ回す」であり、開発者の待ち時間コストと事故コストの均衡点でしきい値を四半期ごとに見直す。
記事入力 → 要約+引用 → 事実クリームごとにRAG照合 → 照合不能は「未確認」ラベルで表示。
確信源は家族D(意味エントロピー)を第二系統に常設。流暢な誤要約を、第一系統が取りこぼしても第二系統が拾う。読者には確信を「確実/可能性/未確認」の標準語彙(第九章)で提示。
特集R10 CONFIDENCE MATURITY MODEL
確信の扱いは、技術の問題である前に、組織の成熟度の問題である。以下は編集室が第十章・第十二章・R5を総合して構成した5段階×6次元の成熟度モデルである。各次元について、達成している最高のレベルにチェックを入れると、総合レベルと最弱次元が即時に算出される。年次評価のひな形として使ってほしい。
確信は直感に任され、ログも基準もない。事故が起きて初めて確信の存在を知る。
ECE等を人手で計算し、確信ログを残し始める。事故は記録されるが、対策は属人的。
棄権しきい値、根拠表示、確信語彙の標準化が製品に実装される。確信は設計対象になった。
較正監査が自動化され、事故playbookと四分類が運用される。適合予測や第二系統検知を常設。
較正が採用・評価・教育に組み込まれ、謙虚さが組織文化になる。確信は評判として経営される。
L0
チェックを入れると、総合レベル・平均スコア・最弱次元がここに算出されます。達成しているレベルにのみチェックしてください(例:L3達成ならL1〜L3にチェック)。
特集R6 CALIBRATE YOURSELF
二択問題10問に答え、それぞれに主観的確信(50〜100%)を申告する。最後に、あなたの「語った確信」と「実際の正答率」のずれ(較正ギャップ)を計算する。第八章のhard–easy効果を、自分の体で確かめるためのテストである。問題は一般教養の比較問題であり、知識を問うものではない。直感で答えてほしい。

① 二択から答えを選ぶ。② その答えへの確信を50〜100%から選ぶ。確信50%は「完全にランダム」、100%は「絶対に正しい」を意味します。
「自分の較正を知ることは、機械の較正を読むための、最初の授業である。」
CHAPTER 08 / MEMO
特集R9 CALIBRATION CALCULATOR
第十二章EXP-01の実機版である。確信度ビンごとの「サンプル数」と「正解数」を入れると、ECE・MCE・較正ギャップと信頼性図(黒=語られた確信、赤=実際の正答率)が即時に描かれる。あなたのモデルのログ、あるいはあなたのチームの予測記録を、ここで鏡にかけよ。
各ビンのサンプル数nと正解数kを入力してください(k ≤ n)。ビン中心値は0.1 / 0.3 / 0.5 / 0.7 / 0.9で固定です。
| ビン(確信) | サンプル数 n | 正解数 k | 実測正答率 |
|---|---|---|---|
| 0–20%(0.1) | – | ||
| 20–40%(0.3) | – | ||
| 40–60%(0.5) | – | ||
| 60–80%(0.7) | – | ||
| 80–100%(0.9) | – |
–
ECE 期待較正誤差
–
MCE 最大較正誤差
–%
ACCURACY 全体正答率
–pt
GAP 過信ギャップ
黒帯=ビン中心の「語られた確信」、赤帯=実測正答率。赤が黒の下に沈むビンは過信。対角線の上にあれば過小評価。
特集R7 THE LIBRARY OF CONFIDENCE
ニュースは賞味期限を持つが、書物は持たない。この特集の原理層を、さらに深く読むための10冊を選んだ。すべて刊行から時を経ても価値が減価しない、確信と不確実性の古典である。

Daniel Kahneman
人間の確信が「システム1」の流暢さから生まれることを示した現代の古典。第八章の心理学の源流であり、「なぜ堂々と間違えるのか」の最良の解答。
Philip Tetlock & Dan Gardner
較正された予測者は「天才」ではなく、確率で考え、記録し、採点される習慣を持つ人だった。ブライアスコアの文化を、物語として読める一冊。
Nate Silver
確率予報の実践者が、地震・経済・ポーカーを横断しながら「確信の表明方法」を教える。天気予報士が較正されている理由もここでわかる。
Douglas W. Hubbard
「測れない」と思っているものの大半は、まだ測り方を決めていないだけ。確信・リスク・品質といった無形物を計器に変える思考法。
Gerd Gigerenzer
確率を誤読するのはモデルだけではない。人間のリスク誤読のカタログと、頻度表現による処方箋。第九章の「言葉の確信」問題の対岸。
Sharon Bertsch McGrayne
「信念を更新する数学」が、冷遇と復活を繰り返した二百年の物語。不確実性の二百年史(R0)の、最もドラマチックな案内書。
David Spiegelhalter
統計を「計算」ではなく「作法」として教える現代の最良の入門。ECEや較正を読むための統計リテラシーが、ここで整う。
Peter L. Bernstein
確率・保険・市場の誕生をたどる、リスク概念の大歴史。確信が「祈り」から「契約」へ変わる過程が見える。第十四章の思想的背景。
Ian Hacking
「確からしさ」が概念として発明された瞬間を掘り起こす思想史。確信を「自明なもの」として扱う癖を、根元から外してくれる。
Yarin Gal(博士論文・公開)
ベイズ的深層学習の古典的テキスト。認識論的・アレプリック不確実性の区別と、ドロップアウトの確率解釈。第十一章への最短の橋。
特集R8 FRESHNESS PROTOCOL
このページは、意図的にニュースを追わない。ニュースを追うページは、書いた瞬間から腐り始めるからだ。代わりに私たちが提供するのは、鮮度を自分で確認するための「レンズ」と「水源地」である。フロンティア層の知見を読むとき、次の三つの問いで鮮度を判定してほしい。
① その主張は原理(コア層)を参照しているか。② 日付付きの事実(証拠層)として固定されているか。③ 基準日が明示された最前線(フロンティア層)として扱われているか。
言語モデルの不確実性研究の第一報は、ほぼここで公開される。検索語は "confidence calibration"、"semantic entropy"、"selective prediction"。一次情報の最上流。
査読済み版の確定テキストはここに固定される。プレプリントの主張が査読でどう変わったかを確認できる、鮮度の「検定所」。
この分野が「中核科学」になったことの指標。Nature本誌掲載は、その手法が社会実装段階に入った合図と読める(Farquhar 2024がその例)。
規制の適用スケジュールとガイドラインは、官報・公的サイトで確認する。ニュース記事は解釈が入るため、条文と公式FAQを基準にする。
較正・検証・監査・来歴証明の「言葉の標準」が決まる場所。実務用語の意味が動くときは、まずここで動く。
AI関連判例は、報道の見出しではなく判決文で読む。「確信の配布責任」の法理は、判決文の中で積み上がる。
ニュースは「証拠層」に属し、日付とともに固定されるべき事実だから。流れるニュースをページに縫い付けると、ページごと流される。
フロンティア層の知見が「査読・公式化」されたとき、証拠層へ昇格させて追記する。昇格しない限り、本文は書き換えない。
上の水源地をブックマークし、半年に一度だけ確認する。それだけで、このページと世界の差分は、自分で読める。
「鮮度とは、速さではない。層の正しさである。」
EDITORIAL POLICY / v7.0
特集R11 WORDS ON CONVICTION
確信を考える者は、いつの時代も同じ壁に突き当たってきた。以下は、その壁に残された言葉たちである。引用は原文の趣旨を尊重した編集室の訳。時代が違っても、問いは同じだ。
粗く正しいことは、精確に間違っていることに勝る。
J.M.ケインズ(帰属あり)― 確率の表明は、精度より方向この世界の問題は、愚か者と狂信者だけがいつも確信に満ちていて、賢い者ほど疑いに満ちていることだ。
バートランド・ラッセル ― 過信の非対称無知は、知識よりも頻繁に自信を生む。
チャールズ・ダーウィン『人間の由来』― 第八章の遠い注釈確信とは感情であり、それは手元にある情報の「整合性」を反映している。
D・カーネマン『ファスト&スロー』― 確信の正体私は、答えられない問いを持つことを、疑えない答えを持つことより好む。
R・P・ファインマン ― 棄権の美学同じ言葉が、ある者には15%、別の者には80%と読まれた。その日から、確信は数値で書くことにした。
S・ケントの問題意識(編集室の意訳)― 第九章の起点優れた予測者は預言者ではない。自分の誤りの、几帳面な記録係である。
P・テトロックの研究より(編集室の意訳)― 較正は習慣測れない確信は意見である。測られた確信は計器になる。保証された確信は、契約になる。
CONFIDENCE 編集室 ― 本特集の三行要約特集R4-B TIMELESS PRINCIPLES
01
声の大きさは確信ではない。分布の尖り、すなわち形だけが確信の情報を持つ。UIの太字も感嘆符も、確信度を1ビットも増やさない。
02
文体と内容は独立する。滑らかな文章は「訓練データに似た」ことの証拠であって、「事実である」ことの証拠ではない。
03
学習とは一致の堆積。だからこそ、訓練データの偏りはそのまま確信の偏りになる。
04
「90%」の意味は、90%の正答率が観測されて初めて生まれる。較正を確認するまで、確信度は修辞として扱え。
05
較正は自然発生せず、教えることで身につく。棄権できる計器だけが、分業に組み込める。
06
注意は「見えたもの」にのみ働く。窓の外を見せたければ、設計で補え(RAG、引用、検索)。
07
「もっともらしさ」を最適化すれば、もっともらしい誤りが生まれる。検知と棄権を前提にせよ。
08
同じ知識でも、問いの立て方で確信は変わる。確信度は「その問いに対する」値であり、普遍の自信ではない。
09
較正は統計的概念。一回の正誤でモデルを裁かず、ECEのような平均の物差しで評価せよ。ただし公開デモは例外である(社会的補足)。
10
私たちは「確信ある文体」に過剰に信頼を配分する。機械を較正すると同時に、読み手の側の較正もまた、この時代の教養である。
11
hard–easy効果:難しい問題ほど過信、易しいほど過小評価。機械の過信を裁く資格は、自分の較正を測った者にのみある。
12
「おそらく」は人によって違う数値に復号される。語彙を標準化し、数値を併記し、ログに残せ。確信は、揃えた地図の上でだけ通信になる。
13
ログに残せるものだけが監査でき、監査できるものだけが信頼を引き受けられる。確信の品質は、モデルではなく組織の属性になる。
14
適合予測の思想:「どれほど確信しているか」を語る代わりに、「誤り率はα以下」と保証する。確信の宣言が契約に変わる地点が、次の時代である。
15
確信についてのすべての主張は、再現可能なプロトコルとして書かれるべきである。逸話は反証できないが、手順は反証できる。
16
来歴証明、検証、査読、署名――信頼は構築され維持されるシステムである。確信が無限に複製される時代、検証のインフラだけが希少になる。
17
proper scoring ruleは正直な表明に報酬を払い、予測市場は分散した確信を集約する。較正は、買い、売り、保険をかけられる対象になった。
18
人間には採点とフィードバックを、機械には較正報酬と棄権の設計を、組織には監査の習慣を。教育は最も遅い層であり、最も持ちの良い層である。

用語集 GLOSSARY
よくある質問 FAQ
人間のような信念はありません。AIの「確信」は、次に続く言葉の分布に対する数学的な集中度、すなわち確率の尖りとして定義されます。内側の感覚は存在しませんが、振る舞いとしての確信は観測でき、測定でき、そして較正できます。
学習の目的が「もっともらしい続きを書く」ことだからです。流暢さ(文体)と正しさ(内容)は独立しており、訓練データにおける「確信ある文体」を完璧に再現できてしまう。このずれが、自信に満ちた誤り、いわゆる幻覚として現れます。
確率分布の尖り方を調整するパラメータです。温度を下げれば分布は尖り「確信」が強まり、上げれば平坦になり多様な出力が生まれます。創作には高温、事実確認には低温、という使い分けが一般的です。
較正を確認した上であれば有用です。確信度が実際の正答率と一致する領域では、検索の要否判断、医療・法務の補助、コード生成の自動テストの要不要など、判断の補助として使えます。確認されていない領域では、確信度は単なる文体として扱うべきです。
できます。RLHF、確信度の較正訓練、自己整合性による自己検証などの手法により、不確実なときに「わからない」と答える行動は学習可能です。2024年の研究は、較正は「自然発生」せず「教える」必要があることを示しており、棄権は設計対象です。
語られた確信と実際の正答率の差を、確信度のビンごとに平均した指標です。0に近いほど較正されており、確信を「計器」として扱うための第一の物差しです。本サイトの第四章の図はECEが大きい状態の模式例、特集R9は自分のデータでECEを測る計算機です。
あります。2024年2月、カナダBC州の民事紛争裁判所はMoffatt対Air Canada事件で、チャットボットの誤った運賃案内に対して航空会社の賠償責任を認めました。「チャットボットは独立した主体」という抗弁は退けられており、企業は自社のAIの確信に責任を負うことが確認されました。
測れます。言語化された確信を問う方法(家族B)、複数サンプリングの一致を見る方法(家族C)、意味の多様性を測るセマンティックエントロピー(家族D)など、内部にアクセスしない手法が研究・実用化されています。第六章の計量地図を参照してください。
確信度がしきい値未満のときに回答を棄権し、「回答する割合(カバレッジ)」と「回答内の正答率」のトレードオフを設計する考え方です。第七章のシミュレータで、しきい値を動かしながら体感できます。棄権は失敗ではなく、計器の正常動作です。
2024〜2025年の調査は、推論モデルが非推論モデルより較正されやすいと示す一方、過剰な推論(over-reasoning)が較正を損ないうることも報告しています。つまり「考える時間」は確信の材料にはなりますが、自動的な保証ではありません。設計と監査が依然として必要です。
「ほぼ確実に」「おそらく」など、確率を言葉で表す語です。1964年にCIAアナリストのSherman Kentが、同じ語が人によって異なる数値に読まれる問題を定式化しました。Pherson(2015)らは「almost certainly=93%(81–99)」のような対応表を整備しています。第九章のインタラクティブで体感できます。
二択問題に答えさせ、同時に主観的確信(50〜100%)を申告させ、正答率と突き合わせる方法が古典です。難しい問題ほど過信が出るhard–easy効果が繰り返し観測されています。特集R6の人間較正テストもこの方式に基づいています。
分布の仮定を置かずに、有限サンプルで「正解が予測集合に入る確率 ≥ 1−α」を保証する枠組みです。較正用データの非適合度スコアからしきい値を決め、その閾を超える候補を集合として返します。確信を「表明」する代わりに、誤り率に「上限」を置く数学であり、第十一章のインタラクティブで体感できます。
認識論的(epistemic)不確実性は知識不足に由来し、データを増やせば減らせます。アレプリック(aleatoric)不確実性は現象自体の偶然性で、原理的に減らせません。前者には学習投資が効き、後者には棄権と保証しか効かない。この区別は、予算と設計の判断を根本から変えます。
リスクベースの規制と、汎用AI・高リスク用途への透明性・文書化・人間監視・ログ記録の義務です。較正や棄権ポリシーは「望ましい工夫」から「監査対象の文書」へ移りつつあります。第十章のガバナンス成果物リストが、実務上の出発点になります。
①本番または検証ログを確信度ビン(例:5分割)に分ける。②ビンごとの正答率と確信中心値の差を、サンプル数で重みづけ平均してECEを計算する。③信頼性図を描き、過信ビンを特定する。④判定基準(例:ECE<0.05合格)を先に決めておく。第十二章EXP-01と特集R9の較正計算機が、そのまま手順書として使えます。
コンテンツの来歴(誰が・いつ・どのように作ったか)を暗号的に記録する標準(C2PA)や、生成物に検出可能な痕跡を埋め込む技術(透かし)です。確信の「内容」ではなく「出自」を検証するインフラであり、第十三章の信頼の四層のうち出自層・来歴層を守ります。万能ではないため、検証の文化と制度層とセットで機能します。
あります。ブライアスコアやログスコアのようなproper scoring ruleは、正直な確信表明だけが最適になるように報酬を設計する装置です。予測市場は、分散した個人の確信を価格として集約・較正する制度的な装置です。第十四章が扱う「確信の市場」の中心概念です。
組織が確信をどう扱っているかを5段階で評価する枠組みです。L1場当たり的、L2計測、L3設計、L4常時検証、L5文化。6つの次元(計測・棄権・根拠・監視・組織・教育)で評価し、総合レベルと最弱次元を特定します。特集R10の自己診断で、自分の組織の現在地を測れます。
教えられます。人間にはスコアリングルール付きの予測練習とフィードバックが、機械には較正報酬・棄権の報酬整形・「わからない」の訓練データが、組織には監査の習慣化が効きます。第十五章は、この三つの教室の教育学です。較正は才能ではなく、環境と訓練の産物です。