ECEだけでは、
確信を測りきれない。

先に結論

1. 較正・正確さ・識別力を分ける

現代のニューラルネットワークの較正を代表的に検証した研究の一つがGuo et al. (ICML 2017)です。同研究はニューラルネットが高い正解率を持ちながら、確率としてはうまく較正されていない場合を調べ、温度スケーリングという後処理を評価しました。

ここから重要な区別が生まれます。正確さは答えが当たった割合、識別力は正しい例を誤った例より上位に置く力、較正は確率の値が実際の頻度と合うかです。ひとつが良くても、他が良いとは限りません。

ここでのECEは、確信を複数の区間（bin）に分ける代表的な実装です。bin数、等幅か分位点か、空binの扱い、サンプル数は結果の解釈に影響します。比較時は実装条件を固定してください。

2. Brier scoreは何を足してくれるか

Brier scoreは、確率予測と実現した結果（0/1）の二乗誤差を平均します。確率を正解に近づけるほど小さくなり、正解に0.51を出すより0.90を出すことの価値も、外したときの痛みも反映します。

一方、ECEは「ビン内の平均確信と正答率の差」を見るため、個々の予測がどれほど鋭かったかを直接採点しません。極端に言えば、すべてを0.5と出して正答率が50%なら、粗いビンではECEが0になる可能性があります。それでも、どの例が危ないかを区別できず、棄権や人間へのルーティングには役立ちません。

ECEは「平均的な計器のズレ」、Brier scoreは「各予測に対する採点」。どちらか一方を信頼性の総合点にしない。

3. Brier・ECE・信頼性図を同じデータで見る

下の入力は、6件の二値予測を使った小さな監査です。確率 p と結果 y を変えると、Brier score、5ビンのECE、最大ビン誤差、信頼性図が同時に更新されます。数値は説明用であり、モデル評価のサンプルサイズを満たしません。

「全件0.5」プリセットでは、結果の構成がちょうど半分ならECEが0になる一方、Brierは0.25で、予測はどの例も区別していません。これはECEが間違っているという話ではなく、一つの集約値が答えられる問いに限界があるという話です。

4. ECEの限界とLLMでの注意

ECEは便利ですが、推定量としての弱点があります。binの境界を変えると値が変わり、少数データではビン内の正答率が不安定になり、異なるデータ分布で平均すると問題のあるサブグループが隠れます。MCEは最大のズレを拾いますが、1つの小さなbinに大きく反応します。

LLMではさらに、何を確率の単位にしたかが重要です。選択肢問題のtop-1確率、回答全体のverbalized confidence、token probability、意味クラスタの頻度は同じ量ではありません。Full-ECEは、語彙が大きく分布全体を扱うLLMのtoken-level calibrationに対して、従来のECEやclasswise-ECEとは異なる全分布の較正を提案したpreprintです。分類タスクの5-bin ECEと置き換えるのではなく、対象が違う指標として読みます。

少数例のaccuracyや固定threshold coverageは、点推定だけでなく二項比率の区間も併記します。信頼性図ツールでは、binごとのaccuracy、group・split・thresholdごとのaccuracy／coverageにWilson 95%区間を表示しますが、これは固定した条件での区間です。ECE全体の区間ではなく、thresholdを同じデータで選んだ不確実性、依存した行、モデルや分布の不確実性も含みません。Arrieta-Ibarra et al. はbin幅と統計的信頼性・解像度のトレードオフを整理し、Sun et al. のpreprintは別定義のℓ₂ ECEに対する区間推定を扱っています。

較正map・threshold選択・最終評価のデータを分ける

temperature scaling、isotonic regression、その他のcalibration mapや棄権thresholdは、正解ラベルを見て選ぶ調整です。調整候補を見比べた行を、そのまま最終ECE・risk-coverage・AUGRCの報告にも使うと、数値は「未知のholdoutで一度だけ測った値」ではなく、選択に使ったデータ上の値になります。直ちにすべてが無効になるという意味ではありませんが、最終評価としての解釈が変わるため、役割と選択履歴を記録します。

Kängsepp et al. は、ECEをtestデータ上で関数族を当てはめる視点から読み直し、bin選択やcross-validation tuningを含む評価設計を論じた査読済み研究です。これは「同じデータなら必ず一定方向に偏る」という定理としてではなく、評価指標やbin条件がデータを見て選ばれていないかを点検する警告として使います。Jiang et al. のTACL研究も、LLMの較正をモデル・QAデータセット・post-hoc手法の条件付きで比較しており、単一の較正値をモデル一般へ移さない読み方を補強します。

較正が合っていても、確率として一貫しているとは限らない

較正は「確信の値と正解頻度が合うか」を見る重要な軸ですが、それだけで確信が一貫した確率として解釈できるとは限りません。Matta et al. は、LLMのconfidenceをstructural coherence・faithfulness・usefulnessの3軸で評価するC1 metricsを提案し、較正誤差が下がっても構造的な違反が残りうると論じています。

C1の軸はECEの代替となる単一総合点ではありません。各論文の定義、評価分布、ラベル、下流目的を固定し、較正・構造的一貫性・faithfulness・usefulnessを別々に報告します。

5. 評価分布が変わったら、較正を再検証する

較正は、ある評価分布の中で「このconfidence帯の正答率がどれくらいか」を測る性質です。モデル、system prompt、ツール、利用者、地域、季節、質問タイプが変われば、同じthresholdや温度スケーリングをそのまま持ち越せるとは限りません。過去の検証データでECEが小さかったことと、現在の入力でも信頼できることは別の主張です。

既存の信頼性図ツールでは、3列目のgroupを`2026-08`、`model-v2`、`task-A`のような評価単位にし、4列目のsplitを`calibration`、`selection`、`test`のようにして、同じ入力形式から粗い差分を確認できます。ただし、group・split表は分布距離やシフトの因果効果を推定する検定ではありません。ラベルのない本番ログから、confidenceだけで「較正が崩れた」とは結論しないでください。

分布shiftの監視は、入力分布の変化を見つけることと、正解ラベル付きの較正劣化を測ることを分けて行います。前者だけで後者を推定したり、過去のcalibration setを現在の運用保証と呼んだりしません。group別の信頼性図ツールで評価単位を分ける ↗

6. 較正された確率でも、棄権方針は別問題

「確信0.8が約8割正しいか」は較正の問いです。一方、「どの回答をそのまま返し、どれを棄権・再検索・人間へ移譲するか」は選択的予測の問いになります。回答した割合をcoverage、回答を残した集合の誤り率をselective riskとして記録すると、確率の意味と運用上の境界を分けて評価できます。

しきい値を下げれば回答数は増えやすい一方、危険な回答が混ざる可能性があります。人間移譲では、残った回答のriskだけでなく、移譲率・待ち時間・確認コスト・誤りの重大さも下流の効用として定義します。したがって、ECEが小さいモデルを選ぶだけでは、棄権方針の良し悪しは決まりません。

固定の運用点と、複数thresholdの方法比較を分ける

「coverageを80%にして、残した回答の誤り率は何%か」は、特定の運用点を決める問いです。一方、confidence scoring functionやモデルを複数thresholdで比較するなら、固定点を一つ選ぶだけでは順位づけを取りこぼします。Traub et al. は、受理された集合の条件付き誤り率（selective risk）と、失敗かつ受理された同時確率（generalized risk）を分け、後者をcoverage全体で積分するAUGRCを提案しました。

2026年の補足：promptごとのcoverageをどう扱うか

同じしきい値を全promptへ適用すると、簡単な質問と未知領域の質問で回答率・誤り率が混ざります。近年の研究は、入力ごとの難しさを校正へ入れる方向と、open-ended生成でconfidenceを棄権判断へ接続する方向を分けて提案しています。

CPのcoverage保証は、校正データ、exchangeability、score、正解ラベル、保証の単位に依存します。marginal coverageとconditional coverage、回答率、selective risk、AUGRCを同じ「coverage」や「較正」と呼ばないでください。このページの内蔵二値・5-bin監査はAUGRCを実装していません。複数thresholdの経験的なAUGRCは信頼性図ツールで確認できますが、CAPや新しいpreprintを実装したものではありません。

7. 確信の測り方は、アクセス権でも変わる

同じ「確信度推定」でも、観測できる情報が違えば答えられる問いが変わります。出力だけを受け取るAPI、token likelihoodや内部状態を読めるモデル、訓練データへアクセスできる実験環境を、同じベンチマークの数字として混ぜないことが重要です。

8. 研究から見える「平均の罠」

この研究を、すべての医療LLMに対する一般的な結論として引用しません。ここから得られる実装上の示唆は、全体平均のECEだけで運用可否を決めず、実際の業務単位で層別して指標を出すことです。記事の対象は医療に限定されませんが、用途ごとに確信の意味が変わることを具体的に示すケースとして扱っています。

9. 較正監査のチェックリスト

1. 確率の意味を固定する。 正解確率、回答全体の自己申告、token確率を同じ列に入れない。
2. 評価データを分ける。 train、calibration map、候補・threshold選択、final testの役割を記録し、調整に使った行を最終評価の主張へ混ぜない。
3. 保証の単位を分ける。 marginal coverage、conditional coverage、回答率、selective riskが、どのprompt集合・分割・ラベルに対する値かを記録する。
4. bin条件を記録する。 bin数、等幅/分位点、空bin、重み、信頼区間をレポートに残す。
5. 平均を分解する。 タスク、難易度、言語、モデル、質問タイプ、会話ターンなど、運用上意味のある層で確認する。
6. 較正以外の合格条件を定義する。 structural coherence、faithfulness、usefulnessを別に測り、ECEが小さいことだけで確率の妥当性や下流の効用を合格にしない。
7. 必要な信号を確認する。 white-boxのlogit・hidden state・表現空間を使う方法を、出力だけのAPIで使える方法と同じ前提にしない。
8. 意思決定までつなぐ。 閾値未満を検索・再生成・確認質問・人間へ回したときのcoverage-riskを測る。
9. 更新後に再較正する。 モデル、system prompt、ツール、データ分布の変更は、過去の較正をそのまま保証しない。

棄権しきい値を動かしたときの回答率と正答率のトレードオフは、トップ特集の選択的予測シミュレーターで確認できます。較正指標とrisk-coverageは補完関係にありますが、同じ問いに答える数値ではありません。

参照した一次情報

• Guo, Pleiss, Sun & Weinberger (2017), On Calibration of Modern Neural Networks, ICML / PMLR 70:1321–1330. PMLR ↗
• Kängsepp, Valk & Kull (2025), On the Usefulness of the Fit-on-the-Test View on Evaluating Calibration of Classifiers, Machine Learning 114, 105. DOI ↗
• Jiang, Araki, Ding & Neubig (2021), How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering, TACL 9, 962–977. ACL Anthology ↗
• Brier (1950), Verification of Forecasts Expressed in Terms of Probability, Monthly Weather Review 78, 1–3. AMS ↗
• Testoni & Calixto (2026), Mind the Gap: Benchmarking LLM Uncertainty and Calibration with Specialty-Aware Clinical QA and Reasoning-Based Behavioural Features, EACL 2026, 2364–2382. ACL Anthology ↗
• Tayebati et al. (2025), CAP: Conformalized Abstention Policies for Context-Adaptive Risk Management for LLMs and VLMs, Proceedings of the 17th Asian Conference on Machine Learning, PMLR 304:926–941. PMLR ↗
• Rubashevskii et al. (2026), Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models, arXiv preprint. arXiv ↗
• Xu et al. (2026), Geometry-Calibrated Conformal Abstention for Language Models, arXiv preprint. arXiv ↗
• 吉川和・岡崎直観 (2025), 訓練データを用いた言語モデル生成の確信度推定, 自然言語処理 32(1), 91–113. J-STAGE ↗
• Liu et al. (2024), Full-ECE: A Metric For Token-level Calibration on Large Language Models, arXiv preprint. arXiv ↗
• Matta, Naphade & Zou (2026), Rethinking Uncertainty Evaluation in Large Language Models, arXiv preprint / comments: ICML 2026 EIML Workshop. arXiv ↗
• Agnimo et al. (2026), Evaluating the Relevance of Uncertainty Estimators for LLM Hallucination, arXiv preprint. arXiv ↗
• Ovadia et al. (2019), Can You Trust Your Model’s Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift, NeurIPS 32. NeurIPS ↗
• Seegmiller & Preum (2026), Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance, ACL 2026, 32685–32704. ACL Anthology ↗
• Tan et al. (2026), BaseCal: Unsupervised Confidence Calibration via Base Model Signals, ACL 2026, pp. 5172–5187. ACL Anthology ↗
• Traub et al. (2024), Overcoming Common Flaws in the Evaluation of Selective Classification Systems, NeurIPS 38. NeurIPS ↗
• Brown, Cai & DasGupta (2001), Interval Estimation for a Binomial Proportion, Statistical Science 16(2), 101–133. Project Euclid ↗
• Arrieta-Ibarra et al. (2022), Metrics of Calibration for Probabilistic Predictions, JMLR 23(351), 1–54. JMLR ↗
• Sun, Chaudhari, Barnett & Dobriban (2024), A Confidence Interval for the ℓ₂ Expected Calibration Error, arXiv preprint. arXiv ↗

書誌情報・研究ステータスは2026-09-04に各一次情報で再確認しました。Matta et al. とAgnimo et al. は査読前preprintとして扱い、特定タスクの結果をLLM全般へ一般化していません。

次に読む