考える時間が増えても、
確信は自動で正しくならない。

Preprint / arXiv:2606.24281 / 2026-06-23

CALIBER: Calibrating Confidence Before and After Reasoning in Language Models

Finlay et al. は、推論前後の確信を同じ一つの値として扱わず、推論前は問題レベルの成功、推論後は実現した回答の正しさに対応する教師を使うCALIBERを提案しています。要旨では、BigMathDigitsの7Bモデルで単一確信ベースラインよりECEを52.5%低減し、Brier scoreとAUROCでも良好な結果を報告しています。

これは2026年6月時点のpreprintです。数値は要旨に示された評価条件の結果であり、査読済みの一般則やすべての推論モデルへの保証として扱いません。

EACL 2026 / Proceedings of the 19th EACL / pp. 1669–1754 / DOI: 10.18653/v1/2026.eacl-long.78

How Reliable are Confidence Estimators for Large Reasoning Models?

Khanmohammadi et al. は、臨床・金融・法律・数学と一般推論を含むデータから、6つの大規模推論モデルの347,496 reasoning traceを集めたRMCBを構築し、sequential・graph-based・text-basedなど10を超える表現ベースの確信推定法を比較しています。すべてのサンプルに正誤アノテーションがあるため、推定器の順位づけをaccuracyだけでなく、確信の識別力と確率の較正に分けて読めます。

要旨が報告する比較では、text-based encoderがAUROC 0.672、structurally-aware modelがECE 0.148でそれぞれ最良でしたが、両方を同時に支配する手法はありません。また、アーキテクチャを複雑にしても単純なsequential baselineを安定して上回るとは限らない、とされています。したがって実務では「最も高いAUROCの手法」をそのまま採用せず、誤答の順位づけ、確率のズレ、棄権時のcoverageを用途ごとに再測定します。

これは査読済みproceedingsのベンチマーク結果ですが、chunk-level hidden stateを中心とする表現ベース手法の比較です。論文の数値を、外部APIから得たverbalized confidence、claim-level factuality、あるいは本番の安全性へ一般化しません。

ACL 2026 / Proceedings of the 64th Annual Meeting / pp. 18375–18390 / DOI: 10.18653/v1/2026.acl-long.836

Calibration-Aware Policy Optimization for Reasoning LLMs

Wang et al. は、GRPOが不確実性を考慮しないadvantage estimationによって、正答率を改善する一方で較正を損なう可能性を分析し、CAPOを提案しました。抄録では、CAPO-1.5Bの較正改善、GRPOと同等以上の正答率、推論時スケーリングでの改善、低確信時のPareto-optimalなprecision–coverage trade-offを報告しています。

この研究が示すのは、reasoningの学習目的に較正を組み込む設計の一例です。既存APIの確信度を測るだけの監査、CAPのようなconformal abstention、推論前後の状態分離とは役割が異なります。

Findings of ACL 2026 / pp. 9952–9976 / DOI: 10.18653/v1/2026.findings-acl.484

Confidence over Time: Confidence Calibration with Temporal Logic for Large Language Model Reasoning

Mao et al. は、reasoning中のconfidenceを一つのscalarへまとめず、Signal Temporal Logic（STL）でstepwiseな変化を表現・マイニングする枠組みを提案しています。要旨では、時間的パターンがタスク間で一般化しうる一方、数値パラメータは質問に敏感であること、hypernetworkによる推定がbaselineより較正されることを報告しています。

ここから得る示唆は、推論後の一つのconfidenceだけでなく、時間順のログを残すことです。本ページの監査はSTLやhypernetworkを再現せず、推論前後の比較と説明用の記述統計に限定します。

Nature Machine Intelligence 8, 614–627 / 2026-04-22 / DOI: 10.1038/s42256-026-01217-9

Competing Biases underlie Overconfidence and Underconfidence in LLMs

Kumaran et al. は、初期回答を見せる／隠す、同じ助言／反対の助言、助言の正確さを操作した二段階実験を行いました。主実験ではGemma 3 12Bの都市緯度の二択課題を使い、初期回答を見せた条件と隠した条件で、答えを変える率が異なりました。助言役の回答も実在の別モデルではなく、条件として定義された制御刺激です。

この設計の価値は、確信の値だけでなく「確信に従って答えを変えるか」を同時に測れる点です。ただし、statelessな制御課題を、そのまま持続的なマルチターン対話の挙動とはみなしません。