【論文解説】Epiplexityとは？AIの情報理論を再定義する新概念

画像を回転させても、写っている情報は増えません。データの並び順を変えても、集合が持つ情報量は変わりません。シャノンの情報理論はそう教えてきました。それなのに、画像を回転・反転させる「データ拡張」は画像認識モデルの精度を上げ、データを並べる順番を工夫する「カリキュラム学習」は学習効率を上げます。情報量を1ビットも増やしていないのに、なぜモデルの性能は変わるのか。

2026年1月、CMUとNYUの研究者ら（Marc Finzi, Shikai Qiu, Yiding Jiang, Pavel Izmailov, J. Zico Kolter, Andrew Gordon Wilson）がarXivに投稿した論文（2601.03220）は、この矛盾に「Epiplexity（エピプレキシティ）」という新しい尺度で答えようとしています。情報量そのものではなく、有限の計算資源しか持たないモデルが実際に取り出せる情報量——「学習しやすさ」を測る数です。

なぜこの論文を今読んだか（と、どこまで信じるか）

先に断っておきます。私は情報理論の専門家ではなく、Epiplexityという数学的主張そのものの当否を判定できる立場にありません。この記事は、査読前の一次資料を実務者として読み、何が使えそうで何がまだ使えないかを整理したものです。

実務者としてこの論文に関心を持った理由は単純です。データの「量」を増やす判断は誰でもすぐにできますが、それが本当に効いているのかを検証する物差しを、私たちはあまり持っていません。量を増やしても性能が頭打ちになる場面を、多くのチームが「なんとなく」経験しながら、それを言語化する尺度がなかったのだと思います。Epiplexityは、この「なんとなく」に理論的な輪郭を与えてくれるかもしれない、というのが最初の関心でした。

それでも実務者として賭けたい一点があります。この論文の含意——データは量ではなく、有限の計算資源しか持たないモデルにとっての学習しやすさで選ぶべきだ——は、事前学習やファインチューニングのデータ設計で一番効くレバーだと考えています。一方で、Epiplexityの計算コストは重く、論文自身が今後の課題として計算効率化を挙げている（後述）とおり、明日から回せる実務指標ではありません。だから私は、概念としては賭ける、実務指標としては当面見送る、という立場を取ります。

Transformerの仕組みやChain-of-Thought推論を扱った過去記事を読んだ方には、「有限パラメータ・SGDで学習するモデルが、実際には何を学習できるのか」を測る理論レイヤーの話として読んでもらえるはずです。

前提：情報量と「学習可能性」は別物

Epiplexityの主張を追う前に、2つの言葉を切り分けておきます。

情報量とは、シャノンが定義した符号長のことです。

H(X) = -Σ p(x) log p(x)

データXを完全に記述するのに必要な最小ビット数で、分布 p(x) さえわかれば計算できる理論値です。

一方、学習可能性とは、有限のパラメータ数と勾配降下法という限られた手段しか持たないモデルが、実際に取り出せる情報量のことです。理論上そこにある情報量と、現実のモデルが引き出せる情報量は、同じではありません。Epiplexityは後者を測ろうとする尺度です。

もう1つ、先に名前をつけておきます。Prequential Coding（予測しながら圧縮する符号化）です。データを1つずつ予測しては符号化し、そのたびにモデルを更新する、という手続きを指します。「予測 → 符号長 -log p を払う → モデルを更新する」を最後まで回したときの符号長の期待値が、Epiplexityの正体です（定義は後述します）。

シャノンの情報理論では説明できない理由

クロード・シャノンが1948年に提唱した情報理論は、次の前提の上に成り立っています。

• 分布 p(x) が既知である
• 最適な符号を構築できる無限の計算資源がある
• 復号にも無限の計算資源がある

対して、実際のAIモデル（GPT、BERT、ResNetなど）が置かれている状況は正反対です。

この乖離こそが、「情報量は変わらないのに性能が変わる」という一見矛盾した現象の温床です。シャノンの尺度は、無限の計算資源を持つ理想化された観測者にとって何が学べるかを測るものであり、有限のパラメータとSGDしか持たないモデルにとって何が学べるかは、別の尺度が必要になります。

3つの矛盾を、1つの尺度でとらえ直す

論文は3つの現象を取り上げ、いずれも従来の情報理論では説明できないことを示した上で、Epiplexityが統一的に説明できると主張しています。1つ目を機構まで追い、残り2つは密度を落として触れます。

決定論的変換で情報が増えて見える

データ拡張（Data Augmentation）は、画像を回転・反転・ノイズ付加することでモデルの精度を上げる、画像認識では定番の技術です。ところが情報理論の教科書的な結論はこうです。決定論的な変換は情報量を増やさない。H(f(X)) ≤ H(X) という不等式が示す通り、変換は情報を減らすことしかできません。回転や反転は入力Xに対する決定論的な関数fであり、新しい情報を生み出す余地はどこにもないはずです。

それなのに、実際にデータ拡張を施すとモデルの性能は明確に上がります。この矛盾をEpiplexityはこう説明します。回転や反転によって情報量そのものは増えていなくても、学習可能性——計算資源が有限なモデルが実際に学習できる側面——は増える、と。同じ情報を、モデルが勾配降下法で拾いやすい形式に何度も提示し直しているということです。情報の量ではなく、モデルというレンズを通したときの取り出しやすさが変わる。これがEpiplexityが測ろうとしている差分です。

データの順序が結果を変える

カリキュラム学習（Curriculum Learning）は、簡単なデータから難しいデータへと学習順序を工夫する技術です。データ集合が持つ情報量そのものは、要素をどう並べ替えても変わりません。しかし現実には、学習順序によって最終的なモデル性能は大きく変わります。SGDで学習するモデルにとって「いつ・どの情報を吸収できるか」は順序に依存するため、Epiplexityという尺度自体が順序依存性を持つように定義されています。情報量が順序不変であるのに、学習可能性は順序に依存する。この非対称性が、カリキュラム学習が効く理由です。

予測を学習しただけなのに、応用が利く

LLMの事前学習は、次のトークンを予測する尤度最大化だけを目的にしています。にもかかわらず、分類・生成・推論など、学習時に明示的に教えていないタスクでも高い性能を発揮します。「尤度モデリングは単に学習データの分布を再現しているだけ」という従来の理解では、この汎化は説明がつきません。論文の立場は、モデルが単なる分布マッチングではなく構造的なパターンを学習しているというもので、Epiplexityはこの構造化された学習を評価する尺度として設計されています。この理屈は、Chain-of-Thought推論を扱った記事で触れたGSM8K実験（PaLM 540Bで標準プロンプトの17.9%からCoTプロンプトで58.1%へ改善）のような、訓練時に明示していない能力が条件を変えるだけで引き出される現象に、理論的な裏付けを与えるものとして読めます。

Epiplexityの定義：「予測しながら圧縮する」符号長

Prequential Codingを手続きとして書くと、次のようになります。

def prequential_codelength(data, model, learning_algorithm):
    total_codelength = 0

    for i, x_i in enumerate(data):
        # 現在のモデルでx_iを予測
        prob = model.predict_probability(x_i)
        codelength = -log(prob)
        total_codelength += codelength

        # モデルを更新
        model = learning_algorithm.update(model, x_i)

    return total_codelength

現在のモデルでデータを予測し、外れた分だけ符号長 -log p を払い、モデルを更新する。これをデータの最後まで繰り返した符号長の期待値がEpiplexityです。数式で書くと次のようになります。

Epiplexity(P | M, A) = E[Σ -log p_θ_t(x_{t+1})]

ここで θ_t は、データ x_1, ..., x_t を学習した後のモデルパラメータです。

エントロピーとの関係は次の表の通りです。

重要な性質は Epiplexity ≥ Entropy です。どんなモデル・学習アルゴリズムを使っても、シャノンエントロピー未満にはなりません。つまりEpiplexityはエントロピーを置き換える指標ではなく、エントロピーという理論的下限の上に「この計算資源でどこまで近づけるか」を測る指標です。私がエントロピーを捨てない理由もここにあります。理論的な下限を知らなければ、Epiplexityの値が良いのか、まだ改善余地があるのか判断できません。

論文が示した証拠

論文は、Epiplexityを使ったデータ選択が下流タスクの性能と相関することを実験で示しています。手順は、複数のデータセットに対してEpiplexityを計算し、同じアーキテクチャのモデルで学習した上で下流タスク性能を測定し、両者の相関を見る、というものです。結果として、Epiplexityが低い（効率的に学習できる）データセットほど下流タスクの性能が高い傾向が確認されています。

論文のアブストラクトはこの実験について、データソース間の差異を捉え、下流性能と連動し、OOD汎化を改善するデータセット介入を明らかにする、という趣旨の記述をしています。ただし、具体的な相関係数やベンチマーク名、性能改善幅といった数値は、本記事が参照した範囲（アブストラクトおよび元記事の記載）には明示されていません。実験セクション本文まで確認しないと定量的な強さは判断できない、というのが正直なところです。

OOD汎化（Out-of-Distribution汎化。学習時に見たことがないデータ分布への対応力）との関係については、論文は次のような機構を想定しています。Epiplexityが低いデータで学習すると構造的パターンを効率的に学習し、その構造的パターンは新しいドメインでも有効に働くため、結果としてOOD性能が向上する、という筋道です。

実務のレバー：どこで効き、どこでは使えないか

Epiplexityという指標そのものを明日から自社のパイプラインに組み込むのは、現時点では現実的ではありません。論文自身が今後の研究方向として大規模言語モデルでのEpiplexity計算の効率化（現状は計算コストが高い）を挙げているとおり、計算コストが実務投入のボトルネックです。

一方で、指標としては使えなくても、考え方としては今日から使えます。データセットを「量」で評価するのをやめて、モデルが学習しやすい形式になっているか、簡単から難しいへの順序になっているか、構造的なパターンの多様性があるかで評価し直す、という発想の転換です。これは、自己進化AIエージェントのサーベイが説くOptimizerの発想——何を更新すべきかを判断し続ける役割——を借りるなら、データ選択やカリキュラム設計という一角にも、量ではなく学習しやすさで測るという視点を持ち込める、という話として読めます。

この転換は、口で言うほど簡単ではありません。データセットの「量」を評価するだけなら、行数やトークン数を数えれば済みます。ですが「学習しやすい形式になっているか」「順序が適切か」を評価するには、モデル側の挙動を見ながら仮説と検証を繰り返す必要があり、評価そのものの手間が増えます。この手間を惜しんで量に頼ってしまうことが、データ設計の議論が「量」だけに留まりがちな理由ではないかと考えています。

私の判断と、次に試すこと

ここまでの整理を、要約ではなく判断として書き直します。Epiplexityという数式・計算手続きの当否は、私には判定できません。ただし、この論文が投げかけている問い——データの価値を量ではなく学習しやすさで測れないか——には、実務者として乗る価値があると判断しました。計算コストの重さゆえに、Epiplexityそのものを指標として今のデータパイプラインに組み込むのは当面見送ります。

次にデータセットを設計する機会があれば、Epiplexityという数式そのものを実装する前に、その手前にある問い——量を増やす前に、順序と前処理を疑う——から検証するつもりです。理由は単純で、計算コストの重いEpiplexityの実装を待つより、既存のデータに対する並べ替えや前処理の工夫のほうが、今のリソースですぐに手を付けられるからです。

読者の方には、この記事の内容を「量より学習しやすさ」という1つの問いとして持ち帰ってもらえれば十分です。自社のデータセットが十分な量にもかかわらず性能が頭打ちだと感じたら、量を増やす前に、順序と前処理を先に疑ってみる価値があるかもしれません。

参考リソース

• 論文: Epiplexity（arXiv 2601.03220）
• シャノンの情報理論（Wikipedia）
• Data Augmentation解説（PyTorch）
• Curriculum Learning論文（arXiv）