結合エントロピー(けつごうエントロピー、英: joint entropy)とは、情報理論における情報量の一種。結合エントロピーは、2つの確率変数の結合した系でのエントロピーを表す。確率変数
と
があるとき、結合エントロピーは
と記される。他のエントロピーと同様、単位は対数の底によってビット (bit)、ナット (nat)、ディット (dit) が使われる。
確率変数
があるとき、そのエントロピー
は
の値の不確かさを表す。
について、イベント
が発生する確率が
であるとき、
のエントロピーは次のようになる。
![{\displaystyle H(X)=-\sum _{x}p_{x}\log _{2}(p_{x})\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f290d2fc7308d33345e315fbd7c77cd726ecb4b3)
もう1つの確率変数
では、イベント
が発生する確率が
であるとする。
のエントロピーは
で表される。
ここで、
と
が相互に関連したイベントを表しているとき、系全体のエントロピーは
にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。
は選んだ整数が奇数かどうかを表し、
は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって
となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。
ここで、考えられる結果の「対」
を全て考慮する。
それぞれの対の発生確率を
としたとき、結合エントロピーは次のようになる。
![{\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/613fb02acaab9189c001a94e4311d4155a16daaf)
上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。
![{\displaystyle P({\text{even}},{\text{prime}})=P({\text{odd}},{\text{not prime}})=1/8}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4f98bc95fe63e60e9cd689464fe52276d4ba65d7)
![{\displaystyle P({\text{even}},{\text{not prime}})=P({\text{odd}},{\text{prime}})=3/8}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fa3e2a34c7ad40332a8c8a65b44c970e8632a63a)
以上から、結合エントロピーは次のようになる。
![{\displaystyle -2{\frac {1}{8}}\log _{2}(1/8)-2{\frac {3}{8}}\log _{2}(3/8)\approx 1.8~{\text{bits}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cbfb9d7dd6264273432d7515b1dd87208102f700)
結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。
![{\displaystyle H(X,Y)\geq H(X)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea4715679f7d991e39bd9d0a756b96055cb02c2f)
この不等式が等式になるのは、
が
の(決定的)関数になっている場合だけである。
が
の(決定的)関数であるとき、以下も成り立つ。
![{\displaystyle H(X)\geq H(Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/03bec4a35f5518c54460f7ddd8c02037df2f54f5)
2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。
![{\displaystyle H(X,Y)\leq H(X)+H(Y)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/82b29f9b502c7ab9a4fa9e29b7b7093e3671abbd)
この不等式が等式になるのは、
と
に確率論的独立性がある場合だけである。
他のエントロピーと同様、常に
が成り立つ。
結合エントロピーは、次のように条件付きエントロピーの定義に使われる。
![{\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/59dbaa18d0b2ccb2c0d538c1c13796f6d1b26559)
また、次のように相互情報量の定義にも使われる。
![{\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/17de08cb1c7f4d623593a5e21fa047ec1771dfb5)
- Theresa M. Korn; Korn, Granino Arthur. Mathematical Handbook for Scientists and Engineers: Definitions, Theorems, and Formulas for Reference and Review. New York: Dover Publications. pp. 613-614. ISBN 0-486-41147-8