聯合熵(粵拼:lyun4 hap6 soeng1;英文:joint entropy;符號:
)係指兩個隨機變數 X 同 Y 嘅共同訊息熵。條式係噉嘅[1]:
![{\displaystyle S(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e19517393fd3d0ec1e93a7191d29c555cb47aaf1)
;
當中
係指「X 數值等如 x 而同時 Y 數值等如 y 嘅機會率」,而成條式道理同基本嗰條訊息熵式道理一樣,都係諗嗮所有可能性,將每個可能性嘅機率乘以個機率嘅對數,跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立(其中一個數值係乜唔會影響另一個數值係乜)嘅,佢哋嘅聯合熵會等同佢哋各自嘅訊息熵相加,噉係因為當兩件事件係獨立嗰陣,以下呢條式會成立[1]:
;
;喺數學上已知,所以綜合呢兩條式,
。
- ↑ 1.0 1.1 MacKay, David J. C. Information Theory, Inference, and Learning Algorithms. Cambridge: Cambridge University Press, 2003. p. 141.