在概率的数学理论中,非正式地说,一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程,熵率 Η(X) 是 n 个 Xk 过程作为成员的联合熵,在 n 趋向无穷时的极限:
![{\displaystyle \mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/074d2a8d89d6fa07ecc1d9020cf472bccbd8016e)
前提是该极限存在。另一种相关量为:
![{\displaystyle \mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e5265073abe3111705fb554d560c5e673b48d9fe)
对于强平稳随机过程,
熵率可以被认为是随机信源的一般特性;这是渐近均分割性。
因为由不可约、非周期性、持久性的马尔可夫链定义的随机过程呈平稳分布,熵率与初始分布无关。
例如,对于在可数状态下定义的,转移矩阵为 Pij 的马尔可夫链 Yk,Η(Y) 由下式给出:
![{\displaystyle \displaystyle \mathrm {H} (Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f98583fafeb4feeb0bb18431cc492e13b4fe2212)
其中 μi 是该链的平稳分布。
此定义的一个简单结果是,一个独立同分布的随机过程的熵率与该过程中的任何个别成员的熵相同。