Informazioaren teorian baldintzazko entropiak zera neurtzen du:
zorizko aldagaiaren balioa ezaguna izanik,
zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.
zorizko aldagai diskretuak
balioa hartzearen baldintzapean
zorizko aldagai diskretuaren entropia
notazioaz adierazten da.
aldagaiaren probabilitate-funtzioa
izanik, haren entropia (ez baldintzazkoa) horrela definitzen da:
, hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:
izanik
aldagaiak
balioa hartzeak ematen duen informazio kantitatea.
Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke
zorizko aldagai diskretuak
balioa hartzearen baldintzapean
zorizko aldagai diskretuak duen entropia:
aldagaiaren
balio posible guztietarako
balioen batez besteko haztatua kalkulatuz lortzen da
baldintzazko entropia.
![{\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\\end{aligned}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0604e1cb206a4dd659d84439d83704319feb71ec)
Konbenioa:
eta
espresioen emaitza zero dela onartzen da,
izanik.
- Oro har,
betetzen da.
eta
aldagaiak elkarrekiko independenteak badira,
betetzen da.
eta
aldagaiak elkarren mendekoak badira,
betetzen da, hau da, baldintzazko entropia zero izango da,
aldagaiaren balioa ezagutzearen ondorioz
aldagaia erabat zehaztuta geratzen bada.
- Aurreko propietatetik ondoriozta daiteke
betetzen dela.
- Bayesen teoremaren arabera, zera betetzen da:
![{\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/19d94407d6fcf7e76083457cd72c1c5efa049091)
betetzen da,
izanik
eta
aldagaien elkarrekiko informazioa.