Baldintzazko entropia

Informazioaren teorian baldintzazko entropiak zera neurtzen du: ${\displaystyle X}$ zorizko aldagaiaren balioa ezaguna izanik, ${\displaystyle Y}$ zorizko aldagaia deskribatzeko behar den informazio kantitatea. Entropia kontzeptuaren hedapen bat da.

Definizioa

${\displaystyle X}$ zorizko aldagai diskretuak ${\displaystyle x}$ balioa hartzearen baldintzapean ${\displaystyle Y}$ zorizko aldagai diskretuaren entropia ${\displaystyle \mathrm {H} (Y|X=x)}$ notazioaz adierazten da.

${\displaystyle Y}$ aldagaiaren probabilitate-funtzioa ${\displaystyle p_{Y}{(y)}}$ izanik, haren entropia (ez baldintzazkoa) horrela definitzen da: ${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$, hau da, informazio-kantitatearen itxaropen matematikoa. Kalkuluak eginez, zera lortzen da:

${\displaystyle \mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},}$

${\displaystyle \operatorname {I} (y_{i})}$ izanik ${\displaystyle Y}$ aldagaiak ${\displaystyle y_{i}}$ balioa hartzeak ematen duen informazio kantitatea.

Antzeko moduan, baina baldintzazko itxaropen matematikoa erabiliz, defini daiteke ${\displaystyle X}$ zorizko aldagai diskretuak ${\displaystyle x}$ balioa hartzearen baldintzapean ${\displaystyle Y}$ zorizko aldagai diskretuak duen entropia:

${\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}$

${\displaystyle X}$ aldagaiaren ${\displaystyle x}$ balio posible guztietarako ${\displaystyle \mathrm {H} (Y|X=x)}$ balioen batez besteko haztatua kalkulatuz lortzen da ${\displaystyle \mathrm {H} (Y|X)}$ baldintzazko entropia.

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\\end{aligned}}}$

Konbenioa: ${\displaystyle 0\log 0}$ eta ${\displaystyle 0\log c/0}$ espresioen emaitza zero dela onartzen da, ${\displaystyle c>0}$ izanik.

Propietateak

• Oro har, ${\displaystyle \mathrm {H} (Y|X)\leq \mathrm {H} (Y)}$ betetzen da. ${\displaystyle X}$ eta ${\displaystyle Y}$ aldagaiak elkarrekiko independenteak badira, ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ betetzen da.

• ${\displaystyle X}$ eta ${\displaystyle Y}$ aldagaiak elkarren mendekoak badira, ${\displaystyle \mathrm {H} (Y|X)=0}$ betetzen da, hau da, baldintzazko entropia zero izango da, ${\displaystyle X}$ aldagaiaren balioa ezagutzearen ondorioz ${\displaystyle Y}$ aldagaia erabat zehaztuta geratzen bada.

• Aurreko propietatetik ondoriozta daiteke ${\displaystyle H(X|X)=0}$ betetzen dela.

• Bayesen teoremaren arabera, zera betetzen da: ${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

• ${\displaystyle \operatorname {I} (X;Y)\leq \mathrm {H} (X)}$ betetzen da, ${\displaystyle \operatorname {I} (X;Y)}$ izanik ${\displaystyle X}$ eta ${\displaystyle Y}$ aldagaien elkarrekiko informazioa.

Ikus, gainera

• Entropia (informazio-teoria)
• Elkarrekiko informazio
• Informazio kantitate

Kanpo estekak