Ανισότητα λογαρίθμου-αθροίσματος

Στα μαθηματικά, η ανισότητα λογαρίθμου-αθροίσματος λέει ότι για μη-αρνητικούς πραγματικούς αριθμούς $a_{1},\ldots ,a_{n}$ και $b_{1},\ldots ,b_{n}$ , ισχύει ότι^[1]^:31

\sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)\geq \left(\sum _{i=1}^{n}a_{i}\right)\log \left({\frac {\sum _{i=1}^{n}a_{i}}{\sum _{i=1}^{n}b_{i}}}\right).

Η ανισότητα βρίσκει αρκετές εφαρμογές στην θεωρία πληροφορίας.

Απόδειξη

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Γένσεν:

\lambda _{1}f(x_{1})+\ldots +\lambda _{n}f(x_{n})\geq f\left(\lambda _{1}x_{1}+\ldots +\lambda _{n}x_{n}\right),

για κάθε $x_{1},\ldots ,x_{n}$ και $\lambda _{1},\ldots ,\lambda _{n}\geq 0$ με $\lambda _{1}+\ldots +\lambda _{n}=1$ .

Έστω $a=\sum _{i=1}^{n}a_{i}$ και $b=\sum _{I=1}^{n}b_{i}$ . Τότε,

$\sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)=a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {a_{i}/a}{b_{i}/a}}\right)=-a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {b_{i}/a}{a_{i}/a}}\right).$

(1)

Χρησιμοποιώντας την παραπάνω μορφή της ανισότητας Γένσεν για την κυρτή συνάρτηση $f(x)=-\log x$ με $\lambda _{i}=a_{i}/a$ και $x_{i}={\frac {b_{i}/a}{a_{i}/a}}$ , έχουμε ότι

$-a\cdot \sum _{i=1}^{n}{\frac {a_{i}}{a}}\log \left({\frac {b_{i}/a}{a_{i}/a}}\right)\geq -a\cdot \log \left(\sum _{i=1}^{n}{\frac {a_{i}}{a}}\cdot {\frac {b_{i}/a}{a_{i}/a}}\right)\geq -a\cdot \log \left(\sum _{i=1}^{n}{\frac {b_{i}}{a}}\right)=-a\cdot \log \left({\frac {b}{a}}\right)=a\cdot \log \left({\frac {a}{b}}\right).$

(2)

Συνδυάζοντας τις (1) και (2) λαμβάνουμε την ζητούμενη ανισότητα.

Δείτε επίσης

Παραπομπές

↑ Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 978-0471241959.

[1] Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 978-0471241959.

[1]