Ανισότητα Γκιμπς

Στα μαθηματικά, η ανισότητα Γκιμπς ή ανισότητα πληροφορίας (αναφέρεται και ως ανισότητα Gibbs) λέει ότι για οποιεσδήποτε δύο διακριτές κατανομές ${\displaystyle p=(p_{1},\ldots ,p_{n})}$ και ${\displaystyle q=(q_{1},\ldots ,q_{n})}$, ισχύει ότι^[1]:34

${\displaystyle -\sum _{i=1}^{n}p_{i}\log p_{i}\leq -\sum _{i=1}^{n}p_{i}\log q_{i}}$.

Η ανισότητα παίρνει το όνομά της από τον Τζοσάια Γουίλαρντ Γκιμπς.

Αποδείξεις

Απόδειξη με ανισότητα Τζένσεν

Θα χρησιμοποιήσουμε την εξής μορφή της ανισότητας Τζένσεν για κοίλη συνάρτηση ${\displaystyle f}$ και τυχαία μεταβλητή ${\displaystyle X}$:

${\displaystyle E[f(X)]\geq f(E[X]).}$

Θεωρούμε την τυχαία μεταβλητή ${\displaystyle X}$ με κατανομή την ${\displaystyle p}$ και την συνάρτηση ${\displaystyle f(x)=\log x}$, που είναι κυρτή. Επομένως,

${\displaystyle -\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)=\sum _{i=1}^{n}p_{i}\log \left({\tfrac {q_{i}}{p_{i}}}\right)=E\left[\log \left({\tfrac {q_{x}}{p_{x}}}\right)\right]\geq \log \left(E\left[{\tfrac {q_{x}}{p_{x}}}\right]\right)\geq \log \left(\sum _{i=1}^{n}p_{i}{\tfrac {q_{i}}{p_{i}}}\right)=\log \left(\sum _{i=1}^{n}q_{i}\right)=\log 1=0}$.

Αναδιατάσσοντας, λαμβάνουμε την ανισότητα Γκμιπς,

${\displaystyle -\sum _{i=1}^{n}p_{i}\log \left({\tfrac {p_{i}}{q_{i}}}\right)\geq 0\Leftrightarrow -\sum _{i=1}^{n}p_{i}\log p_{i}\geq -\sum _{i=1}p_{i}\log q_{i}}$.

Απόδειξη με ανισότητα λογαρίθμου-αθροίσματος

Η ανισότητα λογαρίθμου-αθροίσματος δίνει ότι για οποιεσδήποτε ακολουθίες ${\displaystyle a_{1},\ldots ,a_{n}}$ και ${\displaystyle b_{1},\ldots ,b_{n}}$^[2]:31

${\displaystyle \sum _{i=1}^{n}a_{i}\log \left({\frac {a_{i}}{b_{i}}}\right)\geq a\log \left({\frac {a}{b}}\right)}$,

όπου ${\displaystyle a=\sum _{i=1}^{n}a_{i}}$ και ${\displaystyle b=\sum _{i=1}^{n}b_{i}}$.

Θέτοντας ${\displaystyle a_{i}=p_{i}}$ και ${\displaystyle b_{i}=q_{i}}$, τότε ${\displaystyle a=b=1}$, λαμβάνουμε

${\displaystyle \sum _{i=1}^{n}p_{i}\log \left({\frac {p_{i}}{q_{i}}}\right)\geq 1\log \left({\frac {1}{1}}\right)=0}$.

Αναδιατάσσοντας όπως στην προηγούμενη απόδειξη, λαμβάνουμε το ζητούμενο.

Δείτε επίσης

• Εντροπία πληροφοριών
• Απόκλιση Kullback–Leibler (Χρησιμοποιείται στην απόδειξη ότι η απόκλιση είναι πάντοτε μη-αρνητική)
• Θεωρία πληροφορίας
• Ανισότητα λογαρίθμου-αθροίσματος

Παραπομπές

1. MacKay, David J. C. (2003). Information Theory, Inference and Learning Algorithms (PDF). Cambridge: Cambridge University Press. ISBN 978-0521642989. 
2. Cover, T. M. (2006). Elements of information theory (2η έκδοση). Hoboken, N.J.: Wiley-Interscience. ISBN 978-0471241959.