Теорія інформації |
---|
![]() |
Диференціальна ентропія (англ. differential entropy, також англ. continuous entropy) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. Шеннон[1], однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і А. М. Яглом[ru], він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величини[2][3][4]. Для неперервної випадкової величини , розподіленої на (), диференціальна ентропія визначається як
де — густина розподілу випадкової величини (або сигналу неперервного джерела як випадкової величини). Вибір основи логарифма в цій формулі (яка має бути більшою від 1) визначає одиницю вимірювання відповідної кількості інформації. Так, у теорії інформації часто використовують двійковий логарифм, що відповідає одиниці кількості інформації біт, а функціонал інтерпретується як середня інформація неперервного джерела. У математичній статистиці у визначенні диференціальної ентропії з міркувань зручності зазвичай використовують натуральний логарифм (відповідна одиниця нат), функціонал інтерпретується як міра невизначеності неперервного розподілу.
Диференціальна ентропія не інваріантна відносно перетворень координат випадкової величини і не має самостійного сенсу. Більш того, якщо випадкова величина має розмірність, то функціонал диференціальної ентропії буде некоректним з точки зору розмірності (оскільки під знаком логарифма виявляється розмірна величина). Однак різниця диференціальних ентропій двох випадкових величин, розподілених на одній множині, є коректною, причому безрозмірною величиною і збігається з різницею їхніх ентропій (оскільки ентропія будь-якої неперервної випадкової величини нескінченна, при взятті різниці ентропій потрібно розкрити невизначеність, скориставшись асимптотичним розкладом)[3][4][5].
Таким чином, можливість виражати диференціальну ентропію в бітах (або інших одиницях) досить умовна: ситуація тут подібна до вимірювання температури в градусах Цельсія, які, хоча й збігаються за величиною з кельвінами, але не є абсолютною шкалою температури, а мають відносно неї деякий зсув (тому диференціальна ентропія, як і температура за шкалою Цельсія, може бути від'ємною). Відмінність полягає в тому, що у випадку з диференціальною ентропією цей зсув є нескінченним відносно абсолютної шкали, яка визначається значеннями ентропії. Тобто, абсолютну шкалу для ентропії неперервних розподілів обрати неможливо, але за допомогою диференціальної ентропії можна порівнювати ентропії різних розподілів.
У деяких джерелах[5] диференціальну ентропію розподілу інтерпретують як його ентропію відносно ентропії рівномірного розподілу на проміжку одиничної довжини, оскільки останній має рівну нулю диференціальну ентропію. Потрібно зауважити, що такий підхід не зовсім коректний, оскільки ентропія в неперервному випадку залежить від того, яким чином крок дискретизації при розбитті проміжку прямує до нуля. Лише в разі, коли розглядається один і той самий проміжок, можна вважати, що при обчисленні ентропії використовується однакова його дискретизація для кожного з розподілів, тоді різниця ентропій прямує до скінченної границі. У загальному випадку (за довільної дискретизації) різниця ентропій неперервних випадкових величин не прямує до жодної границі.
Умовна диференціальна ентропія для величини при заданій величині визначається такою формулою:
Безумовна і умовна диференціальні ентропії можуть бути як додатними, так і від'ємними величинами, а також можуть дорівнювати нескінченності. Ця обставина також вказує на те, що диференціальна ентропія (умовна і безумовна) має дещо інший сенс, ніж ентропія, яка завжди невід'ємна.
Для диференціальної ентропії виконуються рівності, аналогічні ентропії дискретного джерела:
У наведених нижче прикладах у визначенні диференціальної ентропії використовується натуральний логарифм, — дисперсія розподілу.
Візьмемо для визначеності біти. Отже основою логарифма буде 2.