Энтропийная скорость

Теория информации

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость является пределом совместной энтропии[англ.] членов процесса , поделённым на , при стремлении к бесконечности:

если предел существует. Альтернативно, связанной величиной является:

Для сильно стационарных стохастических процессов . Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности[англ.]. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении[1].

Энтропийная скорость для марковских цепей

[править | править код]

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова , определённом на счётном числе состояний, заданных матрицей переходов , , задаётся выражением:

,

где является асимптотическим распределением[англ.] цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

Примечания

[править | править код]
  1. Einicke, 2018, с. 1097–1103.

Литература

[править | править код]
  • Einicke G. A. Maximum-Entropy Rate Selection of Features for Classifying Changes in Knee and Ankle Dynamics During Running // IEEE Journal of Biomedical and Health Informatics. — 2018. — Т. 28, вып. 4. — doi:10.1109/JBHI.2017.2711487.
  • Cover T., Thomas J. Elements of Information Theory. — John Wiley and Sons, Inc., 1991. — ISBN 0-471-06259-6. Архивировано 16 декабря 2012 года.