Khoảng cách Jensen-Shannon

Trong lý thuyết xác suất và thống kê, khoảng cách Jensen-Shannon là một phương pháp phổ biến để đo sự tương đồng giữa hai phân bố xác suất. Nó dựa trên khoảng cách Kullback-Leibler với một điểm khác biệt quan trọng là nó luôn có giá trị hữu hạn. Căn bậc hai của khoảng cách Jensen-Shannon là một metric.^[1][2]

Định nghĩa

Đặt ${\displaystyle M_{+}^{1}(A)}$ là tập hợp các phân bố xác suất trong đó A là một tập hợp cùng với một σ-đại số gồm các tập con đo được. Cụ thể hơn, ta chỉ xem xét A là tập hợp hữu hạn hoặc đếm được với mọi tập con đều đo được. Khoảng cách Jensen-Shannon (JSD) ${\displaystyle M_{+}^{1}(A)\times M_{+}^{1}(A)\rightarrow [0,\infty {})}$ là phiên bản đối xứng và trơn của khoảng cách Kullback-Leibler ${\displaystyle D(P\parallel Q)}$. Nó được định nghĩa như sau

${\displaystyle JSD(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M)}$

trong đó ${\displaystyle M={\frac {1}{2}}(P+Q)}$ Nếu A là đếm được thì có định nghĩa tổng quát hơn cho phép so sánh nhiều hơn hai phân bố, như sau:

${\displaystyle JSD(P_{1},P_{2},\ldots ,P_{n})=H\left(\sum _{i=1}^{n}\pi _{i}P_{i}\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})}$

trong đó ${\displaystyle \pi _{1},\pi _{2},\ldots ,\pi _{n}}$ là trọng số của các phân bố ${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$ và ${\displaystyle H(P)}$ là entropy Shannon của phân bố ${\displaystyle P}$. Trong trường hợp chỉ có hai phân bố mô tả ở trên,

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\ }$

Giới hạn

Theo Lin (1991), khoảng cách Jensen-Shannon bị giới hạn bởi 1 khi lôgarit được tính theo cơ số 2.

${\displaystyle 0\leq JSD(P\parallel Q)\leq 1}$

Liên hệ với thông tin tương hỗ

Khoảng cách Jensen-Shannon đúng bằng thông tin tương hỗ giữa biến ngẫu nhiên ${\displaystyle X}$ phân phối theo một phân phối hỗn hợp ${\displaystyle M={\frac {P+Q}{2}}}$ và biến ngẫu nhiên ${\displaystyle Z}$ trong đó ${\displaystyle Z=1}$ nếu ${\displaystyle X}$ được lấy từ ${\displaystyle P}$ và ${\displaystyle Z=0}$ nếu ${\displaystyle X}$ được lấy từ ${\displaystyle Q}$.

${\displaystyle {\begin{aligned}I(X;Z)&=H(X)-H(X|Z)\\&=-\sum M\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&=-\sum {\frac {P}{2}}\log M-\sum {\frac {Q}{2}}\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&={\frac {1}{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{2}}\sum Q\left(\log Q-\log M\right)\\&=JSD(P\parallel Q)\end{aligned}}}$

Từ kết quả trên có thể suy ngay ra khoảng cách Jensen-Shannon nằm trong khoảng từ 0 đến 1 vì thông tin tương hỗ là không âm và bị chặn bởi ${\displaystyle H(Z)=1}$.

Các liên hệ khác

Khoảng cách Jensen-Shannon luôn lớn hơn hoặc bằng bình phương của khoảng cách Hellinger (Lin 1991).

${\displaystyle JSD(P\parallel Q)\geq H^{2}(P,Q)}$

Ghi chú

1. "A new metric for probability distributions". IEEE Trans. Inf. Theory. Quyển 49 số 7. 2003. tr. 1858–1860. doi:10.1109/TIT.2003.813506. {{Chú thích tạp chí}}: Đã bỏ qua tham số không rõ |authors= (trợ giúp)
2. "A new class of metric divergences on probability spaces and its statistical applications". Ann. Inst. Statist. Math. Quyển 55 số 3. 2003. tr. 639–653. doi:10.1007/BF02517812. {{Chú thích tạp chí}}: Đã bỏ qua tham số không rõ |authors= (trợ giúp)

Tham khảo

• Jensen-Shannon Divergence and Hilbert space embedding, Bent Fuglede and Flemming Topsøe University of Copenhagen, Department of Mathematics [1]
• Lin, J. (1991). "Divergence measures based on the shannon entropy" (PDF). IEEE Transactions on Information Theory. Quyển 37 số 1. tr. 145–151. doi:10.1109/18.61115.

• A family of statistical symmetric divergences based on Jensen's inequality, F. Nielsen [2]
• Y. Ofran & B. Rost. Analysing Six Types of Protein-Protein Interfaces. J. Mol. Biol., 325: 377—387, 2003.
• G.E. Sims, S.R. Jun, G. Wu. & S.H. Kim Alignment-free genome comparison with feature frequency profiles (FFP) and optimal resolutions. Proc. Natl. Acad. Sci. USA. 106(8):2677-82
• S. Itzkovitz, E. Hodis, E. Segal, "Overlapping codes within protein-coding sequences," Genome Res., November 2010, 20:1582-1589