Вычисление энтропии систем

Вычисление энтропии систем

Вычисление вероятностей исходных систем

Исходная канальная матрица:

p(а/b)= (1)

; (2)

; (3)

; (4)

, (5)

где — вероятности появления события ;

— вероятности появления события ;

— вероятности совместного появления событий и в сложной системе;

— условная вероятность появления события относительно события в сложной системе;

— условная вероятность появления события относительно события в сложной системе.

Зная канальную матрицу (1) и формулу (4), вычислим P(ai,bj):

p(a1,b1) = p(a1/b1) p(b1) = 0.640*0,250 = 0.160;

p(a1,b2) = p(a1/b2) p(b2) = 0.040*0,270 = 0.011;

p(a1,b3) = p(a1/b3) p(b3) = 0.040*0,480 = 0.019;

p(a2,b1) = p(a2/b1) p(b1) = 0.160*0,250 = 0.040;

p(a2,b2) = p(a2/b2) p(b2) = 0.960*0,270 = 0.259;

p(a2,b3) = p(a2/b3) p(b3) = 0.190*0,480 = 0.091;

p(a3,b Вычисление энтропии систем1) = p(a3/b1) p(b1) = 0.200*0,250 = 0.050;

p(a3,b2) = p(a3/b2) p(b2) = 0.000*0,270 = 0.000;

p(a3,b3) = p(a3/b3) p(b3) = 0.770*0,480 = 0.370.

Зная матрицу и формулу (2), вычислим :

p(a 1) = p(a1,b1) + p(a1,b2) + p(a1,b3) = 0.160 + 0.011 + 0.019 = 0.190;

p(a 2) = p(a2,b1) + p(a2,b2) + p(a2,b3) = 0.040+0.259+ 0.091= 0.390;

p(a 3) = p(a3,b1) + p(a3,b2) + p(a3,b3) = 0.050+ 0.000 + 0.370 = 0.420.

Зная матрицы , и формулу (5), вычислим :

p(b1/a1) = p(a1/b1)/ p(a 1) = 0.160/0.190 = 0.842;

p(b1/a2) = p(a2/b1)/ p(a 2) = 0.040/0.390= 0.103;

p(b1/a3) = p(a3/b1)/ p(a 3) = 0.050/0.420= 0.119;

p(b2/a1) = p(a1/b2)/ p(a 1) = 0.011/0.190 = 0.058;

p(b2/a Вычисление энтропии систем2) = p(a2/b2)/ p(a 2) = 0.259/0.390 = 0.664;

p(b2/a3) = p(a3/b2)/ p(a 3) = 0.000/0.420= 0.000;

p(b3/a1) = p(a1/b3)/ p(a 1) = 0.019/0.190 = 0.100;

p(b3/a2) = p(a2/b3)/ p(a 2) = 0.091/0.390= 0.233;

p(b3/a3) = p(a3/b3)/ p(a 3) = 0.370/0.420= 0.881.

Проверка

Считаем, что вектор рассчитан верно, если сумма его элементов равна единице. Это утверждение справедливо и для матрицы P(A,B). В случае матриц P(ai/bj)/P(bj/ai), единице должна равняться сумма каждого столбца/строки матрицы.

Проверка вектора P(a):

0.190+ 0.390+ 0.420 = 1.000.

Проверка вектора P(b):

0.250+ 0.270+ 0.480= 1.000.

Проверка матрицы P(A,B):

0.160 + 0.011 + 0.019 + 0.040 + 0.259 + 0.091 + 0.050 + 0.000 + 0.370 = 1.000.

Проверка матрицы P(ai/bj):

0.640+ 0.160+ 0.200 = 1.000;

0.040 + 0.960 + 0.000 = 1.000;

0.040 + 0.190 + 0.770 = 1.000.

Проверка матрицы P(bj/ai Вычисление энтропии систем):

0.842 + 0.058 + 0.100 = 1.000;

0.103 + 0.664 + 0.233= 1.000;

0.119 + 0.000 + 0.881 = 1.000.

Вычисление энтропии систем

; (6)

. (7)

Зная вероятности p(ai) и формулу (6), вычислим энтропию системы А:

H(A) =-(0.1900 * log2 (0.1900) + 0.3900 * log2(0.3900) + 0.4200 *log2 (0.4200))=

= 0.4552 +0.5298+0.5256 = 1.5106 (бит/символ).

Зная вероятности p(bj) и формулу (7), вычислим энтропию системы B:

H(B) = -(0.2500 * log2 (0.2500) + 0.2700 * log2 (0.2700) +0.4800*log2 (0.4800)) = = 0.5000+0.5100+0.5083 = 1.5183 (бит/символ).


documentaakninh.html
documentaaknpxp.html
documentaaknxhx.html
documentaakoesf.html
documentaakomcn.html
Документ Вычисление энтропии систем