ti.doc

(84 KB) Pobierz
Entropia łączna - /joint entropy/ - dla dwóch dyskretnych zmiennych losowych X, Y;

Entropia łączna - /joint entropy/ - dla dwóch dyskretnych zmiennych losowych X, Y;

średnia długość słowa potrzebnego dla przekazanie ich wartości

H(X,Y)=ExEy p(x,y)logp(X,Y)

 

 

Entropia względna : H=H(X) / Hmax [entropia marginalna/entropia max]

 

Informacją wzajemną zmiennych A i B nazywamy wartość I(A;B)=H(A)+H(B)-H(A,B) .

Powyższą definicję łatwo zrozumieć w odniesieniu do Gry w 20 pytań. Przypuścmy, że mamy zidentyfikować obiekt, który jest parą (a,b), gdzie a i b są wartościami zmiennych losowych A i B.

Gramy w dwie niezależne gry „pytania o a” i „pytania o b” (co odpowiada równości H(A)+H(B)).

Jeśli A i B są zależne, możemy wykorzystać tę wzajemną informację do zmniejszenia liczby pytań.

 

Informację warunkowana przez C :

I(A;B|C)=H(A|C)+H(B|C) – H(A,B|C)=H(A|C)-H(A|B,C),

gdzie H(A,B|C)=H(A|B,C)+H(B|C)

 

Proces Markowa – ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego.

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Są ciągiem X1, X2, X3, ... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią stanów, a realizacje Xn to stany w czasie n.

Jeśli rozkład warunkowy Xn+1 jest funkcją wyłącznie zmiennej Xn:

P(X_{n+1}\le y|X_0, X_1, X_2, \ldots, X_n) = P(X_{n+1}\le y|X_n)

to mówimy, że proces posiada własność Markowa.

 

Pierwsze Twierdzenie Shannona - dla każdej skończonej przestrzeni probabilistycznej S i r \ge 2

\lim_{n \to \infty } \frac{L_r (S^n)}{n} = H_r (S).

Dla danego kodu \varphi, średnią długość kodu definiujemy jako

L(\varphi ) = \sum_{s \in S} p(s) \cdot |\varphi (s)|

Dla danego S i parametru r>1 niech L_r(S)będzie minimum ze wszystkich L(\varphi)dla dowolnego kodu \varphi:S \to \Sigma^*

 

 

Kanałem komunikacyjnym \Gammanazywamy trójkę:

·         skończony zbiór \mathcal{A}symboli wejściowych

·         skończony zbiór \mathcal{B}symboli wyjściowych

·         mapowanie \mathcal{A} \times \mathcal{B} \to [0,1]określające dla każdej pary (a,b) prawdopodobieństwo P(a \to b)zamiany symbolu a na B, spełniające warunek:

\forall_{a \in \mathcal{A}} \sum_{b \in {\mathcal B}} P (a \to b) = 1


Zmienne losowe A i B o wartościach odpowiednio z \mathcal{A}i \mathcal{B}stanowią parę wejście-wyjście dla kanału \Gamma, jeśli dla dowolnych a \in \mathcal{A},b \in \mathcal{B}

p (B = b | A = a) = P (a \to b)

Kanał taki możemy zobrazować jako

A \tografika:Gamma.PNG\to B


Możemy od razu zauważyć, że

p ( A = a \, \wedge \, B = b) = P (a \to b) \cdot p ( A = a )

A więc rozkład (A,B) jest jednoznacznie wyznaczony przez A (dla ustalonego \Gamma). W szczególności odpowiednie B zawsze istnieje i jest zdefiniowane jako p (B = b) = \sum_{a \in {\mathcal A}} P (a \to b) \cdot p ( A = a )

Wiedząc to, można bezpośrednio policzyć H(A,B), H(B|A), I(A;B)itp. (w zależności od \Gammai A).




Pojemność kanału – określa maksymalną szybkość transmisji informacji

 

 

Kod - jest zbiorem wszystkich słów kodowych dla znaków (komunikatów) jakie dane źródło może wytworzyć. Liczba bitów występujących w słowie kodowym jest nazywana długością słowa kodowego

 

 

Kanał binarny:

•        Wejście X ~ {0,1}

•        Wyjście Y -> 0->1 oraz 1->0 z prawdopodobieństwem p

 

...

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika:

Zgłoś jeśli naruszono regulamin