黑白氣象傳真圖的消息只有黑色和白色兩種,即信源X={黑,白},設黑色出現(xiàn)的概率為P(黑)=0.3,白色出現(xiàn)的概率為P(白)=0.7。 (1)假設圖上黑白消息出現(xiàn)前后沒有關聯(lián),求熵H(X); (2)假設消息前后有關聯(lián),其依賴關系為P(白|白)=0.9,P(黑|白)=0.1,P(白|黑)=0.2,P(黑|黑)=0.8,求此一階馬爾克夫信源的熵H2。 (3)分別求上述兩種信源的冗余度,并比較H(X)和H2的大小,并說明其物理意義。
證明離散信源有,并說明等式成立的條件。
證明離散平穩(wěn)信源有,試說明等式成立的條件。