設(shè)有二個離散信道,其分別輸入為X1和X2,輸出為Y1和Y2,對應(yīng)這二個信道的傳遞概率為p1(y/x)和p2(y/x),如圖所示。其X1和X2的概率分布分別為P1(x) 和P2(x)。
黑白氣象傳真圖的消息只有黑色和白色兩種,即信源X={黑,白},設(shè)黑色出現(xiàn)的概率P(黑)=0.3,白色出現(xiàn)的概率P(白)=0.7。 (1)設(shè)圖上黑白消息出現(xiàn)前后沒有聯(lián)系,求熵H(X); (2)假設(shè)消息出現(xiàn)前后有關(guān)聯(lián),其依賴關(guān)系為P(白/白)=0.9,P(黑/白)=0.1,P(白/黑)=0.2,P(黑/黑)=0.8,求此一階馬爾可夫信源的熵H2; (3)分別求上述兩種信源的剩余度,并比較H(X)和H2的大小,并說明其物理意義。
設(shè)有一個馬爾可夫信源,它的狀態(tài)集為{s1,s2,s3},符號集為{a1,a2,a3},及在某狀態(tài)下發(fā)符號的概率為P(ak/si)(i,k=1,2,3),如圖所示。 (1)求出圖中馬爾可夫信源的狀態(tài)極限概率并找出符號的極限概率。 (2)計(jì)算信源處在某一狀態(tài)下輸出符號的條件熵H(X/S=j)(j=s1,s2,s3)。 (3)求出馬爾可夫信源熵H。