有一個(gè)一階平穩(wěn)馬爾可夫鏈X1,X2,X3,Xr,各Xr取值于集合A={a1,a2,a3},已知起始概率P(Xr)為p1=1/2,p2=p3=1/4,轉(zhuǎn)移概率如下圖所示: (1)求(X1,X2,X3)的聯(lián)合熵和平均符號(hào)熵 (2)求這個(gè)鏈的極限平均符號(hào)熵 (3)求H0,H1,H2和它們說(shuō)對(duì)應(yīng)的冗余度
某一無(wú)記憶信源的符號(hào)集為{0,1},已知P(0)=1/4,P(1)=3/4。 (1)求符號(hào)的平均熵; (2)有100個(gè)符號(hào)構(gòu)成的序列,求某一特定序列(例如有m個(gè)“0”和(100 - m)個(gè)“1”)的自信息量的表達(dá)式; (3)計(jì)算(2)中序列的熵。
連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為:,求H(X), H(Y), H(XYZ)和I(X;Y)。