為了傳輸一個(gè)由字母A、B、C、D組成的符號(hào)集,把每個(gè)字母編碼成兩個(gè)二元碼脈沖序列,以00代表A,01代表B,10代表C,11代表D。每個(gè)二元碼脈沖寬度為5ms。 (1) 不同字母等概率出現(xiàn)時(shí),計(jì)算傳輸?shù)钠骄畔⑺俾剩? (2) 若每個(gè)字母出現(xiàn)的概率分別為pA=1/5,pB=1/4,pC=1/4,pD=3/10,試計(jì)算傳輸?shù)钠骄畔⑺俾剩?/p>
有一信源輸出X∈{0,1,2},其概率為p0=1/4,p1=1/4,p2=1/2。設(shè)計(jì)兩個(gè)獨(dú)立實(shí)驗(yàn)去觀察它,其結(jié)果為Y1∈{0,1}和Y2∈{0,1}。已知條件概率為 求: 1) I(X;Y1)和I(X;Y2),并判斷哪一個(gè)實(shí)驗(yàn)好些。 2) I(X;Y1,Y2),并計(jì)算做Y1和Y2兩個(gè)實(shí)驗(yàn)比做Y1或Y2中的一個(gè)實(shí)驗(yàn)各可多得多少關(guān)于X的信息。 3) I(X;Y1/Y2)和I(X;Y2/Y1),并解釋它們的含義。
設(shè)離散無記憶信源,其發(fā)出的消息為(202120130213001203210110321010021032011223210),求 (1)求每個(gè)符號(hào)的自信息量; (2)若信源發(fā)出一消息符號(hào)序列為(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求該消息序列的自信息量及平均每個(gè)符號(hào)攜帶的信息量。