信息論與編碼章節(jié)練習(xí)(2020.05.18)

黑白氣象傳真圖的消息只有黑色和白色兩種，求：
（1）黑色出現(xiàn)的概率為0.3，白色出現(xiàn)的概率為0.7.給出這個(gè)只有兩個(gè)符號(hào)的信源X的數(shù)學(xué)模型，假設(shè)圖上黑白消息出現(xiàn)前后沒有關(guān)聯(lián)，求熵X（H）；
（2）假設(shè)黑白消息出現(xiàn)前后有關(guān)聯(lián)，其依賴關(guān)系為：P（白/白）=0.9，P（黑/白）=0.1，P（白/黑）=0.2，P（黑/黑）=0.8，求其熵H₂（X）.

連續(xù)隨機(jī)變量X和Y的聯(lián)合概率密度為：，求H（X）， H（Y）， H（XYZ）和I（X；Y）。

若有一信源

每秒鐘發(fā)出2.66個(gè)信源符號(hào)。將此信源的輸出符號(hào)送入某一個(gè)二元信道中進(jìn)行傳輸（假設(shè)信道是無噪無損的），而信道每秒鐘只傳遞兩個(gè)二元符號(hào)。試問信源不通過編碼能否直接與信道連接？若通過適當(dāng)編碼能否中在信道中進(jìn)行無失真?zhèn)鬏?？若能連接，試說明如何編碼并說明原因。