信息論與編碼章節(jié)練習(2020.05.29)

來源：考試資料網

1.問答題若某一信源有N個符號，并且每個符號等概率出現(xiàn)，對這信源用最佳霍夫曼碼進行二元編碼，問當N=2i和N=2i+1（i是正整數(shù)）時，每個碼字的長度等于多少？平均碼長是多少？

2.問答題簡述連續(xù)信源的熵的定義。

參考答案：連續(xù)信源的不確定度應為無窮大，是相對熵，或叫差熵。在取兩熵之間的差時才具有信息的所有特性。

3.填空題自信息量的單位一般有（）。

參考答案：比特、奈特和哈特

4.問答題簡述平均互信息量關于信源概率和信道轉移概率的凸性定理。

5.判斷題確定性信源的熵H（0，0，0，1）=1。

6.問答題試證明H（X）是輸入概率分布P（x）的上凸函數(shù)。

7.問答題求自由歐幾里得距離。

自由歐幾里得距離：

8.判斷題非奇異的定長碼一定是唯一可譯碼。

9.問答題考慮另一個幾何分布的隨機變量X，滿足P（Xi）=P（1-P）^i-1，i=1，2，3，…，這個信源的平均自信息H（X）是什么？

10.問答題 設有一離散信道，其信道矩陣為，求
（1）最佳概率分布？
（2）當P（x₁）=0.7，P（x₂）=0.3時，求平均互信息I（X;Y）和信道疑義度H（X/Y）；
（3）輸入為等概分布時，試寫出一譯碼規(guī)則，使平均譯碼錯誤率p_E最小，并求此p_E.