有一個(gè)一階平穩(wěn)馬爾可夫鏈X₁，X₂，……X_r……，各X_r取值于集合A={a₁，a₂，a₃}。已知起始概率p（X_r）為p₁=1/2，p₂=p₃=1/4，轉(zhuǎn)移概率如下。

（1）求（X₁，X2，X3）的聯(lián)合熵和平均符號熵。
（2）求這個(gè)鏈的極限平均符號熵。
（3）求H₀，H₁，H₂和它們所對應(yīng)的冗余度。

若有二個(gè)串接的離散信道，它們的信道矩陣都是

設(shè)第一個(gè)信道的輸入符號Xє{a₁,a₂,a₃,a₄}是等概率分布，輸出符號用Z表示。第二個(gè)信道輸出用Y表示。求I(X;Z)和I(X;Y)，并加以比較。

設(shè)兩連續(xù)隨機(jī)變量X和Y，它們的聯(lián)合概率密度是均值為零，協(xié)方差矩陣為C的正態(tài)分布，，在下列幾種情況下，計(jì)算I(X;Y)：
（1）ρ＝1；
（2）ρ＝0；
（3）ρ＝－1。

給定語聲樣值X的概率密度為，求H_C(X)，并證明它小于同樣方差的正態(tài)變量的微分熵。

設(shè)有一個(gè)信源，它產(chǎn)生0、1序列的消息。它在任意時(shí)間而且不論以前發(fā)生過什么符號，均按P（0）=0.4，P（1）=0.6概率發(fā)出符號。
（1）試問這個(gè)信源是否平穩(wěn)的？
（2）試計(jì)算
（3）試計(jì)算H(X⁴)并寫出X⁴信源中可能有的所有符號。