某一無記憶信源的符號集為{0,1},已知P(0)=1/4,P(1)=3/4。 (1)求符號的平均熵; (2)有100個符號構成的序列,求某一特定序列(例如有m個“0”和(100 - m)個“1”)的自信息量的表達式; (3)計算(2)中序列的熵。
連續(xù)隨機變量X和Y的聯(lián)合概率密度為:,求H(X), H(Y), H(XYZ)和I(X;Y)。
給定語音信號樣值X的概率密度為,求Hc(X),并證明它小于同樣方差的正態(tài)變量的連續(xù)熵。