N維連續(xù)型隨機(jī)序列X1X2...XN,有概率密度p(X1X2...XN)以及證明:當(dāng)隨機(jī)序列的分量各自達(dá)到正態(tài)分布并彼此統(tǒng)計(jì)獨(dú)立時(shí)熵最大。最大熵為:
在連續(xù)信源中,根據(jù)差熵、條件差熵和聯(lián)合差熵的定義,證明 (1)h(X|Y)≤h(X),當(dāng)且僅當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立; (2)h(X1X2...XN)≤h(X1)+h(X2)+h(XN),當(dāng)且僅當(dāng)X1X2...XN彼此統(tǒng)計(jì)獨(dú)立時(shí)等式成立。