在連續(xù)信源中,根據(jù)差熵、條件差熵和聯(lián)合差熵的定義,證明 (1)h(X|Y)≤h(X),當(dāng)且僅當(dāng)X和Y統(tǒng)計(jì)獨(dú)立時(shí)等號(hào)成立; (2)h(X1X2...XN)≤h(X1)+h(X2)+h(XN),當(dāng)且僅當(dāng)X1X2...XN彼此統(tǒng)計(jì)獨(dú)立時(shí)等式成立。
有一信源發(fā)出恒定寬度,但不同幅度的脈沖,幅度值處在a1和a2之間,此信源連至某信道,信道接收端接收脈沖的幅度y處在b1和b2之間。已知隨機(jī)變量X和Y的聯(lián)合概率密度函數(shù): 試計(jì)算h(X),h(Y),h(XY)和I(X;Y)。