用符號集X中的元素，將原始信源S中的符號變換為相應的碼字符號W，這就是編碼器的功能。

信道剩余度與（）有關。

單符號離散信道輸入事件a和輸出事件b直接的互信息，以下說法正確的是（）。

二元信源X接到二元對稱信道，信道輸入隨機變量X，其中0的概率為w，1的概率為m=1-w，輸出隨機變量為Y，其中錯誤轉(zhuǎn)移概率為p，正確轉(zhuǎn)移概率為q=1-p，則信道輸出Y=0的概率是（）。

下列屬于熵的性質(zhì)的是（）。

差熵在通信前后計算平均互信息時，替代信息熵做差，替代了信息熵的作用，因此稱為差熵。

二元等概信源接到二元對稱信道，其中錯誤轉(zhuǎn)移概率為p，輸出1推測輸入0的后驗概率是（）。

高斯分布連續(xù)信源的差熵，以下說法正確的是（）。

對于隨機變量X與Y之間平均互信息的非負性，以下說法正確的是（）。

下列不屬于熵H（X）的物理意義的有（）。