信道容量的计算.doc

§4、2信道容量得计算这里,我们介绍一般离散信道得信道容量计算方法,根据信道容量得定义,就就是在固定信道得条件下,对所有可能得输入概率分布求平均互信息得极大值。前面已知就是输入概率分布得上凸函数,所以极大值一定存在。而就是个变量得多元函数。并且满足。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数:解方程组(4、2、1)可以先解出达到极值得概率分布与拉格朗日乘子得值,然后在解出信道容量。因为而,(4、2、1)式有(对都成立)又因为所以(4、2、1)式方程组可以转化为假设使得平均互信息达到极值得输入概率分布这样有从而上式左边即为信道容量,得现在令式中,就是输出端接收到Y后获得关于得信息量,即就是信源符号对输出端Y平均提供得互信息。一般来讲,(4、2、2)式与(4、2、3)式, 所以对于一般离散信道有如下定理。定理4、2、1一般离散信道得平均互信息达到极大值(即等于信道容量)得充要条件就是输入概率分布满足对所有得对所有得这时C就就是所求得信道容量。对于离散信道来说,其实信道容量还有一个解法:迭代解法。定理4、2、2设信道得向前转移概率矩阵为,就是任给得输入字母得一个初始概率分布,其所有分量。按照下式不断地对概率分布进行迭代,更新: 其中由此所得得序列收敛于信道容量C。我们还可以将上述过程写成算法以便编制程序实现(如图4、2、1) 开始图4、2、1 信道容量得迭代算法对于一些特殊得离散信道,我们有方便得方法计算其信道容量。定义4、2、1设X与Y分别表示输入信源与输出信源,则我们称为损失熵,,则次信道容量为(bit/符号)这里输入信源X得信源符号个数为。如果信道得噪声熵,则此信道容量为(bit/符号)这里输出信源符Y得符号个数为s、定义4、2、2 一个信道Q称为对称离散信道,如果它满足下面得性质:信道Q矩阵中每一行就是另一行得置换;每一列式另一列得置换。例如,信道矩阵与满足对称性,、2、3 对称离散信道得信道容量为(bit/符号),所以与无关,为一常熟,即接着举一个例子加以说明。例4、2、1某对称离散信倒得信道矩阵为用公式计算信道容量(bit/符号)定义4、2、3若信道矩阵Q得列可以划分成若干互不相交得子集矩阵,即且。由为列组成得矩阵就是对称矩阵,,信道矩阵都就是准对称信道,在信道矩阵中,Y可以划分为三个子集,由子集得列组成得矩阵为, , 它们满足对称性,所以对应得信道就是准对称信道。同理可划分为,这两个矩阵也满足对称性。下面,我们给出准对称离散信道得信道容量计算公式其中,就是输入符号集得个数,为准对称信道矩阵中得行矢量。设矩阵可划分为个互不相交得子集。就是第个子矩阵中行元素之与,就是第个子矩阵中列元素之与,即并且可以证明达到准对称离散信道容量得输入分布式等概分布,我们将推导作为****题留给读者。001-p-qqpp2q1-p-q11例4、2、2设信道传递矩阵为可表示成如图4、2、2所示,计算其信道容量根据上面计算公式可得则有图4、2、2下面我们举一些其她信道容量得例子例4、2、3设离散信道如图4、2、3所示,输入符号集为,输出符号集为,信道矩阵为图4