信息论与编码习题参考答案

2002 Copyright EE Lab508

信息论与编码习题参考答案 第一章 单符号离散信源

1.1同时掷一对均匀的子，试求：

(1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵；

(5)“两个点数中至少有一个是1”的自信息量。 解：

11样本空间：N?c6c6?6?6?36n12

??I(a)??logP1?log18?4.17bitN36n1(2)P2?2??I(a)??logP2?log36?5.17bitN36(1)P1?(3)信源空间：

X P(X) X P(x) X P(x) X P(x) X P(x) (1,1) 1/36 (2,2) 1/36 (3,3) 1/36 (4,4) 1/36 (5,5) 1/36 (1,2) 2/36 (2,3) 2/36 (3,4) 2/36 (4,5) 2/36 (5,6) 2/36 (1,3) 2/36 (2,4) 2/36 (3,5) 2/36 (4,6) 2/36 (1,4) 2/36 (2,5) 2/36 (3,6) 2/36 (6,6) 1/36 (1,5) 2/36 (2,6) 2/36 (1,6) 2/36 2361?log?6??log36?4.32bit 36236(4)信源空间： X 2 3 4 5 6 7 8 9 10 11 12 P(x) 1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36 ?H(x)?15??H(x)?2436636836?log36＋?log??log??log 36362363364 1036636 ??log＋?log?3.71bit365366(5) P3?

n31136??I(a)??logP3?log?1.17bit N3611?H.F.

2002 Copyright EE Lab508

1.2如有6行、8列的棋型方格，若有两个质点A和B，分别以等概落入任一方格内，且它们的坐标分别为（Xa，Ya）, （Xb，Yb）,但A，B不能同时落入同一方格内。 （1） 若仅有质点A，求A落入任一方格的平均信息量； （2） 若已知A已落入，求B落入的平均信息量； （3） 若A，B是可辨认的，求A，B落入的平均信息量。 解：

1(1)?A落入任一格的概率:P(ai)??I(ai)??logP(ai)?log4848

?H(a)???P(ai)logP(ai)?log48?5.58biti?148(2)?在已知A落入任一格的情况下,B落入任一格的概率是:P(bi)??I(bi)??logP(bi)?log47?H(b)???P(bi)logP(bi)?log47?5.55biti?148147(3)AB同时落入某两格的概率是P(ABi)??I(ABi)??logP(ABi)48?47i?111?4847

H(ABi)???P(ABi)logP(ABi)?log(48?47)?11.14bit1.3从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为0.5%.如果你问一位男士：“你是否是红绿色盲？”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量？平均每个回答中各含有多少信息量？如果你问一位女士，则她的答案中含有多少平均信息量？ 解：

对于男士:回答“是”的信息量：I(my)??logP(my)??log7%?3.84bit回答“不是”的信息量：I(mn)??logP(mn)??log93%?0.105bit平均每个回答信息量：H(m)??P(my)?logP(my)?P(mn)?logP(mn) ?-7%?log7%-93%?log93%?0.366bit对于女：回答“是”的信息量：I(wy)??logP(wy)??log0.5%回答“不是”的信息量：I(mn)??logP(mn)??log99.5%平均每个回答信息量：H(m)??P(wy)?logP(wy)?P(wn)?logP(wn) ?-0.5%?log0.5%-99.5%?log99.5%?0.0454bit

?H.F.

2002 Copyright EE Lab508

1.4某一无记忆信源的符号集为｛0，1｝，已知p0?13，p1?23 。（1） 求符号的平均信息量；

（2） 由1000个符号构成的序列，求某一特定序列（例如有m个“0”,（1000-m）个“1”）

的自信量的表达式；

（3） 计算（2）中序列的熵。 解：

1122（1）H(x)??p0logp0?p1logp1???log??log?0.918 bit/symble333312（2）I(A)??mlogp0?(1000?m)logp??mlog?(1000?m)log bit

33（3）H(A)?1000H(X)?1000?0.918?918 bit/sequence H(A)???p0logp0?i?1m1000?m?i?1p1logp1??m12(1000?m)2log?log33331.5设信源X的信源空间为：

a1 a2 a3 a4 a5 a6 ?X： [x?p]：? 0.19 0.18 0.16 0.18 0.3 ?p(X) 0.17求信源熵，并解释为什么H(X)>log6，不满足信源熵的极值性。

解：

H(X)???p(ai)logp(ai)i?16 ??0.17log0.17?0.19log0.19?2?0.18log0.18?0.16log0.16?0.3log0.3 ?2.725 bit/symble 可见H(X)?2.725?log6?2.585 不满足信源熵的极值性， 这是因为信源熵的最大值是在?pi?1 的约束条件下求得的，但是本题中i?1r

?pi?16i?1.18不满足信源熵最大值成立的约束条件，所以H(X)?log6。

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s）。 解：

由于亮度电平等概出现，由熵的极值性：每个像素的熵是： H(x0)??p(ai)logp(ai)?log10?3.322 bit/pelsi?110每帧图像的熵是： H(X)?5?105?H(x0)?5?105?3.322?1.661?106 bit/frame?所需信息速率为：R?r(frame/s)?H(X)(bit/frame)?30?1.661?106?4.983?107 bit/s

?H.F.

2002 Copyright EE Lab508

1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大2.5倍左右。 证:

增加30个不同色彩度,在满足黑白电视系统要求下,每个色彩度需要10个亮度,所以每个像素需要用30?10?300bit量化?每个像素的熵是： H(x1)??p(bi)logp(bi)?log300bit/pelsi?1300?H(x1)log300??2.477?2.5H(x0)log10

?彩色电视系统每个像素信息量比黑白电视系统大2.5倍作用,所以传输相同的图形,彩色电视系统信息率要比黑白电视系统高2.5倍左右.1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？ 解:

每帧图象所含信息量:H(X)?3?105?H(x)?3?105?log128?2.1?106bit/symble1000?0.110000?每个汉字所包含信息量:H(c)??logp每个汉字所出现概率p?描述一帧图像需要汉字数n,H(X)?nH(c)H(X)2.1?106n???6.322?105/frameH(c)?log0.1?最少需要6.322?105个汉字

1.9给定一个概率分布(p1,p2,...,pn)和一个整数m，0?m?n。定义qm?1??p，证明：

ii?1mH(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)。并说明等式何时成立？

证：

先证明f(x)??xlogx(x?0)为凸函数，如下：loge?f??(x)?(?xlogx)???? 又x?0x

loge?f??(x)?(?xlogx)?????0 即f(x)??xlogx(x?0)为凸函数。 x又?H(p1,p2,...,pn)???pilogpi?i?1mi?m?1?plogpini?H.F.

2002 Copyright EE Lab508

由凸函数的性质，变量函数的平均值小于变量的算术平均值的函数，可得：?i?m?1?pilogpi??(n?m)i?m?1ni?m?1?f(p)inn?m??(n?m)f(i?m?1?pnin?m)??(n?m)i?m?1?pnin?mlogi?m?1?pnin?m??qmlogqmn?m即??plogpini??qmlogqm?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。?H(p1,p2,...,pn)???pilogpi?m?plogpini???pilogpi?qmlogqm?qmlog(n?m)mi?1i?m?1i?1m?H(p1,p2,...,pm,qm)???pilogpi?qmlogqmi?1?H(p1,p2,...,pn)?H(p1,p2,...,pm,qm)?qmlog(n?m)当且仅当pm?1?pm?2?...?pn时等式成立。

1.10找出两种特殊分布:

p1≥p2≥p3≥…≥pn，p1≥p2≥p3≥…≥pm,使H(p1,p2,p3,…,pn)=H(p1,p2,p3,…,pm)。解：nmH(p1,p2,...,pn)???pilogpi?H(q1,q2,...,qm)???qilogqi

i?1i?1

?H.F.

2002 Copyright EE Lab508

第二章 单符号离散信道

2.1设信源[X?P]:?a1 a2 ?X 通过一信道，信道的输出随机变量Y的符号集

P(X) 0.7 0.3? b1 b2a1?5/61/6?

[P]??a2?1/43/4??Y:{b1,b2},信道的矩阵：

试求：

(1) 信源X中的符号?1和?2分别含有的自信息量；

(2) 收到消息Y＝b1，Y＝b2后，获得关于?1、?2的互交信息量：I(?1;b1)、I(?1;b2)、I(?2;b1)、

I(?2;b2)；

(3) 信源X和信宿Y的信息熵；

(4) 信道疑义度H(X/Y)和噪声熵H(Y/X)；

(5) 接收到消息Y后获得的平均互交信息量I(X;Y)。 解:

(1) I(a1)??logp(a1)??log0.7?0.5415 bit I(a2)??logp(a21)??log0.3?1.737 bit(2) I(a1;b1)?log I(a1;b2)?log I(a2;b1)?log I(a2;b2)?log2p(b1a1)p(b1)p(b2a1)p(b2)?log5/6?0.34 bit0.7?5/6?0.3?1/41/6??1.036 bit0.7?1/6?0.3?3/41/4??0.766 bit0.7?5/6?0.3?1/43/4?1.134 bit0.7?1/6?0.3?3/47912041120?logp(b1a2)p(b1)p(b2a2)p(b2)?log?log(3)由上:p(b1)??p(ai)p(b1ai)?i?12 p(b2)??p(ai)p(b2ai)?i?12?H(X)???p(ai)logp(ai)??(0.7log0.7?0.3log0.3)?0.881 bit/symblei?1 H(Y)???p(bj)logp(bj)??(j?122279794141log?log)?0.926 bit/symble12012012012022(4)H(YX)???p(aibj)logp(bjai)???p(ai)p(bjai)logp(bjai)?0.698 bit/symblej?1i?1j?1i?1 又I(X;Y)?H(Y)?H(YX)?H(X)?H(XY) ?H(XY)?H(X)?H(YX)?H(Y)?0.881?0.698?0.926?0.653 bit/symble(5)?I(X;Y)?H(Y)?H(YX)?0.926?0.698?0.228 bit/symble?H.F.

2002 Copyright EE Lab508

2.2某二进制对称信道，其信道矩阵是：

0 10?0.980.02? [P]??1?0.020.98??设该信道以1500个二进制符号/秒的速度传输输入符号。现有一消息序列共有14000个二进

制符号，并设在这消息中p(0)= p(1)=0.5。问从消息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。 解:

由于二进制对称信道输入等概信源?I(X;Y)?C?1?H(?)?1??log??(1??)log(1??)?1?0.02log0.02?0.98log0.98?0.859 bit/symble?信道在10秒钟内传送14000个二进制符号最大码率为:Ct?C?14000symble/10s?1201.98 bit/s而输入信源码率为1500bit/s,超过了信道所能提供的最大码率,故不可能无失真传输.

2.3有两个二元随机变量X和Y，它们的联合概率为P[X=0,Y=0]=1/8，P[X=0,Y=1]=3/8，P[X=1,Y=1]=1/8，P[X=1,Y=0]=3/8。定义另一随机变量Z=XY，试计算： (1) H(X),H(Y),H(Z),H(XZ),H(YZ),H(XYZ);

(2) H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ),H(Z/XY); (3) I(X;Y),I(X;Z),I(Y;Z),I(X;Y/Z),I(Y;Z/X),I(X;Z/Y)。 解:

131131(1)由题意: X的分布:p(X?0)???;p(X?1)???.882882131131 Y的分布:p(Y?0)???;p(Y?1)???.88288213371 Z?XY的分布为:X的分布:p(Z?0)????;p(Z?1)?.88888131且p(X?0,Z?0)?p(X?0)?;p(X?0,Z?1)?0;p(X?1,Z?0)?;p(X?1,Z?1)?;288131 p(Y?0,Z?0)?p(Y?0)?;p(Y?0,Z?1)?0;p(Y?1,Z?0)?;p(Y?1,Z?1)?;2881111?H(X)??(log?log)?1 bit/symble; 22221111 H(Y)??(log?log)?1 bit/symble22227711 H(Z)??(log?log)?0.544 bit/symble8888H(XZ)????p(xizk)logp(xizk)i?1k?122 ??(pxz(00)logpxz(00)?pxz(10)logpxz(10)?pxz(01)logpxz(01)?pxz(11)logpxz(11))

133311??13 ???(?)log(?)?log?0?log??1.406bit/symble888888??88由上面X、Y、Z的概率分布:H(YZ)?H(XZ)?1.406bit/symble?H.F.

2002 Copyright EE Lab508

(2)p(X?0Y?0)?pxy(00)?pxy(01)?pxy(01)py(1)2pxy(00)py(0)?p(10)3/831/81?;pxy(10)?xy??;1/24py(0)1/24?2p(11)1/813/83?;pxy(11)?xy??.1/24py(1)1/24?H(XY)????p(xiyj)logp(xiyj)??pxy(00)logpxy(00)?pxy(01)logpxy(01)?pxy(10)logpxy(10)?pxy(11)logpxy(11)11333311??(?log??log??log??log)?0.811bit/symble84848484?I(X;Y)?H(X)?H(XY)?H(Y)?H(YX)且H(X)?H(Y)?H(YX)?H(XY)?0.811bit/symble同理:H(XZ)????p(xizk)logp(xizk)????p(xizk)logi?1k?1i?1k?12222?i?1j?1????pxz(00)logpxz(00)?pxz(01)logpxz(01)?pxz(10)logpxz(10)?pxz(11)logpxz(11)?11/233/811/8??(?log?0??log??log)?0.862 bit/symble27/887/881/82222p(zkxi)H(ZX)????p(zkxi)logp(zkxi)????p(zkxi)logp(xi)k?1i?1k?1i?111/233/811/8??(?log?0??log??log)?0.406 bit/symble21/281/281/2由X、Y、Z的概率: H(YZ)?H(XZ)?0.862 bit/symble H(ZY)?H(ZX)?0.406 bit/symble?pxyz(001)?pxyz(101)?pxyz(011)?pxyz(110)?0?H(XYZ)?????p(xiyjzk)logp(xiyjzk)?????p(xiyjzk)logi?1j?1k?1i?1j?1k?1222222p(xizk)p(zk)???pzx(00)logpzx(00)?pzx(01)logpzx(01)?pzx(10)logpzx(10)?pzx(11)logpzx(11)?p(xiyjzk)p(yjzk)?pxyz(111)logpxyz(111)pyz(11))??(pxyz(000)logpxyz(000)pyz(00)?pxyz(010)logpxyz(010)pyz(10)?pxyz(100)logpxyz(100)pyz(00)11/833/833/811/8??(log?log?log?log)?0.406 bit/symble81/283/881/281/8H(YXZ)?H(XYZ)?0.406 bit/symble?H(ZXY)?????p(xiyjzk)logp(zkxiyj)?????p(xiyjzk)logi?1j?1k?1i?1j?1k?1222222p(xiyjzk)p(xiyj)?pxyz(111)logpxyz(111)pxy(11))??(pxyz(000)logpxyz(000)pxy(00)?pxyz(010)logpxyz(010)pxy(01)?pxyz(100)logpxyz(100)pxy(10)11/833/833/811/8??(log?log?log?log)?0 bit/symble81/883/883/881/8?H.F.

2002 Copyright EE Lab508

(3)由上:I(X;Y)?H(X)?H(XY)?1?0.811?0.189 bit/symble I(X;Z)?H(X)?H(XZ)?1?0.862?0.138 bit/symble I(Y;Z)?H(Y)?H(YZ)?1?0.862?0.138 bit/symble I(X;YZ)?H(XZ)?H(XYZ)?0.862?0.406?0.456 bit/symble I(Y;ZX)?H(YX)?H(YXZ)?0.811?0.406?0.405 bit/symble I(X;ZY)?H(XY)?H(XYZ)?0.811?0.406?0.405 bit/symble2.4已知信源X的信源空间为

a1 a2 a3 a4?X: [X?P]:?P(X): 0.1 0.3 0.2 0.4?某信道的信道矩阵为：

b1 b2 b3 b4

a1?0.2a2?0.6?a3?0.5?a4?0.10.30.20.20.30.10.10.10.40.4?0.1?? 0.2??0.2?试求：

(1)“输入?3，输出b2的概率”； (2)“输出b4的概率”；

(3)“收到b3条件下推测输入?2”的概率。 解：

(1)p(a3;b2)?p(a3)p(b2a3)?0.2?0.2?0.04(2)p(b4)??p(aib4)??p(ai)p(b4ai) ?0.1?0.4?0.3?0.1?0.2?0.2?0.4?0.2?0.19i?14i?1444(3)p(b3)??p(aib3)??p(ai)p(b3ai)?0.1?0.1?0.3?0.1?0.2?0.1?0.4?0.4?0.22i?1i?1 p(a2b3)?p(a2)p(b3a2)p(b3)?0.3?0.1?0.1360.22

2.5已知从符号B中获取关于符号A的信息量是1比特，当符号A的先验概率P(A)为下列各值时，分别计算收到B后测A的后验概率应是多少。 (1) P(A)=10-2； (2) P(A)=1/32； (3) P(A)=0.5。

?H.F.

2002 Copyright EE Lab508

解：

由题意?I(A;B)?logp(AB)p(A)?1?p(AB)?2p(A)

?p(A)?10?2时,p(AB)?2?10?2 p(A)?132时,p(AB)?116 p(A)?0.5时,p(AB)?1

2.6某信源发出8种消息，它们的先验概率以及相应的码字如下表所列。以a4为例，试求： 消息 概率 码字 a1 1/4 000 a2 1/4 001 a3 1/8 010 a4 1/8 011 a5 1/16 100 a6 1/16 101 a7 1/16 110 a8 1/16 111

(1) 在W4＝011中，接到第一个码字“0”后获得关于a4的信息量I(a4;0)；

(2) 在收到“0”的前提下，从第二个码字符号“1”中获取关于a4的信息量I(a4;1/0)； (3) 在收到“01”的前提下，从第三个码字符号“1”中获取关于a4的信息量I(a4;1/01)； (4) 从码字W4＝011中获取关于a4的信息量I(a4;011)。 解：

(1)I(a4;0)?logp(a40)p(a4)?log(1/8)/(1/4?1/4?1/8?1/8)4?log?0.415 bit1/83(1/8)/(1/8?1/8)?log3?1.585 bit(1/8)/(1/4?1/4?1/8?1/8)1?log2?1 bit(1/8)/(1/8?1/8)1?log8?3 bit1/8n

(2)I(a4;10)?logp(a401)p(a40)?log(3)I(a4;101)?log(4)I(a4;011)?logp(a4011)p(a401)p(a4011)p(a4)

?log?log2.13把n个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

X0 BSC I X1 BSC II X2 … BSC N Xn

?H.F.

2002 Copyright EE Lab508

解：

用数学归纳法证明:当n?2时由:p??1?pp??2p?2p21?2p?2p2??1?p[P2]??????p1?p???2p1?p2p?2p2??????1?2p?2p1?p2?2p?2p2?[1?(1?2p)2]2假设n?k时公式成立,则?1k[1?(1?2p)]?2[Pk?1]??1k?[1?(1?2p)]?2?1k?1[1?(1?2p)]?2 ??1k?1?[1?(1?2p)]?21?Pk?1?[1?(1?2p)k?1]21故Pn?[1?(1?2p)n]21?[1?(1?2p)k]??1?pp?2???p1?p?1k?[1?(1?2p)]??2?1?[1?(1?2p)k?1]?2?1k?1[1?(1?2p)]?2?11?1?2p?1?limPn?lim[1?(1?2p)n]?n??n??22设输入信源空间X0:p(X0?0)?a,p(X0?1)?1?a(其中0?a?1)则输出信源X?:p(X??0)?p(X0?0)?p(X??0X0?0)?p(X0?0)?p(X??0X0?1)?12?p(x?x0)?p(x?)(x0、x?取0或1) p(X??1)??limI(X0;Xn)???p(X0iX?j)logn??i?1j?1222212p(X?jX0i)p(X?j)???p(X0iX?j)logi?1j?122p(X?jX0i)p(X?j) ???p(X0iX?j)log1?0i?1j?1

?H.F.

2002 Copyright EE Lab508

2.18试求下列各信道矩阵代表的信道的信道容量： (1)

b1 b2 b3 b4 a1?0010??]?a21000?[P1a??

3?0001a???0100?4?(2)

b1 b2 b3 a1?100?a2??100??[P]?a3?010?

2a?0?4a?01?5?a?001??6?001?(3)

b1 b2 b3 b4 b5 b6 b7 b8 a1?0.10.20.30.40000[P3]?a2?00000.30a?.7003??0000000.40.2解：

(1)信道为一一对应确定关系的无噪信道?C?logr?log4?2 bit/symble(2)信道为归并性无噪信道?C?logs?log3?1.585 bit/symble

(3)信道为扩张性无噪信道:?C?logr?log3?1.585 bit/symble

2.19设二进制对称信道的信道矩阵为：

0 1[P]?0?3/41/4? 1??1/43/4??(1) 若p(0)=2/3，p(1)=1/3，求H(X)，H(X/Y)，H(Y/X)和I(X;Y)；

(2) 求该信道的信道容量及其达到的输入概率分布。

b9 b10 00?00?0.10.3????H.F.

2002 Copyright EE Lab508

解：

2211(1)H(X)???p(xi)logp(xi)??(?log??log)?0.9183 bit/symble3333i?1py(0)??p(xi)p(y?0xi)?i?122223117????34341221135????3434127755?log??log)?0.9799 bit/symble1212121222py(1)??p(xi)p(y?1xi)?i?12

H(Y)???p(yj)logp(yj)??(j?122H(YX)????p(xiyj)logp(yjxi)????p(xi)p(yjxi)logp(yjxi)i?1j?1i?1j?1233111211133 ??(?log??log??log??log)?0.8113 bit/symble344344344344?I(X;Y)?H(Y)?H(YX)?0.9799?0.8113?0.1686 bit/symbleH(XY)?H(X)?I(X;Y)?0.9183?0.1686?0.7497 bit/symble(2)本信道为强对称信道?C?logr?H(?)??log(r?1)?log2?H(0.25)?0.25log1?0.1887bit/symble1信源输入为等概分布,即p(X?0)?p(X?1)?时达到信道容量C.2

2.20设某信道的信道矩阵为

b1 b2 b3 b4 b5 a1?0.60.10.10.10.1?a2?0.10.60.10.10.1???

[P]?a3?0.10.10.60.10.1???a4?0.10.10.10.60.1?a5??0.10.10.10.10.2??试求：

(1) 该信道的信道容量C； (2) I(a3;Y)； (3) I(a2;Y)。 解:

(1)本信道为强对称离散信道?C?logr?H(?)??log(r?1)?log5?H(0.4)?0.4log4?0.551bit/symble (2)、(3)I(a3;Y)?I(a5;Y)?C?0.551bit/symble

?H.F.

2002 Copyright EE Lab508

2.21设某信道的信道矩阵为

b1 b2 b3 b4 a1?1/31/31/61/6? [P]??a2?1/61/61/31/3??试求：

(1)该信道的信道容量C； (2)I(a1;Y)； (3)I(a2;Y)。 解:

（1）本信道为对称离散信道1111?,p2?,p3?,p4?)?log4?H(,,,)?0.0817bit/symble ?C?logs?H(p13366(2)、(3)I(a1;Y)?I(a2;Y)?C?0.0817bit/bymble

2.22设某信道的信道矩阵为

?1/21/41/81/8?[P]???

1/41/21/81/8??试该信道的信道容量C；

解:

此信道为准对称离散信道,且s1?2,s2?2111133?[?]????p(bl)l?1r24248111111p(b12)?p(b22)??[?]????p(bl)l?2r88248p(b11)?p(b21)?33111111?,p2?,p3?,p4?)??[2?log?2?log]?H(,,,)?C???slp(bl)logp(bl)?H(p188882488l?1 ?0.0612bit/symble

2.23求下列二个信道的信道容量，并加以比较(其中0

p????(2) [P2]??

?H.F.

2002 Copyright EE Lab508

解:

(1)此信道为准对称离散信道,且s1?2,s2?111p(bl)l?1??(p???q??)??(p?q?2?)r211p(bl)l?2??(2?)??2???r2?,p2?,p3?)?C1???slp(bl)logp(bl)?H(p1l?1211 ??[2??(p?q?2?)log?(p?q?2?)??log?]?H(p??,q??,2?)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2???log?2(2)此信道为准对称离散信道,且s1?2,s2?211p(bl)l?1??(2??0)??2???r211p(bl)l?2??(p???q??)??(p?q?2?)r2?,p2?,p3?,p4?)?C2???slp(bl)logp(bl)?H(p1l?1211 ??[2?log??2??(p?q?2?)log?(p?q?2?)]?H(p??,q??,2?,0)22p?q?2? ??(p?q?2?)log?(p??)log(p??)?(q??)log(q??)?2?2由上面C1、C2表达式可知:C1?C2且当??0时等号成立.2.27设某信道的信道矩阵为

?p1[P]??????00p200?0??其中P1,P2，…，PN是N个离散信道的信道矩阵。令C1，C2，…，

??pN???CN表示N个离散信道的容量。试证明，该信道的容量C?logCi-C

?2i?1Nci比特/符号，且当每个信

道i的利用率pi＝2证明:

(i＝1,2,…,N)时达其容量C。

设:Pm为lm行?km列(m?1,2,?N)由方程组?p(bj/ai)?j??p(bj/ai)logp(bj/ai)(i?1,2,?r)???(1)j?1j?1ss解出?j可得C?log[?2j](其中s??km,r??lm)j?1m?1m?1s?NN

由[P]特点,方程组(1)可以改写为:?H.F.

2002 Copyright EE Lab508

s?k1p1p1p1p1p(b/a)??p(b/a)logp(bjjjj/ai)?ii??j1?1?j?1s?k2p2p2p2p2??p(bj/ai)?j??p(bj/ai)logp(bj/ai) (i?1,2,?r)??(2)j1?1?j?1???s?kNpnpnpnpn??p(bj/ai)?j??p(bj/ai)logp(bj/ai)j1?1?j?1其中Cm?log[?2j?1skm?pmj](m?1,2,?,N),即?2?j?1Nkmkmpmj?2Cm?C?log[?2]?log[?(?2j?1m?1j?1km?j?pmj)]?log[?2Cm]m?1kmN且在各信道利用率为:pm??2j?1(?pmj?C)?2(?log2j?1?pmj?C)?2(Cm?C)(m?1,2,?,N)时取得信道容量C?log[?2Cm]m?1N

第三章 多符号离散信源与信道

3.1设X＝X1X2…XN是平稳离散有记忆信源，试证明：

H(X1X2…XN)=H(X1)+ H(X2/ X1)+H(X3/ X1 X2)+…+H(XN / X1 X2…XN-1)。 (证明详见p161-p162)

3.2试证明：logr≥H(X) ≥H(X2/ X1) ≥H(X3/ X1 X2) ≥…≥H(XN / X1 X2…XN-1)。 证明:

?H.F.

2002 Copyright EE Lab508

由离散平稳有记忆信源条件概率的平稳性有:p(aik/ai2ai3?aik?1)?p(aik?1/ai1ai2?aik?2)?r??H(Xk/X1X2?Xk?1)????p(ai1?aik?1)???p(aik/ai1ai2?aik?1)logp(aik/ai2ai3?aik?1)?i1?1ik?1?1?ik?1? ????i1?1rrik?1?1ik?1rrrr??p(a??p(a?p(aari1i2rri1i2a?aik?1aik)logp(aik/ai2ai3?aik?1)a?aik?1aik)logp(aik?1/ai1ai2?aik?2) ????i1?1ri1i2ik?1?1ik?1 ????i1?1?aik?1)logp(aik?1/ai1ai2?aik?2)ik?1?1 ?H(Xk?1/X1X2?Xk?2)重复应用上面式子可得:H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)又仅当输入均匀分布时，H(X)达到最大logr，即logr?H(X)?logr?H(X)?H(X2/X1)?H(X3/X1X2)??H(XN/X1X2?XN?1)

3.3试证明离散平稳信源的极限熵：

H??limH(XN/X1X2XN?1)

n??(证明详见p165-p167)

3.4设随机变量序列(XYZ)是马氏链，且X：{a1, a 2,…, a r}，Y：{b1,b2, …,bs},Z:{c1,c2, …,cL}。又设X与Y之间的转移概率为p(bj/ai)(i=1,2, …,r;j=1,2, …,s)；Y与Z之间的转移概率为p(ck/bj)(k=1,2,…,L;j=1,2, …,s)。试证明：X与Z之间的转移概率：

p(ck/ai)??p(bj/ai)p(ck/bj)

j?1s

证明:

?H.F.

2002 Copyright EE Lab508

p(ck/ai)?p(Z?ck/X?ai) ?p(Z?ck,?Y?bj/X?ai)??p(Z?ck,Y?bj/X?ai)j?1j?1ss ??p(Y?bj/X?ai)P(Z?ck/Y?bj,X?ai)j?1s

?XYZ为Markov序列?P(ck/bj,ai)?P(ck/bj)?p(ck/ai)＝?p(Y?bj/X?ai)P(Z?ck/Y?bj)j?1s

3.5试证明：对于有限齐次马氏链，如果存在一个正整数n0≥1，对于一切i，j＝1，2，…，r，都有pij(n0)>0，则对每个j＝1，2，…，r都存在状态极限概率：

limpij(n)?pj(j?1,2,?,r)

n??(证明详见:p171~175)

3.6设某齐次马氏链的第一步转移概率矩阵为：

0 1 2 0?qp0?1?q0p? ??2??0qp??试求：

(1) 该马氏链的二步转移概率矩阵； (2) 平稳后状态“0”、“1”、“2”的极限概率。 解：

?q(1)[P(2)]??P??P????q??0(2)由：p0q0??q?qp???p????0p0q0??q2?pq?2p??q??2?p?q??pq2pqpq??p2?pq?p2??

p2??p(0)??qp0?T?p(0)??q(1?p)q2????p(0)??????1?pq1?pq??p(1)?＝?q0p???p(1)???(1?q)(1?p)pq????p(2)????0qp????p(2)???????p(1)?1?pq1?pq?p(0)?p(1)?p(2)?1???p(1?q)p2???p(0)??1?pq1?pq???p(i)?0(i?0,1,2)

3.7设某信源在开始时的概率分布为P{X0=0}=0.6;P{ X0=1}=0.3; P{ X0=2}=0.1。第一个单位

?H.F.

2002 Copyright EE Lab508

时间的条件概率分布分别是：

P{ X1=0/ X0=0}=1/3; P{X1=1/ X0=0}=1/3; P{ X1=2/ X0=0}=1/3; P{ X1=0/ X0=1}=1/3; P{ X1=1/ X0=1}=1/3; P{ X1=2/ X0=1}=1/3; P{X1=0/ X0=2}=1/2; P{ X1=1/ X0=2}=1/2; P{ X1=2/ X0=2}=0.

后面发出的Xi概率只与Xi-1有关，有P(Xi/Xi-1)=P(X1/ X0)(i≥2)试画出该信源的香农线图，并计算信源的极限熵H∞。 解：

由题意，此信源为一阶有记忆信源： 0 1 2且一步转移概率为：0?1/31/31/3?[P]?1??2?1/31/31/3?1/20??1/2???1/31/31/3??1/31/31/3??1/37/182/9?[P(2)]??P??P????1/31/31/3?????1/31/31/3??7/187/182/9??1/21/20??????????1/21/20????1/31/31/3???n0?2时二步转移概率均大于0，既有pij(n0?2)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)??p(ST?1)??1/31/31/3????p(S1)???p(S)?????p(S)?3由?2?1????p(S?＝?1/31/31/33)??????p(S2)?1/21/20?????p(S?83)????p(S?p(S)?p(S)?p(S)??2)?38?1231???p(S13)???p(S?i)?0(i?1,2,3)?43?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j ??3?(38?13log13)?3?(38?13log13)?2?(1114?2log2)?1.439bit/symbl香农线图如下：

1/3 1/3 1/3 0 1/3 1 1/2 1/3 1/2 1/3 2 ?H.F.

2002 Copyright EE Lab508

3.8某一阶马尔柯夫信源的状态转移如下图所示，信源符号集为X：{0,1,2}，并定义p?1?p

p/2 p/2 p 0 p 1 p/2 p/2 p/2 p/2 2 (1) 试求信源平稳后状态“0”、“1”、“2”的概率分布p(0)、p(1)、p(2)； (2) 求信源的极限熵H∞；

(3) p取何值时H∞取得最大值。 解：

p (1)由题意，此信源一步转移概率为： 0 1 20?pp/2p/2???[P]?1?p/2pp/2?2?p??p/2p/2??n0?1时二步转移概率均大于0，既有pij(n0?1)?0(i,j?1,2,3)?信源具有各态经历性，存在极限概率p(Si)(i?1,2,3)T??p(S)??p?p/2p/2?p(S1)?11?????p(S)????1?pp/2???p(S2)???p(S2)?＝?p/23????p/2p/2??p?1??p(S3)?????p(S3)???由?p(S)??23?p(S1)?p(S2)?p(S3)?1?1??p(S)?3??3??p(S)?0(i?1,2,3)i?(2)?H?????p(Si)p(Sj/Si)logp(Sj/Si)i?1j3

11pp1ppp ??3?(plogp??log??log)??(plogp?plog)bit/symbl33223222ppppp(3)H???(plogp?plog)??(plogp?log?log)22222pppp12?p???1?由熵的极限定理，当p???即p?时H?取得最大，且

222233H?max?log3?1.585bit/symble

?H.F.

2002 Copyright EE Lab508

8.8对于离散无记忆信源U,其失真矩阵[D]中,如每行至少有一个元素为零,并每列最多只有一个元素为零,试证明R(D)=H(U).

8.9试证明对于离散无记忆信源,有RN(D)=NR(D),其中N为任意正整数,D>Dmin. 8.10某二元信源X的信源空间为:

[X?P]:??X a1 a2 ?P(X) ? 1-?

其中ω<1/2,其失真矩阵为:

[D]??0d???d0??

(1) 试求Dmin,R(Dmin);

(2) 试求Dmax,R(Dmax); (3) 试求R(D);

(4) 写出取得R(D)的试验信道的各传输概率;

(5) 当d=1时,写出与试验信道相对应得反向试验信道的信道矩阵. 解:

?H.F.

2002 Copyright EE Lab508

(1)最小允许失真度：Dmin??p(ai)?minjd(ai,bj)??p(0)?0?p(1)?0＝0i?12则满足保真度D?Dmin?0的信道矩阵?10? [P]????01?p(bj/ai)?0或p(bj/ai)?1(i?1,2),故此时H(X/Y)?0?R(Dmin)?R(0)?min?I(X;Y)??min?H(X)?H(X/Y)??H(X)?H(?)?2?(2)Dmax?Dmin?min??p(ai)d(ai,bj)??min?p(0)d(0,0)?p(1)d(1,0);p(0)d(0,1)?p(1)d(1,1)?jj?i?1? ?min{d?p(1);d?p(0)}?d?p(1)?d?j?此时X、Y相互独立,I(X;Y)?0?R(Dmax)?R(?)?0(3)平均失真度D???p(ai)p(bj/ai)d(ai,bj)?d?p(ai)p(bj/ai)i?1j?1i?j22?pei??p(bj/ai)?D?d?p(ai)pei?dPe,当失真度满足保真度准则时,D?D?dPei?ji?jDD由费诺不等式:H(X/Y)?H(Pe)?Pelog(r?1)?H()?log(r?1)ddDDI(X;Y)?H(X)?H(X/Y)?H(X)?H()?log(r?1)ddDD?在D定义域中选取适当值可得R(D)?min{I(X;Y)}?H(X)?H()?log(r?1)ddD?对此信源R(D)?H(?)?H()dD?H(?)?H() 0?D?d??即R(D)??d? D?d??0

?H.F.

2002 Copyright EE Lab508

(4)I(X;Y)取得R(D)时的试验信道的信道矩阵为:??d2?Dd?D?d?D2??d2?2D?d[PX]??2Dd??D???d2??d2?2Dd?2Dd?检验:2?Dd?D?d?D2??d2?2D?d?d2??d2?2Dd?Dd??D2?d2??d2?2Dd?2Dd????d2?Dd?D?d?D2Dd??D2d??Dp(y1)??p(xi)p(y1/xi)???(1??)??d2?2D?dd2??d2?2Dd?2Dd?d?2Di?12d?d??Dp(y2)??p(xi)p(y2/xi)??D?(1??)(1?D)?d?2Di?1?d2?Dd?D?d?D2?2p(x1)p(y1/x1)D?d?2D?dp(x1/y1)???1?d??Dp(y1)dd?2DDd??D2(1??)22p(x2)p(y1/x2)d??d?2Dd?2Dd??Dp(x2/y1)??d??Dp(y1)dd?2DDd?D?d?D2?p(x1)p(y2/x1)?d2?2D?d?Dp(x1/y2)??d?d??Dp(y2)dd?2Dd2??d2?2Dd?Dd??D2(1??)22p(x2)p(y2/x2)d??d?2Dd?2Dd??1?Dp(x2/y2)??d?d??Dp(y2)dd?2DH(X/Y)????p(bj)p(ai/bj)logp(ai/bj)i?1j?122 ??[p(y1)p(x1/y1)logp(x1/y1)?p(y1)p(x2/y1)logp(x2/y1)? p(y2)p(x1/y2)logp(x1/y2)?p(y2)p(x2/y2)logp(x2/y2)]DDDDDDDD)log(1?)?p(y1)log?p(y2)(1?)log(1?)?p(y2)log]ddddddddDDDD ??[p(y1)?p(y2)]?[(1?)log(1?)?log]ddddD ?H()dD?I(X;Y)?H(X)?H(X/Y)?H(?)?H()d实际上是先根据参数法或者直接按照课本p487求出\反向信道\矩阵,再由反推正向信道传输矩阵. ??[p(y1)(1??H.F.

2002 Copyright EE Lab508

(5)由上面,d?1时与试验信道相对应的反向试验的信道矩阵为:D??D1??d?[PY]??dDD??1??d??d8.14设离散无记忆信源:

u1 u2 u3 ?U ?[U?P]:?111

P(U) ?333?其失真失真度为汉明失真度.

(1) 试求Dmin,R(Dmin),并写出相应试验信道的信道矩阵; (2) 试求Dmax,R(Dmax), 并写出相应试验信道的信道矩阵;

(3) 若允许平均失真度D=1/8,试问信源[U·P]的每一个信源符号平均最少由几个二进制码

符号表示? 解:

(1)最小允许失真度：Dmin??p(ui)?minjd(ui,bj)??p(u1)?0?p(u2)?0??p(u3)?0＝0i?13则满足保真度D?Dmin?0的信道矩阵?100?? [P]??010????001??p(bj/ai)?0或p(bj/ui)?1(i?1,2,3),设输出符号集合Y,则此时H(U/Y)?0?R(Dmin)?R(0)?min?I(U;Y)??min?H(U)?H(U/Y)??H(U)?log3?1.585bit/symble?3??111?1(2)Dmax?Dmin?min??p(ai)d(ai,bj)??min{p(u1));p(u2);p(u3)}?min?;;??jjj?333?3?i?1?1此时I(U;Y)?0?R(Dmax)?R()?03(3)离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?Dlog2?log3?H(D)?D1?log3?H(D)?D 0?D???3即R(D)??1?0 D??3?1111D?时,R()?log3?H()??0.9164bit/symble8888则信源的每一个符号平均最少可以用0.9164个二进制码符号来表示.8.15设二元信源X的信源空间为:

?

u1 u2 ?U [U?P]:?

1-??P(U) ? (ω<1/2),其失真度为汉明失真度.

?H.F.

2002 Copyright EE Lab508

若允许平均失真度D=ω/2,试问每一个信源符号平均最少需要几个二进制码符号表示? 解:

离散信源在汉明失真度下,R(D)?H(X)?H(D)?Dlog(r?1)?对此信源R(D)?H(U)?H(D)?H(?)?H(D)?H(?)?H(D) 0?D??即R(D)?? D???0 1?D??时211111R(?)?H(?)?H(?)???log??(1??)log(1??)?(2??)log(2??)?(3??)222221?每个信源符号平均最少需要H(?)?H(?)个二进制码符号来表示.2

?H.F.

百度搜索“70edu”或“70教育网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，70教育网，提供经典综合文库信息论与编码习题参考答案在线全文阅读。