设有齐次马尔可夫链{X（n)，n≥0}，其状态空间为E={0，1}，一步转移概率矩阵为 试求其n步转移概率矩阵。

设{X(n)，n≥0}为齐次马尔可夫链，状态空间E={0，1，2}，其一步转移概率矩阵为

设齐次马尔可夫链{X(n)，n≥0}的状态空间为1，2，3，4，一步转移概率矩阵为

设{X(n)，n≥0}为一齐次马尔可夫链，其状态空间E={0，1，2}，且其初始分布，其一步转移概率矩阵为

设{X(n)，n≥0}为一齐次马尔可夫链，其状态空间E={0,1,2},初始状态的概率分布为，一步转移概率矩阵为

设{X(n)，n≥0}是一齐次马尔可夫链，状态空间E={0，1，2}，其一步转移概率矩阵为

它的初始状态的概率分布为p_i（0）=P{X0=i}=1/3，i=0,1,2，

设齐次马尔可夫链的一步转移概率矩阵为

试证明此链是遍历的。

设齐次马尔可夫链的一步转移概率矩阵为

试证明此马尔可夫链具有遍历性，并求其平稳分布。

设齐次马尔可夫链的一步转移概率矩阵为

试求此马尔可夫链的二步转移矩阵，此链是否具有遍历性？试求其平稳分布。

无限制地抛一枚硬币，以H_n和T_n分别表示前n次抛掷中，正面和反面出现的次数，令

X(n)=H_n， Y(n)=H_n-T_n试问它们是马尔可夫链吗？如果是，求其转移概率矩阵。

含废品的个数。证明是一个马尔可夫链。并写出它的转移矩阵。