M2 Modélisation Aléatoire

Master en statistique, probabilités et finance - Université Paris 7 - Paris Diderot

 
 
 
 
 
 
Liste des cours Cours de base Chaîne de Markov
 
 

Chaîne de Markov

Cours: M. Merle
Période:
Trimestre 1
Nombre de crédits:
6
Volume horaire:
3 heures de cours par semaine

 

Ce cours présentera une théorie générale sur les chaînes de Markov à espace d'état dénombrable.

Ces processus aléatoires avec dépendance sont parmi les plus simples à étudier mais présentent des
caractéristiques tout à fait intéressantes (du point de vue théorique comme des applications).

On abordera notamment le comportement en temps long des chaînes de Markov (mesure invariante et théorèmes limites). On développera des méthodes de couplage, qui éclairent les phénomènes de perte de la mémoire. Les processus réversibles seront aussi étudiés (en particulier grâce à l'analogie avec les réseaux électriques).

Pour ces systèmes, on peut quantifier simplement la convergence vers l’équilibre.
Si le temps le permet, on parlera des phénomènes de « convergence abrupte ».

On basera l'étude des chaînes de Markov sur de nombreux exemples classiques, avec entre autres, la ruine du joueur, la marche sur le cycle, sur le tore, sur l'hypercube, sur l'arbre régulier, le collectionneur de coupon, des mélanges de cartes, etc...

Programme :

1. Chaîne de Markov discrète à espace d’état dénombrable. Construction, matrice de transition, irréductibilité.

2. Mesure invariante, théorèmes ergodiques.

3. Réversibilité, analogie avec les réseaux électriques.

4. Temps de mélange.

5. Réversibilité et méthodes L2 : propriétés spectrales.

6. Régénération. Simulation parfaite de la probabilité invariante. Renouvellement.

Bibliographie :

- David ALDOUS, James A. FILL Reversible Markov Chains and Random Walks on Graphs, www.stat.berkeley.edu/~aldous/RWG/book.pdf

· Peter DOYLE, SNELL, J. LAURIE Random walks and electric networks, Mathematical Association of America (1984)

· Richard DURRETT Probability : theory and examples, Duxbury Press (1996)

- David A. LEVIN, Yuval PERES, Elisabeth L. WILMER, Markov chains and Mixing Times, www.uoregon.edu/~dlevin/MARKOV/markovmixing.pdf

- Russell LYONS, Yuval PERES, Probability on Trees and Networks, http://mypage.iu.edu/~rdlyons/prbtree/bookcr.pdf

· D.REVUZ Markov chains, North-Holland Publishing Co., Amsterdam (1984)