Ces notes de cours se situent à l'interface entre « Théorie de l'information » et « Statistiques ». On y met en évidence les liens que le codage universel et la compression adaptative présentent avec l'inférence statistique des processus, par maximum de vraisemblance ou méthode bayésienne. Partant de résultats et outils classiques en alphabet fini, on aborde la théorie récente du codage universel en alphabet infini. On montre comment cela permet de résoudre des problèmes d'identification d'ordre, notamment pour les modèles de chaînes de Markov cachées.