Soit le processus stochastique à temps continu et à états discrets.
Soit la variable aléatoire désignant le temps que passe le processus à l'état avant de passer dans un autre état. Les chaînes de Markov à temps continu sont des processus stochastiques qui doivent (entre autres) vérifier la propriété de non-vieillissement : ce qui signifie que le temps qu'il reste à passer dans un état ne dépend pas du temps déjà passé dans cet état. De cette propriété on peut déduire que dans une chaîne de Markov à temps continu les variables aléatoires suivent des lois exponentielles (car celles-ci sont les seules lois de probabilités continues vérifiant la propriété de non-vieillissement).
On notera la probabilité que partant de l'état à un instant , on soit dans à l'instant . C'est-à-dire :
Les fonctions sont appelées « fonctions de transition de la chaîne », et ont la propriété :
Pour tout i, (c'est-à-dire que l'on doit forcément être dans un des états au temps t.)