Au XIX^e siècle, la révolution industrielle tourne à plein, et avec elle on s'intéresse aux propriétés physiques  des machines et de leur façon de  transformer  la chaleur  en  travail.  La thermodynamique  est  la branche de la physique qui  décrit les phénomènes impliqués : échanges de chaleur entre différents fluides, dilatation des gaz en fonction de leur température  et de leur  pression. Sadi Carnot écrit en  1824 le texte fondateur  de la  thermodynamique, « Réflexions sur  la puissance motrice  du  feu  et  sur  les machines  propres  à  développer  cette puissance »,  dans lequel il  donne un  cadre théorique  à l'étude  des machines thermiques et de leur efficacité.

Au même  moment, une autre  description physique du monde,  la théorie atomique, émerge en tant que  théorie scientifique avec les travaux de John Dalton  :  son principe  est  de  décomposer  la matière  en  éléments « irréductibles », les  atomes, et d'expliquer les  propriétés chimiques de la matière  à partir de la  façon dont les atomes  qui la composent interagissent.

Il s'agit là de  deux  approches  totalement différentes,  qui  vont évoluer   presque   indépendamment   pendant   un   siècle,   jusqu'au développement,  au tout  début du  XX^e siècle, de ce  qui deviendra  la mécanique  statistique.  Le  programme   de  Ludwig Boltzmann  et  Josia Willard Gibbs  est d'expliquer  les  propriétés thermodynamiques  de  la  matière, et  en particulier celles des gaz, à partir de leur description atomiste. Pour cela, ils introduisent une description  mathématique, probabiliste, à partir de  laquelle les  notions fondamentales  de la  thermodynamique, comme l'énergie, la  température et la pression,  peuvent être  définies de manière mathématique.

Un peu plus précisément, un gaz dans un récipient peut être vu comme la collection des très nombreuses molécules qui le composent, et qui sont en mouvement par agitation thermique. L'état du système n'est pas donné par  la position et la vitesse de chaque molécule, ce qui ne serait ni observable ni maniable, mais comme une loi de probabilité sur ces positions et ces vitesses. On peut alors interpréter la température du gaz en fonction de la vitesse  moyenne d'une molécule, voire la pression exercée sur le récipient  comme l'effet  moyen des molécules qui heurtent son bord, et modéliser les échanges thermiques entre gaz comme conséquences d'interactions entre leurs molécules.

Gibbs publie en 1902 le premier ouvrage qui traite  de cette nouvelle théorie et lui donne son nom, les « Principes élémentaires en mécanique statistique ». Ce changement de point de  vue aura un effet profond sur toute  la physique  du  XX^e  siècle, et aussi sur les mathématiques puisqu'elle  constitue un terrain  où  mathématiques et physique se fécondent mutuellement ; la mécanique  statistique  est  encore aujourd'hui un domaine de recherche en pleine activité.