Nous introduisons une large classe de groupes, dits proprement proximaux, qui contient tous les groupes bi-exacts non-moyennables, les groupes de convergence non-élémentaires, et les réseaux dans des groupes de Lie semi-simples non-compacts, mais aucun groupe intérieurement moyennable. Nous montrons que les facteurs II$_1$ qui sont des produits croisés par des actions libres ergodiques préservant une mesure de probabilité de tels groupes ont au plus une seule sous-algèbre de Cartan compacte, à conjugaison près. Comme application, nous déduisons les premiers résultats de $W^*$-rigidité pour des actions compactes de $SL_n(\mathbb{Z})$.