Soit $N$ un groupe de Lie nilpotent, connexe et simplement connexe ; soient $\Lambda $ un réseau dans $N$ et $\Lambda \setminus N $ la nilvariété correspondante. Nous donnons une caractérisation des sous-groupes dénombrables du groupe $\mathrm {Aff}(\Lambda \setminus N) $ des transformations affines de $\Lambda \setminus N $ dont l'action sur $L^2(\Lambda \setminus N)$ possède un trou spectral : ce sont les groupes $H$ pour lesquels le tore quotient maximal $T$ de $\Lambda \setminus N $ ne possède aucun sous-tore propre et $H$-invariant $S$ tel que la projection de $H$ sur $\mathrm {Aut} (T/S)$ soit un groupe virtuellement abélien. Les outils principaux de la preuve sont la théorie de Kirillov des représentations unitaires des groupes de Lie nilpotents et l'étude du comportement asymptotique des coefficients matriciels de la représentation métaplectique du groupe symplectique qui permettent de ramener le cas général à celui des tores dont l'étude est préalablement menée. Nos méthodes montrent que l'action de $H\subset \mathrm {Aff}(\Lambda \setminus N) $ sur $\Lambda \setminus N $ est ergodique (ou celle de $H\subset \mathrm {Aut}(\Lambda \setminus N)$ sur $\Lambda \setminus N$ est fortement mélangeante) si et seulement si l'action induite de $H$ sur $T$ possède la même propriété.