Involutions complexes et vecteurs sphériques associés pour les groupes de Lie nilpotents réels
Complex involutions and associated spherical vectors for real nilpotent Lie groups
Français
Les représentations monomiales d'un groupe de Lie nilpotent $G$ dans un espace de Hilbert, obtenues par induction à partir d'un caractère unitaire d'un sous–groupe ont été bien étudiées ces dernières années. Par exemple par Grélaud, Corwin et Greenleaf, Fujiwara et Lipsman. La construction d'une représentation induite holomorphe à partir d'une sous– algèbre $\mathfrak {k}$ de la complexifiée $\mathfrak {g}^\mathbb {C}$ de l'algèbre de Lie $\mathfrak {g}$ de $G$, subordonnée à une forme $f$ sur $\mathfrak {g}^*$ fournit un autre procédé pour obtenir des représentations unitaires qui généralise le précédent. Ce procédé a été utilisé lorsque $\mathfrak {k}$ est une polarisation positive par Auslander et Kostant en 1971, afin d'obtenir des représentations unitaires irréductibles pour les groupes de Lie résolubles généraux. Depuis lors, l'étude des cas où cette induction conduit à une représentation unitaire non irréductible ne semble pas avoir été abordée. Dans ce qui suit, une première tentative est faite pour combler cette lacune. En 1985, un travail de Benoist sur la représentation monomiale obtenue à partir du caractère trivial du sous–groupe des points fixes d'une involution de $G$ avaient montré qu'il s'agissait là d'un bon exemple de départ pour étudier les représentations monomiales plus générales. Reprenant la même démarche, on considère maintenant la représentation induite holomorphe $(\rho ,\mathcal {H} )$ construite à partir de la forme nulle sur la sous-algèbre $\mathfrak {k}$ des points fixes d'une involution de $\mathfrak {g}^\mathbb{C}$. Pour cela, on utilise les vecteurs “sphériques” ou vecteurs– distributions annulés par $\mathfrak {k}$, pour chaque représentation unitaire irréductible $\pi $ de $G$ associée à une $G$-orbite $\Omega $ dans $\mathfrak {g}^*$ par la bijection de Kirillov. On constate qu'ils forment un sous-espace $(\mathcal {H} ^{-\infty }_\pi )^{\mathfrak k}$ de dimension au plus $1$. Ce résultat implique que $\rho $ est sans multiplicité. On met en évidence un cône $\Theta $ de $\mathfrak {g}^*$ tel que l'équivalence $\Omega \cap \Theta \not =\emptyset \ \Longleftrightarrow \ \dim {(\mathcal {H} ^{-\infty }_\pi )^{\mathfrak k}} =1 $ est vérifiée. Notons $\overset {\circ }\Theta $ l'intérieur de $\Theta $ dans le sous-espace $(\mathfrak {k}\cap \mathfrak {g})^\perp $. On démontre alors l'équivalence $ \mathcal {H} \not =\{0\} \ \Longleftrightarrow \ {\overset {\circ }\Theta }\not =\emptyset . $