On montre que l'action galoisienne sur la partie sans multiplication complexe de la cohomologie étale d'un faisceau $\ell$-adique lisse automorphe sur une variété de Shimura quaternionique compacte est semi-simple. Si le poids du faisceau s'écrit $k = (k_1,\ldots,k_d)$, où les $k_i$ ont la même parité, toute la cohomologie étale est semi-simple. Les mêmes résultats sont montrés pour la cohomologie d'intersection $\ell$-adique de la compactification de Baily-Borel des variétés modulaires de Hilbert. La preuve utilise un critère abstrait de semi-simplicité et les relations d'Eichler-Shimura pour les morphismes de Frobenius partiels.