Le degré d'irrationnalité d'une variété projective lisse $X$ est le degré minimal d'une application rationnelle dominante $X\dashrightarrow \mathbb{P}^{\dim X}$. Nous montrons que si une surface abélienne $A$ sur $\mathbb{C}$ est telle que l'image de l'accouplement d'intersection $\text{Sym}^2NS(A)\to \mathbb{Z}$ ne contient pas le nombre $12$, alors son degré d'irrationnalité est $4$. En particulier, le degré d'irrationnalité d'une surface abélienne très générale munie d'une polarisation de type $(1,d)$ est $4$ si $d\nmid 6$. Ce résultat nous permet de répondre à deux questions de Yoshihara en fournissant les premiers exemples de surfaces abéliennes dont le degré d'irrationnalité est supérieur à $3$ et en montrant que le degré d'irrationnalité n'est pas invariant sous isogénie pour les surfaces abéliennes.