XQuartz est la continuation du X11.app obsolète d'Apple qui faisait partie d'OS X:
X11 n'est plus inclus avec OS X, mais les bibliothèques serveur et client X11 pour OS X sont disponibles sur le projet XQuartz: http://xquartz.macosforge.org . Vous devez utiliser la dernière version disponible de XQuartz.
Source: À propos de X11 pour Mac - Assistance Apple
X11 est un très vieux système de fenêtrage pour Unix qui n'est pas requis pour presque tout ce que vous ferez sur votre Mac. La seule utilisation répandue de X11 pour laquelle je l'utilise est Wine qui vous permet d'exécuter des logiciels Windows sur votre Mac.
XQuartz est très similaire à X11, mais est un «effort communautaire pour développer davantage» X11:
Apple a créé le projet XQuartz dans le cadre d'un effort communautaire pour développer et prendre en charge X11 sur OS X. Le projet XQuartz était à l'origine basé sur la version de X11 incluse dans Mac OS X v10.5. Il y a eu plusieurs versions de XQuartz avec des correctifs, la prise en charge de nouvelles fonctionnalités OS X et des améliorations supplémentaires à l'expérience X11. Apple est un contributeur au projet XQuartz et a travaillé pour s'assurer que X11 fonctionne comme prévu dans OS X avec les dernières versions disponibles de XQuartz.
XQuartz ne gâche pas l'écran Retina. Il ne remplace aucune gestion des fenêtres d'OS X. $ DISPLAY est utilisé uniquement avec et pour XQuartz pour autant que je sache.