« Un ensemble est une collection d’objets satisfaisant une propriété donnée. » Cette phrase ouvre presque tous les cours, du collège à la licence, et elle a le mérite de ne heurter personne. Elle a aussi un défaut : elle ne sert dans aucune démonstration. Aucune propriété ne s’en déduit, aucun théorème ne s’y appuie. Et si l’on prend au sérieux ce qu’elle affirme, on obtient une contradiction en trois lignes. Bertrand Russell l’a écrite en 1901, et elle a coûté ses fondations à toute une arithmétique.

L’article ouvre le second temps de la série Aux fondations, consacré cette fois à la théorie des ensembles. Il suppose acquis ce qu’est une axiomatique, exposé à propos des cinq groupes d’axiomes de Hilbert, et le procédé qui consiste à ne pas définir ses objets mais à dire ce qu’on a le droit d’en faire, déjà rencontré avec les axiomes de Peano. Les deux articles suivants du fil en tirent les conséquences : les axiomes de Zermelo-Fraenkel, puis fonction, application, correspondance.

1. Une phrase qui ne démontre rien

Le test d’une définition est simple : on doit pouvoir s’en servir dans une preuve. « Un ensemble est une collection d’objets » échoue au test, pour une raison qui n’est pas un défaut de rédaction : le mot collection n’est pas plus clair que le mot ensemble. C’est un synonyme, rien d’autre. Aucune propriété ne s’en déduit, et de fait personne n’a jamais écrit « puisqu’un ensemble est une collection d’objets, il s’ensuit que… ».

Ce n’est pas une faiblesse propre à la théorie des ensembles. Hilbert ne définit ni le point, ni la droite, ni le plan ; Peano ne définit pas le nombre entier. Dans les deux cas, les termes sont primitifs : ils n’ont d’autre contenu que celui que leur donnent les axiomes. Le mot ensemble est un terme primitif de même nature, et la relation d’appartenance en est un second. La seule question légitime n’est donc pas « qu’est-ce qu’un ensemble ? », mais « quels ensembles a-t-on le droit de former ? ».

2. Le principe qui semblait aller de soi

À cette question, l’intuition répond de la façon la plus généreuse possible : tous. Toute propriété que l’on sait écrire détermine un ensemble, celui des objets qui la vérifient. Frege en fait la pierre angulaire de ses Grundgesetze der Arithmetik, et l’énoncé s’écrit sans ambiguïté.

Compréhension non restreinte. Pour toute assertion contenant exactement une variable libre, la collection des objets qui la vérifient est un ensemble :

Deux remarques de forme, qui serviront plus loin. D’abord, ce n’est pas un axiome mais un schéma : une règle qui produit un axiome par assertion , donc une infinité d’axiomes. Ensuite, l’ensemble ainsi obtenu est unique, puisque deux ensembles ayant les mêmes éléments sont égaux ; on peut donc le noter sans risque. C’est exactement la notation qu’emploie le lycée, et c’est exactement le principe qu’il applique sans le nommer.

3. Trois lignes

Dans une théorie où tout objet est un ensemble, la formule est parfaitement formée : elle affirme qu’un ensemble s’appartient à lui-même. Sa négation l’est tout autant. Appliquons le schéma à l’assertion , et notons

Par construction, tout objet vérifie l’équivalence . Cette équivalence vaut pour tout objet, donc en particulier pour lui-même. En remplaçant par :

Le principe du tiers exclu impose que l’une des deux assertions et soit vraie ; chacune entraîne l’autre, donc chacune conduit à une contradiction. La théorie est contradictoire.

Il faut mesurer la modération des moyens employés. Pas d’infini, pas de cardinal, pas de nombre réel ; une seule instance du schéma, une substitution, et le tiers exclu. La contradiction n’est pas tapie dans un recoin exotique de la théorie : elle est à trois lignes de son premier principe. Et l’on sait ce qu’une contradiction coûte : de et de , les règles de déduction permettent d’obtenir n’importe quel énoncé. Une théorie contradictoire ne dit pas des choses fausses : elle dit tout, ce qui revient à ne rien dire.

4. Ce que la lettre de 1902 a détruit, et ce qu’elle a laissé debout

Russell communique l’argument à Frege en juin 1902, alors que le second tome des Grundgesetze est sous presse. Frege ajoute un appendice qui commence par une phrase que tout auteur d’ouvrage de fondements devrait avoir lue : rien n’est plus fâcheux, pour qui écrit sur les fondements, que de voir l’une d’elles céder une fois le travail achevé. Il ne cherche pas à sauver la face ; il expose la contradiction, propose une réparation, et reconnaît lui-même qu’elle ne suffit pas.

Ce qui tombe est précis, et il importe de ne pas l’exagérer. Ce n’est ni la notion d’ensemble, ni la logique, ni l’arithmétique : c’est une seule hypothèse, la compréhension non restreinte. Le diagnostic est donc encourageant, et c’est ce qui rend la suite possible : il ne s’agit pas de rebâtir les mathématiques, mais de remplacer un principe trop généreux par un principe plus prudent.

5. Deux échappatoires qui n’en sont pas

« Écrire n’a pas de sens. » C’est une objection de bon sens, et elle est irrecevable ici. Dans le système considéré, tout objet est un ensemble et est une relation entre ensembles : la formule est syntaxiquement correcte, au sens exact établi dans l’article sur la syntaxe et la sémantique. Certains systèmes ajoutent, il est vrai, un axiome de fondation qui interdit à un ensemble de s’appartenir — mais c’est alors un axiome supplémentaire, donc une pièce de la réponse, non une objection ; et il ne figure pas dans la liste des huit que retient notre ouvrage sur les fondations des mathématiques.

« C’est l’histoire du barbier. » La vulgarisation propose le barbier qui rase tous ceux qui ne se rasent pas eux-mêmes, et eux seuls : se rase-t-il ? L’image est fidèle à la forme de l’argument, mais elle en manque la portée, et la différence est instructive. Du barbier, on conclut sans dommage qu’il n’existe pas : rien ne garantissait son existence. De , on ne peut pas tirer la même conclusion, puisque c’est le principe lui-même qui affirme son existence. Le paradoxe du barbier réfute une hypothèse ; celui de Russell réfute un axiome.

6. Une collection décrite n’est pas un ensemble

Voilà la leçon, et elle vaut d’être énoncée comme un interdit : savoir décrire une collection ne suffit pas à en faire un ensemble. La propriété « ne pas s’appartenir à soi-même » est parfaitement claire, elle est décidable pour chaque objet qu’on lui présente, et pourtant les objets qui la vérifient ne forment pas un ensemble.

C’est pourquoi l’ouvrage dont ce fil est tiré emploie, tant que les axiomes ne sont pas posés, le mot collection et non le mot ensemble — précaution que l’on retrouve jusque dans les chapitres de géométrie, où la collection des points du plan n’est déclarée ensemble qu’une fois la chose établie. Le vocabulaire savant appelle classe une collection définie par une propriété : tout ensemble est une classe, la réciproque est fausse, et une classe qui n’est pas un ensemble est dite propre. La classe de Russell est propre, comme l’est la classe de tous les ensembles.

Russell n’était pas le premier averti. Cantor avait déjà remarqué que « l’ensemble de tous les ensembles » contredit son propre théorème sur les parties, qui interdit à un ensemble d’être en bijection avec l’ensemble de ses parties. L’argument diagonal qui établit ce théorème fera l’objet de l’article à paraître « L’argument diagonal : ℝ n’est pas dénombrable ». La parenté des deux raisonnements n’est pas fortuite : dans les deux cas, on fabrique un objet en le rendant différent de chacun de ceux qu’on prétendait avoir tous capturés.

7. La sortie, et ce qu’elle coûte

La réparation tient en un mot : on ne crée plus d’ensemble à partir d’une propriété seule, on découpe à l’intérieur d’un ensemble déjà obtenu. C’est le septième des huit axiomes de Zermelo et Fraenkel, que l’ouvrage nomme axiome de compréhension — on le trouve ailleurs sous le nom de schéma de séparation.

Axiome de compréhension (ZF 7). Pour tout ensemble et chaque assertion contenant exactement une variable libre, il existe un ensemble contenant exactement les éléments de pour lesquels est vraie. Il est noté .

La différence avec l’énoncé du paragraphe 2 tient en deux caractères : au lieu de . L’effet sur l’argument de Russell mérite d’être suivi de près, car il ne disparaît pas : il change de statut. Soit un ensemble quelconque et , qui est un ensemble par compréhension. Supposons . L’équivalence de définition, appliquée à , donne alors , ce qui est impossible. Donc : voilà un ensemble qui n’appartient pas à , et était quelconque.

Théorème. Aucun ensemble ne contient tous les ensembles.

Le même calcul, hier contradiction, devient théorème. C’est le genre de retournement qui justifie à lui seul qu’on s’intéresse aux axiomes : ce n’est pas le raisonnement qui était fautif, c’est ce qu’on lui avait donné le droit de supposer.

La prudence a un prix, et il est immédiat : la compréhension ne fabrique rien à partir de rien. Elle découpe dans un ensemble déjà là, et il faut donc d’autres axiomes pour disposer d’un premier ensemble, puis pour former des paires, des réunions, des parties, et un ensemble infini. C’est le rôle des sept autres, que le prochain article prend un à un.

Une dernière remarque, pour l’enseignement. L’écriture est irréprochable : elle découpe dans . L’écriture , sans ensemble de référence, est celle qui a produit la contradiction. Le lycée emploie toujours la première — il commence par « résoudre dans » — et l’élève y voit une formalité administrative. Cette formalité est ce qui sépare une théorie cohérente d’une théorie qui démontre tout.

---

Le paradoxe de Russell ouvre la section 3.1, Axiomes de la théorie des ensembles, de Discours formel sur les mathématiques pour le secondaire, Volume I, où il justifie le passage à la définition axiomatique ; l’axiome de compréhension y est le septième du système de Zermelo et Fraenkel.