En mathématiques, le théorème de Jordan est un théorème de topologie plane. Si, à l'aide d'un crayon, on dessine sur une feuille une ligne continue (sans lever le crayon) qui ne se croise pas et qui se termine là où elle commence, la zone de la feuille non dessinée se décompose en deux parties, l'intérieur de la figure, qui est borné, et l'extérieur, qui ne le serait pas si la feuille ne l'était pas. Pour s'en rendre compte, il suffit de découper la feuille à l'emplacement de la ligne, on obtient bien deux morceaux. On parle de courbe de Jordan.
Le théorème de Jordan est célèbre par le caractère apparemment intuitif de son énoncé et la difficulté de sa démonstration. « En fait, il n'y a pratiquement aucun autre théorème qui apparaisse aussi évident en apparence que n'importe quel axiome de géométrie élémentaire et dont la démonstration est tout sauf évidente »[1] précise M. Dostal à son sujet.
Ce théorème est l'un des piliers de la topologie du plan, qui correspond à l'étude des transformations, sans arrachage ni recollement (le plan est considéré comme formé d'une baudruche infiniment souple mais indéchirable). Une manière ludique d'en comprendre l'intérêt est l'énigme des trois maisons. On considère dans le plan trois maisons représentées par des points et trois fournisseurs d'eau, de gaz et d'électricité. L'objectif est de relier chaque maison aux trois fournisseurs par des lignes, sans que deux de ces lignes ne se croisent. Le théorème de Jordan permet de montrer que c'est impossible. Il est utilisé pour mieux comprendre les équations différentielles. On le trouve encore en analyse complexe, à travers la théorie des résidus, et en géométrie différentielle.
Bernard Bolzano est le premier mathématicien à considérer comme une question mathématique ce qui deviendra le théorème de Jordan. Il formalise les définitions à l'origine de la démonstration. En 1887, Camille Jordan rédige la première démonstration, qui reste d'actualité de par la simplicité des outils mathématiques utilisés. Dans son Cours d'analyse[2], Jordan présente la partie facile de la démonstration sous forme d'un exercice dont la solution n'est pas rédigée. Ceci amène souvent à considérer la démonstration d'Oswald Veblen, en 1905[3], comme la première démonstration complète.
Une courbe de Jordan dans un plan affine réel est une courbe fermée simple ; on parle aussi de lacet simple. Autrement dit, une courbe de Jordan est l'image par une application φ, continue et injective, d'un cercle vers un plan ou encore une bijection du cercle dans son image. Comme le cercle est compact, l'image par φ d'un fermé est un fermé, ce qui montre que sa réciproque est continue ; on parle d'homéomorphisme sur son image. Par abus, et comme souvent[4], dans cet article les termes de courbe fermée simple et de lacet simple désignent à la fois l'application φ et son image. Certains auteurs plus précis[5] considèrent que le terme de courbe fermée simple désigne uniquement l'image de l'application φ et que le terme de courbe fermée est synonyme d'arc paramétré défini sur un segment.
Intuitivement, un connexe est un espace topologique d'un seul tenant. Les connexes du théorème ont une propriété particulière : on peut aller d'un point à un autre d'un même connexe en empruntant un chemin qui ne quitte pas le connexe ; on parle alors de connexité par arcs. Une composante connexe est un connexe maximal pour l'inclusion. Autrement dit, si l'on ajoute une partie quelconque du complémentaire à une composante, l'ensemble n'est plus connexe. Le terme de frontière correspond à l'idée intuitive que l'on s'en fait. Tout disque de rayon non nul et de centre un point de la frontière contient des points d'au moins deux composantes connexes.
Le théorème dit de Jordan s'énonce ainsi :
Théorème de Jordan[6] — Le complémentaire d'une courbe de Jordan S dans un plan affine réel est formé d'exactement deux composantes connexes distinctes, l'une bornée et l'autre non. Toutes deux ont pour frontière la courbe de Jordan S.
L'approche intuitive est trompeuse : on imagine généralement des lacets simples un peu rudimentaires, relativement proche d'un cercle, à l'image de la figure 1. Cependant, une courbe de Jordan peut être beaucoup plus complexe. La figure 3 illustre un exemple[7] disposant de nombreux enroulements. Savoir si le point rouge est ou non à l'intérieur du lacet n'est pas aussi facile qu'on aurait pu le penser de prime abord.
Un lacet simple peut être vu comme un élastique circulaire déformé à volonté, de manière que deux points distincts ne se touchent jamais. L'élastique est supposé être infiniment élastique. Autrement dit, il peut acquérir une longueur infinie. Cela revient à dire que le dessinateur de l'introduction est supposé être capable de tracer une ligne infiniment rapidement avec une précision infinie. Sur une idée de Karl Weierstrass[Note 1], le mathématicien Helge von Koch trouve un lacet simple[8] nulle part dérivable, appelé le flocon de Koch. Le motif qui le constitue est répété à l'infini, un peu comme un flocon de neige dont les branches supporteraient d'autres branches plus petites qui en contiendraient encore d'autre. Cette construction correspond à une géométrie fractale et la dimension de la frontière est strictement plus grande que 1. Savoir s'il existe un chemin reliant deux points profondément imbriqués dans les petites radicelles de la figure 4, n'est plus aussi intuitif que pourrait le laisser penser une lecture rapide de l'énoncé[9].
D. Leborgne indique que « Ce qui est remarquable […] est, d'une part, l'extrême simplicité (apparente) des énoncés, et, d'autre part, la difficulté importante de leur démonstration. »[10]. La grande généralité du théorème, c'est-à-dire le fait qu'il soit vrai sans supposer d'hypothèse de régularité comme la dérivabilité ou au moins le caractère lipschitzien de la courbe de Jordan, complexifie en réalité plus l'énoncé qu'elle ne le simplifie.
Le théorème de Jordan intervient dans des branches fort différentes des mathématiques. Son domaine naturel est la topologie. Une manière d'illustrer son usage est l'énigme des trois maisons, illustrée sur la figure 5 et posée pour la première fois par Henry Dudeney en 1917[11]. Comment relier chacun des trois points rouges du bas à chacun des trois points rouges du haut de telle manière à ce que les liens ne se chevauchent pas ? Le théorème de Jordan permet de montrer qu'il n'existe pas de solution. De manière moins anecdotique, le résultat de l'article est la cheville ouvrière de la démonstration du théorème de Kuratowski, le résultat clé des graphes planaires[12].
Un usage plus classique est associé à une meilleure compréhension d'une famille d'équations différentielles. Elle correspond à celles de la forme x' = f(x) où f est une fonction suffisamment régulière[Note 2] de la variable réelle dans le plan. On peut l'imaginer comme l'équation d'un bouchon sur un étang parcouru d'un courant modélisé par la fonction f. Si une solution est bornée, elle ne peut quitter un disque de rayon suffisamment grand. Le théorème de Cauchy-Lipschitz indique que la solution ne peut passer deux fois par le même point, cette contrainte lui impose soit de converger vers un point, soit vers un cycle limite. Autrement dit, le bouchon finit par s'immobiliser ou tourner indéfiniment autour d'un lacet de Jordan, comme montré sur la figure 6. Ce résultat est connu sous le nom de théorème de Poincaré-Bendixson.
L'analyse complexe étudie les fonctions de la variable complexe à valeurs dans les complexes. Si la fonction, notée ici f, est dérivable (au sens complexe) elle est développable en série entière en chaque point de son domaine de définition et le rayon de convergence de cette série, en un point du domaine, n'est jamais nul. Une telle fonction est dite méromorphe. Elle peut comporter des singularités, un peu de même nature que les zéros du dénominateur des fractions rationnelles. Soit γ un lacet simple du plan complexe, ne passant par aucun zéro de f ni aucune singularité. Le lacet γof fait autant de fois le tour des racines que l'intérieur du lacet contient de zéros. La valeur de l'intégrale curviligne du lacet γof est intimement associée aux singularités qui se trouvent à l'intérieur du lacet γ, ce résultat est connu sous le nom de théorème des résidus. Pour ces différentes raisons, il n'est guère possible d'écrire un livre sur l'analyse complexe sans présenter le théorème de Jordan[13].
La géométrie différentielle n'est pas en reste[14]. Il permet d'orienter tout lacet simple[15] et montre que la courbure totale d'un lacet simple dérivable est égale à 2π[16]. Ces différentes raisons font écrire à D. Leborgne que le résultat de l'article est l'un des « grands théorèmes concernant la topologie des espaces de dimension finie »[17].
Le théorème de Jordan apparaît tout d'abord dans l'histoire comme une vérité intuitive en deçà des mathématiques. Dessiner une boucle, par exemple rectangulaire, permet de délimiter une zone de l'espace. Cette technique correspond à celle d'un dessinateur de bande dessinée traçant des cadres pour séparer les différentes images narratives. La culture originelle des tchokwés, atteste d'un usage ancien de cette technique graphique pour séparer les membres d'un clan (illustrés à l'intérieur d'une courbe) et les autres (à l'extérieur)[18].
Des raisons philosophiques poussent Bernard Bolzano, un mathématicien du début du XIXe siècle, à refuser cette vision. J. Sebestik précise que, pour ce mathématicien : « une démonstration qui fait appel à l'intuition ne fournit que la certitude et ne peut être acceptée que pour des raisons pédagogiques ou heuristiques, seule une démonstration qui fonde une vérité en la rattachant à l'ensemble des vérités d'une science peut être appelé rigoureusement scientifique. »[19].
Bolzano cherche à démontrer le théorème des valeurs intermédiaires, qui indique en substance que toute personne montant des escaliers pour aller d'un rez-de-chaussée à un deuxième étage, passe toujours par un premier étage. L'une des difficultés consiste à formuler les bonnes définitions, un résultat atteint en 1814[20]. Bolzano découvre alors des résultats non nécessairement intuitifs : une fonction qui vérifie la propriété de la valeur intermédiaire n'est pas nécessairement continue[Note 3]. Sa définition est toujours d'actualité. Ce mathématicien formalise aussi la notion de connexité[21]. Sa définition correspond à ce que l'on appelle maintenant un connexe par arcs, concept moins général que la définition actuelle, mais plus adaptée aux démonstrations qu'il essaye d'établir.
Ces résultats lui permettent d'exprimer en termes de question mathématique le théorème de l'article, qui quitte le monde des certitudes intuitives pour entrer dans celui des conjectures. Le mathématicien en a conscience et tente des démonstrations. « Comme en témoignent les manuscripts, Bolzano y revient sans cesse. »[22], précise J. Sebestik. Ne disposant pas d'idée originale sur cette question, ses tentatives sont des échecs[Note 4].
Des décennies sont nécessaires pour que cette conjecture devienne importante et pour que les progrès dans la compréhension de la question permettent enfin une démonstration. Augustin Louis Cauchy développe les prémices de la théorie des résidus en analyse complexe[23]. L'image d'un lacet simple par une fonction méromorphe[Note 5] f est encore un lacet, les propriétés de ce lacet sont étroitement liées aux singularités de la fonction f situés à l'intérieur du lacet. Montrer que les termes intérieur d'un lacet font sens, est riche de conséquences. L'apparente simplicité d'un lacet simple est petit à petit battue en brèche. Karl Weierstrass prouve en 1872 qu'il existe des courbes partout continues et nulle part dérivables[24]. À la même époque que la démonstration du théorème, Giuseppe Peano montre l'existence de courbes qui remplissent toute une aire plane, un carré en l'occurrence[25]. Ce type de pathologie ne peut arriver dans le contexte de l'article, car si la courbe est un lacet, elle ne peut pas être simple. En revanche, elle met en valeur le rôle non nécessairement intuitif de certaines hypothèses comme l'injectivité du lacet simple.
Camille Jordan trouve une idée permettant de conclure[2]. À un point du complémentaire du lacet dans le plan, il associe une demi-droite et compte le nombre de points d'intersection entre cette demi-droite et le lacet. Si ce nombre est fini et à quelques exceptions près, la parité de ce nombre ne dépend pas de la demi-droite choisie. Pour contourner la difficulté représentée par les exceptions, Jordan étudie d'abord le cas des polygones, il ne considère que les demi-droites qui ne passent pas par un sommet, ce qui retire toutes les exceptions. La fonction qui à un point associe la parité est continue et prend deux valeurs, paire pour l'extérieur et impaire pour l'intérieur. Jordan conclut (et c'est la partie difficile) que tout lacet simple est suffisamment proche d'un polygone pour que le résultat reste valable[26].
La démonstration de Jordan est largement critiquée. Pour le mathématicien Oswald Veblen, la démonstration est vue comme : « l'étape la plus importante en direction d'une rigueur mathématique parfaite[3]. », propriété qu'il n'accorde pas à la démonstration de Jordan et qui l'amène à en écrire une autre[3]. Cette opinion est largement répandue[27]. Deux mathématiciens, Richard Courant et Herbert Robbins, précisent : « La démonstration de Jordan n'est ni courte ni simple, l'étonnement s'accroît lorsqu'il apparaît que sa démonstration n'est pas valable et qu'il faut encore un effort considérable pour résoudre les lacunes laissées dans son raisonnement[28] ». L'objection majeure est que dans sa première édition de sa démonstration (en 1887), les détails de la validité du théorème pour le polygone ne sont presque pas donnés, dans sa seconde édition (en 1893) ils sont expédiés en huit lignes et précisés uniquement sous la forme d'un exercice. Seule la partie véritablement difficile, à savoir la généralisation à tous les lacets simples, est explicitée[29]. En 1996, un article reprenant les idées de Jordan est publié[30]. Leurs auteurs, Vladimir Kanovei (en) et Michael Reeken, qualifient la démonstration de Jordan comme « essentiellement valable »[29]. Si la méthode de Jordan, à l'aide des polygones, est toujours d'actualité de par sa simplicité, celle de Veblen est tombée dans l'oubli[29],[Note 6].
Dès sa naissance, le théorème de Jordan se trouve à la croisée de plusieurs branches des mathématiques. L'enjeu de Bolzano, soit de bâtir les mathématiques sur une base axiomatique et non pas sur des évidences intuitives, est toujours présent au début du XXe siècle. C'est dans le contexte d'une rigueur mathématique parfaite que Veblen est amené à reprendre les travaux de Jordan. Les travaux d'Henri Poincaré sur l'équation différentielle montrent l'importance d'une meilleure compréhension des propriétés que l'on qualifie maintenant de topologiques et que Poincaré appelle analysis situ[31]. La démonstration actuelle du théorème de Poincaré-Bendixson utilise explicitement le théorème de Jordan. Ce théorème est incontournable en analyse complexe à partir des années 1920. Constantin Carathéodory ne publie pas son livre sur ce sujet, car il ne parvient pas à trouver une démonstration personnelle du théorème de Jordan[32].
La branche naturelle du domaine du théorème reste néanmoins la topologie. Luitzen Brouwer cherche à établir les résultats fondamentaux de la topologie d'un espace euclidien, il généralise le résultat de Jordan à une dimension quelconque[33]. Ce résultat est relativement intuitif en dimension trois : si une bouteille est hermétiquement fermée (ce qui revient à dire que la frontière du liquide contenu dans la bouteille peut se déformer continûment[Note 7]) le liquide contenu à l'intérieur ne peut s'échapper. L'un des intérêts de la démonstration de Brouwer réside dans les méthodes utilisées, elles sont à l'origine de l'homologie[34], clé de la topologie algébrique moderne.
Le XXIe siècle n'est pas en reste avec le théorème de Jordan. Un enjeu moderne est la vérifiabilité d'une démonstration. Celle d'Andrew Wiles pour le dernier théorème de Fermat demanda plus d'un an pour être nettoyée de toute erreur et acceptée par la communauté mathématique[35]. Une technique consiste à élaborer une démonstration formelle, vérifiable par ordinateur. En , Thomas Hales apporte une démonstration de cette nature[36].
Une méthode pour trouver des idées de démonstration du théorème est la recherche de contre-exemples. La figure 11 représente un ruban de Möbius. S'il est découpé selon la ligne verte, on obtient un connexe, correspondant à une portion de cylindre deux fois plus longue et deux fois moins large que le ruban original. La ligne verte correspond à un contre-exemple du résultat espéré et le théorème de Jordan est faux sur le ruban de Möbius.
Une spécificité de ce ruban est d'être non orientable[37]. Pour s'en rendre compte, le plus simple est de parcourir la courbe dans le sens de la flèche et de peindre en rouge le côté gauche. Après un tour, le côté peint en rouge est devenu le droit, ce qui indique que le côté gauche est devenu le droit, ou encore que sur une telle géométrie les mots droite et gauche n'ont pas de sens global.
Cette remarque est la source d'une démonstration. On considère une courbe de Jordan, continûment dérivable, à valeurs dans un plan et illustrée en noir (entre les zones bleue et rouge) sur la figure 12. Son sens (une courbe, continûment dérivable et définie dans le plan, possède toujours une orientation) est décrit par la flèche noire. On considère la zone en rouge immédiatement à droite de la courbe et la zone en bleu immédiatement à gauche. Il est assez simple de montrer que les zones rouge et bleue sont des connexes par arcs, si les bandes sont choisies suffisamment étroites. On considère un point B à l'extérieur de la courbe et une demi-droite reliant B et la courbe de Jordan. Si cette demi-droite intersecte d'abord la zone bleue, elle est dans la composante connexe bleue, car l'union de la zone bleue et de la demi-droite est connexe par arcs. Sinon, la demi-droite intersecte d'abord la zone rouge et elle est dans la composante extérieure. On en déduit qu'il existe au plus deux composantes connexes.
Il reste encore à montrer que l'intérieur et l'extérieur ne sont pas connexes. Soient deux points dans la même composante connexe et tel que le premier est dans l'intérieur. Pour chacun des deux points, il existe un arc reliant le point à un point d'une zone choisie bleue pour le premier et de couleur indéfinie pour le second. Les deux extrémités sont dans les zones bleue ou rouge. On relie les deux extrémités par un arc qui ne croise pas la courbe de Jordan et qui ne quitte pas les zones bleue et rouge (obtenu par exemple en projetant un arc quelconque qui relie les deux extrémités sur les zones bleue et rouge), cet arc ne peut croiser la courbe de Jordan, elle reste donc toujours du côté bleu. Cela signifie que toute demi-droite d'extrémités A, située à l'intérieur de la courbe et un point de la courbe rencontre d'abord la zone bleue, et que si B est située à l'extérieur, la demi-droite équivalente rencontre d'abord la zone rouge. Cela montre encore qu'il existe exactement deux composantes connexes.
Cette remarque conclut la démonstration pour les courbes de Jordan continûment dérivables[38]. La partie la plus délicate reste à montrer que, comme toute courbe de Jordan est proche d'un lacet continûment dérivable, la propriété est encore vraie pour les courbes non dérivables[39].
Une démonstration ne fait appel qu'à l'analyse complexe[40]. On considère que la courbe de Jordan (représentée en noir sur la figure 13) est à valeurs dans , l'ensemble des nombres complexes. On suppose encore que est continûment dérivable et qu'elle dispose d'une abscisse curviligne, c'est-à-dire que le module de la dérivée est toujours égal à 1. On considère un réel ε strictement positif, suffisamment petit et les deux courbes en bleu et en rouge définies par :
Ces deux courbes jouent le même rôle que l'orientation du paragraphe précédent. Un point A qui rencontre d'abord la courbe est dans la composante connexe de et un point B qui rencontre d'abord la courbe est dans celle de . Par l'analyse, on démontre ainsi qu'il existe au plus deux composantes connexes.
La suite du raisonnement diffère du paragraphe précédent. On suppose maintenant que le point A est une source de lumière qui en produit une quantité égale à 1. Quand la lumière se diffuse dans le plan (à la différence de la physique, on suppose ici que l'univers est de dimension deux et non pas trois), elle s'étale sur un cercle. Un point du cercle à une distance r de A reçoit donc une quantité de lumière égale à 1/2.πr. Comme toute la lumière finit par traverser et sortir de la courbe de Jordan, on dispose de l'égalité[41] :
Cette valeur est appelée indice du point A relativement au lacet . Le même calcul, si la source est maintenant le point B donne 0. En effet, comme le point B est à l'extérieur du lacet, toute la lumière qui entre finit par sortir. Ce calcul d'indice montre l'existence de deux composantes connexes. En effet, sur le complémentaire du support de la courbe de Jordan , la fonction qui à un point associe son indice est continue. Son image n'est pas connexe car égale à {0, 1}, l'ensemble de départ ne peut pas l'être non plus.
Une autre figure qui ne vérifie pas le théorème de Jordan est le tore. Le plus grand cercle que l'on peut dessiner sur un tore est une courbe de Jordan, mais elle ne sépare pas la figure en deux composantes connexes. Une fois encore, il existe un théorème valable sur un rectangle (une courbe de Jordan sur un plan est bornée, il existe donc un rectangle dont l'intérieur la contient) et faux sur un tore. Toute application continue définie sur un rectangle et son intérieur, à valeurs dans la même zone, admet un point fixe, ce résultat est connu sous le nom de théorème du point fixe de Brouwer. La rotation d'un quart de tour par rapport à l'axe du tore ne laisse invariant aucun des points du tore. Cette géométrie ne vérifie donc pas non plus le théorème du point fixe de Brouwer.
Une conséquence du théorème de Brouwer est qu'un chemin qui part de l'arête inférieure d'un rectangle pour rejoindre l'arête supérieure, sans quitter l'intérieur du rectangle (bord inclus), croise tout chemin qui part de l'arête de gauche pour rejoindre l'arête de droite, aussi sans quitter l'intérieur du rectangle[42]. Ce résultat est illustré sur la figure 14 avec les deux chemins bleus. Si les chemins sont tous deux à l'extérieur du rectangle, le résultat est encore vrai tel qu'illustré par les chemins rouges. La figure 15 montre que ce résultat n'est pas valide sur un tore, les deux chemins rouges ne se croisent pas.
Cette remarque est à l'origine de la démonstration détaillée du théorème de Jordan contenue dans cet article.
Démontré par L. E. J. Brouwer en 1912, cet énoncé généralise sans hypothèse supplémentaire le théorème de Jordan en dimensions supérieures :
Théorème de Jordan-Brouwer — Soit n un entier (supérieur ou égal à 1) et X une application continue et injective de la sphère Sn de dimension n vers l'espace Rn+1 de dimension n+1. Alors le complémentaire de l'image de X dans l'espace est formé de deux composantes connexes, dont l'une est bornée et l'autre non. Toutes deux ont pour frontière l'image de X.
Par définition, une courbe de Jordan est un cercle déformé. Autrement dit, il existe un homéomorphisme entre un cercle et une courbe de Jordan. Pour le complémentaire de cette courbe dans le plan, le théorème de l'article indique juste qu'il est composé de deux composantes connexes, l'une bornée l'autre non. Ceci amène naturellement la question de la nature topologique de ces deux composantes connexes.
La figure 16 laisse penser que l'intérieur correspond aussi à un disque ouvert déformé, c'est-à-dire qu'il existe un homéomorphisme du disque fermé dans la courbe de Jordan et son intérieur. Cet homéomorphisme fait correspondre la courbe de Jordan frontière du fer à cheval du haut au cercle noir du bas. Il fait aussi correspondre chaque zone de couleur de l'intérieur du fer à cheval avec la zone de même couleur dans la figure circulaire du bas. Ce théorème, démontré par Arthur Schoenflies en 1906, complète l'information fournie par le théorème de Jordan, en précisant la topologie des régions délimitées par la courbe :
Théorème de Jordan-Schoenflies[43] — Soit γ une courbe de Jordan ayant pour ensemble de définition un cercle C d'un plan. L'application γ se prolonge en un homéomorphisme Γ du disque de frontière C dans l'adhérence de l'intérieur de la courbe de Jordan.
À l'aide d'une inversion, il est simple de vérifier que le théorème est aussi vrai sur la composante connexe non bornée. Autrement dit, la zone illustrée sur la figure du haut en jaune et vert à l'extérieur du lacet correspond à une déformation de la zone aussi illustrée en jaune et vert à l'extérieur du cercle. La compacité de la courbe de Jordan montre qu'il est possible de recoller les deux homéomorphismes. On en déduit qu'il existe un homéomorphisme du plan dans lui-même qui a pour image du cercle C celle de la courbe de Jordan[44],[Note 8].
Cherchant à étendre le théorème de Schoenflies en dimensions supérieures, le topologue James Waddell Alexander II découvre en 1923 un contre-exemple inattendu en dimension 3 : la sphère cornue d'Alexander[45]. Le théorème de Jordan-Schoenflies ne se généralise pas simplement en dimensions supérieures, et il peut même arriver qu'un ensemble homéomorphe à une sphère dans R3 limite un ouvert borné dont la topologie est sensiblement plus compliquée que celle d'une boule[46].
La sphère cornue est illustrée sur la figure 17. Étonnamment, elle est simplement connexe, c'est-à-dire que tout lacet est homotope à un point, ou encore se rétracte continûment en un point, à la différence d'un tore ou d'un cercle. Plus on avance dans la structure, plus elle devient fine. Autrement dit, elle n'est pas différentiable.
Cette remarque rend possible une généralisation du théorème de Schoenflies en dimensions supérieures, à condition de faire une hypothèse supplémentaire de régularité sur le plongement considéré de la sphère Sn, mais il faut attendre sensiblement plus longtemps pour que cela soit démontré. Le théorème de Schoenflies généralisé, prouvé par Morton Brown et Barry Mazur en 1960, étend le théorème de Jordan-Schoenflies en dimension quelconque, sous une hypothèse technique sur l'homéomorphisme X : X doit être un difféomorphisme. Cette condition est remplie notamment si on suppose que l'image de la sphère est une variété différentiable ou linéaire par morceaux[47],[48].
On utilise les notations suivantes. Soit γ un lacet simple d'un plan euclidien identifié à R2. Le lacet γ est l'image d'une application continue φ d'un cercle S dans R2. Il est compact, comme image continue du compact S. Son complémentaire dans R2 est noté R2 - γ. Ce n'est que dans la phase finale de la démonstration qu'on utilisera que ce lacet est simple, c'est-à-dire que φ est injective.
Les deux résultats suivants sont standards[49] :
En effet, γ est fermé car compact, donc son complémentaire R2 - γ est un ouvert de l'espace R2. Comme R2 est connexe par arcs, R2 - γ est donc localement connexe par arcs et ses composantes connexes sont donc ouvertes et connexes par arcs.
En effet, γ est borné car compact, donc il existe un disque D qui le contient. Alors, R2 - D est un connexe non vide de R2 - γ qui rencontre toute partie non bornée, donc qui est inclus dans toute composante connexe non bornée, si bien qu'une telle composante est unique.
Ces deux remarques réduisent le théorème à montrer qu'il existe une unique composante connexe bornée et que les deux composantes connexes (bornée et non bornée) ont pour frontière γ.
Le premier lemme correspond à celui explicité dans le paragraphe intitulé Par le théorème du point fixe de Brouwer et illustré sur la figure 18. L'ensemble K désigne le rectangle [x1, x2]x[y1, y2] où x1, x2, y1 et y2 sont des nombres réels tels que x1 (resp. y1) est strictement plus petit que x2 (resp. y2). Les lettres h et v désignent deux fonctions continues de [-1, 1] dans K, l'une plutôt horizontale et l'autre plutôt verticale. On note les coordonnées de la fonction h (resp. v) hx et hy (resp. vx et vy). On dispose, par hypothèse, des égalités :
Autrement dit, les courbes v et h se croisent. Ce résultat est une conséquence du théorème du point fixe de Brouwer.
Le deuxième lemme concerne la frontière des composantes connexes du complémentaire d'un lacet γ dans un plan.
Ce lemme utilise non seulement le théorème du point fixe de Brouwer, mais aussi le théorème de prolongement de Tietze. Ce dernier indique que, dans un espace métrique, il est toujours possible de prolonger une application continue définie sur un fermé et à valeurs dans un segment de R en une application continue définie sur l'espace entier et à valeurs dans le même segment.
Les éléments de la démonstration sont maintenant rassemblés. Il est déjà établi que dans le complémentaire d'un lacet γ, il existe une unique composante connexe non bornée, et que s'il y a d'autres composantes connexes, toutes les composantes ont pour frontière la courbe γ. Il reste à montrer que si le lacet est simple, alors il existe une unique composante connexe bornée.
Par compacité de γ, il existe deux points a et b de γ tels que la distance entre ces deux points soit maximale. Quitte à opérer sur la courbe d'abord une rotation, puis une translation et enfin une homothétie, on peut fixer comme coordonnées aux deux points a et b : (-1, 0) et (1, 0). On considère ensuite le rectangle K couvrant la surface [-1, 1]x[-2, 2], il contient l'intégralité de la courbe γ et sa frontière intersecte la courbe en deux points uniques a et b. On définit enfin les points c et d de coordonnées respectives (0, 2) et (0, -2). Ces notations sont illustrées sur la figure 20.
La démonstration se décompose en trois étapes. Dans un premier temps on construit un point x, dans un deuxième temps on montre que la composante connexe de x est bornée, enfin on montre que toute composante connexe bornée contient x.
Le lemme 1 montre que la courbe γ croise le segment [c, d]. Soit m l'intersection de deuxième coordonnée maximale et γc la portion d'arc de γ qui relie a et b et qui contient m. Soit l l'intersection de γc et du segment [c, d] de deuxième coordonnée minimale (qui peut, dans certains cas, être confondu avec m). Soit enfin de γd la deuxième portion d'arc de γ reliant a et b. Ces différentes notations sont illustrées sur la figure 21.
Montrons que le chemin γd croise le segment [l, d] (segment rose sur la figure 22). Le chemin vert et rose croise γd, d'après le lemme 1. Ce chemin se décompose en trois parties. La première, en vert, est composée par le segment [c, m], qui ne peut croiser γd car ce segment ne croise γ qu'au point m, qui fait partie de γc. La deuxième partie en vert est la portion de chemin de γc comprise entre m et l, qui ne peut croiser γd car γ est définie par une application injective. La seule zone possible pour l'intersection est donc le segment [l, d] en rose. Soit k l'intersection d'ordonnée maximale et x un point de l'intervalle] k, l[.
La composante connexe U de x, zone en rose sur la figure 22, est celle que l'on va maintenant démontrer être bornée. On raisonne par l'absurde et l'on suppose que U est non bornée. Comme U est connexe par arcs, il existe un chemin reliant x à un point hors du rectangle [-1, 1]x[-2, 2], qui ne croise pas γ. Soit α la restriction de ce chemin telle que l'extrémité différente de x soit élément de la frontière du rectangle. Le chemin α est illustré en rouge dans la figure 23. Si cette extrémité comporte une deuxième coordonnée négative, la première figure à gauche montre l'existence, en vert et rouge, d'un chemin reliant c et d qui ne croise pas γd. Ce résultat est en contradiction avec le lemme 1 et cette contradiction montre que la deuxième coordonnée est positive. Cependant la deuxième figure de droite montre alors l'existence d'un chemin reliant c à d qui ne croise pas γc, cette configuration ne peut pas non plus se produire. En conclusion, tout chemin reliant x à la frontière du rectangle croise la courbe γ, ce qui montre que la composante connexe de x est bornée.
Pour finir, montrons par l'absurde l'unicité de la composante connexe bornée. Supposons qu'il existe une composante connexe bornée V autre que U. On considère le chemin β de d à c correspondant à la ligne jaune, verte et rose de la figure 24. Comme β ne contient que des points de la composante non bornée (partie jaune), de γ (partie verte) et de U (partie rose), il est disjoint de V. Par ailleurs, comme β est fermé et ne contient ni a, ni b, il existe deux petits disques centrés en ces deux points et disjoints de β. Le lemme 2 montre que a et b sont adhérents à V, qui contient donc deux points appartenant respectivement à ces deux disques. Comme V est connexe par arcs, ces deux points sont connectés dans V par un chemin β'. En ajoutant un segment à chaque extrémité de β', on obtient un chemin dans K de a à b disjoint de β, ce qui contredit le lemme 1.
Ce dernier raisonnement conclut la démonstration[52].