Ludwig Wittgenstein considérait que sa « principale contribution a été en philosophie des mathématiques », un sujet auquel plus de la moitié de ses écrits entre 1929 et 1944 sont dédiés [1],[2]. C'est un des aspects les plus négligés de sa pensée. Les commentateurs suggèrent que cela est dû d'une part à sa réticence à entrer dans les détails techniques, et sa tendance à se limiter à des exemples très simples ; d'autre part au fait que Wittgenstein n'apporte pas « sa » solution au problème des fondements des mathématiques mais montre plutôt qu'un tel problème n'a pas de raison d'être[3].
Wittgenstein n'a cessé, quel que soit la période de sa vie, de mener à bien la clarification du langage, de dénouer les nœuds des problèmes langagiers. En ce sens son travail sur les mathématiques n'en est qu'une continuation : la vision pure que se font les philosophes et mathématiciens de cette science détachée du « monde réel », qui ferait même douter de l'existence de ce qu'il y a hors du monde des Idées de Platon, est attaquée par Wittgenstein comme un autre problème à dissoudre dans l'analyse du langage. Ainsi ni le Tractatus ni ses écrits ultérieurs n'ont proposé de « théorie » ni de « philosophie » mathématique consistante. Son geste consiste d'abord à montrer aux philosophes que les mathématiques peuvent être vues de telle sorte que « s'évanouissent aussi bien la préoccupation fondatrice à l'égard des mathématiques, en particulier le souci philosophique général de s'assurer définitivement de ce qui est et de ce que l'on ne peut en connaître »[4].
Qu'est-ce que Wittgenstein retient de ces trois « philosophies » ? Du logicisme, Wittgenstein retient que la logique et les mathématiques sont le cadre formel nécessaire à tout discours a priori ayant prétention de vérité. Du formalisme, le concept de « jeu » qui traverse toute sa seconde philosophie : l'accord tacite des règles avec lesquels les mathématiciens jouent sans la considération d'une supra-réalité mathématique. De l'intuitionnisme enfin, que les mathématiques sont d'abord une activité humaine qui n'a d'autre réalité que celle que lui donne l'homme[5]. François Schmitz, dans Wittgenstein, la philosophie et les mathématiques, énonce alors trois questions toujours posées et jamais résolues, desquelles Wittgenstein veut mettre un terme :
Comme ailleurs dans ses écrits, son style évolue sur la philosophie des mathématiques d'un style assertif et rudimentaire dans le Tractatus logico-philosophicus (1922), à un style devenu plus clair et précis en faveur d'un constructivisme finitiste dans ses Remarques philosophiques (1929-1930), sa Philosophie de la grammaire (1931-1933) et plus tard dans les Remarques sur le fondements des mathématiques (1937-1944). Enfin, la pensée de sa « seconde période » philosophique en mathématiques — dont toutes les publications furent posthumes — qui se caractérise par l'usage de l'aphorisme et de la dialectique, se porte sur un non interventionnisme, c'est-à-dire la non nécessité de justifier les fondements des mathématiques[2]. L'autonomie de la grammaire et la souveraineté de la pratique, qui constituent le cœur de la pensée tardive, prennent donc une importance égale dans sa réflexion sur les mathématiques[6],[7]. Comprendre ce que pense Wittgenstein des mathématiques revient donc à reconstituer des bribes parfois peu intelligibles sans fil directeur général[8].
La première philosophie de Wittgenstein propose une conception des mathématiques formaliste et extensionnaliste. La première thèse présente la science des mathématiques comme rien de plus qu'un jeu formel, syntaxique. La seconde thèse signifie que la valeur de vérité d'une proposition peut toujours être vue comme fonction de ses propositions atomiques, soumises aux règles du calcul des propositions[n 1].
La proposition mathématique, telle qu'une égalité ou plus généralement une suite d'énoncés logiques cohérente, est dénuée de sens[9] :
« 6.2 – La mathématique est une méthode logique.
Les propositions de la mathématique sont des équations, et par conséquent des pseudo-propositions. »
. Par conséquent, puisque selon le quatrième aphorisme du Tractatus logico-philosophicus, « la pensée est la proposition pourvue de sens », Wittgenstein peut écrire que « 6.21 – La proposition de la mathématique n'exprime aucune pensée. » Un théorème a donc le même statut logique qu'une tautologie, et « [sa] démonstration n'est qu'un auxiliaire mécanique pour reconnaître plus aisément une tautologie quand elle est compliquée. » (6.1262). En particulier, les tautologies et les contradictions ne représentent pas la réalité ou des états de choses possibles ou des faits possibles (4.462). Autrement dit, les tautologies et les contradictions sont dénuées de sens ; et ne peuvent en particulier être ni vraies ni fausses[10]. De manière analogue, les pseudo-propositions mathématiques sont des équations, qui indiquent ou montrent que deux expressions sont équivalentes en termes de sens et donc substituables l'une à l'autre. De même que « l'on peut reconnaître sur le seul symbole que [les propositions logiques] sont vraies » (6.113), la possibilité de prouver les propositions mathématiques revient à percevoir leur correction sans avoir besoin de les comparer aux faits (6.2321)[11].
La vision formaliste de la mathématique est maintenue par Wittgenstein jusqu'à sa mort en 1951. Vue autrement, cette démarcation s'énonce par le fait que les propositions mathématiques sont décidables par des moyens purement formels, tandis que les propositions sur le monde ne peuvent être décidées, si elles le sont, qu'en déterminant si oui ou non un fait particulier existe (c'est-à-dire si elle désigne un état de choses possible) : « 2.223 – Pour reconnaître si l'image est vraie ou fausse, nous devons la comparer à la réalité. »[10].
Russell écrit dans sa préface au Tractatus que la « théorie des nombres » de Wittgenstein « a besoin d'un développement technique plus poussé », du fait que Wittgenstein n'a traité que le cas des nombres et cardinaux finis[12]. De même, dans sa critique du Tractatus, Frank Ramsey écrit qu'il ne couvre pas toutes les mathématiques, en particulier les inégalités[10].
Depuis une vingtaine d'années, la théorie des opérations de Wittgenstein fait l'objet d'un examen approfondi (Frascolla 1994, 1997 ; Marion 1998 ; Potter 2000 ; et Floyd 2002), qui l'a reliée avec la théorie équationnelle de l'arithmétique du Tractatus, à des éléments de la théorie du λ-calcul[10].
« Les mathématiques sont un phénomène anthropologique[13]. »
Après la rédaction du Tractatus en 1918 et sa publication en 1922, Wittgenstein ne produisit aucun travail philosophique avant février 1929, onze mois après avoir assisté à une conférence de L.E.J. Brouwer le 10 mars 1928 à Vienne, intitulée « Mathematik, Wissenschaft und Sprache »[14] (Mathématiques, science, et langage), à laquelle F. Waismann et H. Feigl sont aussi présents. La position conflictuelle de Wittgenstein face à l'intuitionnisme mathématique de Brouwer reflète l'évolution de sa pensée avant son retour à Cambridge en 1929. En effet, s'il est indiscutable que la conférence de Brouwer sur l'intuitionnisme en 1929, à laquelle assiste Wittgenstein, motive sa pensée de la grammaire du sens et de l'usage, Jacques Bouveresse note que l'influence dans sa philosophie des mathématiques est moins claire[15]. En effet, le retour de Wittgenstein à la philosophie et son travail sur les mathématiques sont également dus à des conversations avec Ramsey et des membres du Cercle de Vienne[16].
À cette période, Wittgenstein adapte une vision anthropologique du formalisme, selon laquelle « nous faisons des mathématiques » (Remarques philosophiques (abrégé RP), 159). Le mathématicien invente des calculs mathématiques purement formels, des axiomes « stipulés » (RP, 202), des règles syntaxiques de transformation et des procédures de décision qui nous permettent d'inventer la « vérité mathématique » et la « fausseté mathématique »[16].
L'idée centrale du formalisme de Wittgenstein de 1929 à 1944 est que les mathématiques sont essentiellement syntaxiques, et dépourvues de référence et de sens. Comme le relèvent plusieurs commentateurs, qui ne qualifient par ailleurs pas tous Wittgenstein de « formaliste »[17] : chez lui, les signes et les propositions d'un calcul mathématique ne font référence à rien contrairement au platonisme. Comme le note Wittgenstein, « Les nombres ne sont pas représentés ; les nombres sont là. »[18] En ce sens, « l'arithmétique ne parle pas des nombres, elle travaille avec les nombres. » (Recherches philosophiques, 109).
Wittgenstein développe une philosophie finitiste des mathématiques pour les raisons principales suivantes :
Ces deux raisons ont des conséquences techniques importantes comme le rejet des extensions mathématiques infinies, de la quantification non bornée en mathématiques, ou encore de différentes cardinalités infinies : étant donné la non-existence d'extensions mathématiques infinies, Wittgenstein rejette l'interprétation standard de l'argument diagonale de Cantor, ou de nombre réel comme extensions[20],[19].
Le fait que nous agissions par erreur comme si le mot « infini » était un « mot désignant une quantité » est étroitement lié à cette confusion entre intensions et extensions. Dans le discours ordinaire, nous répondons à la question « combien ? » sans y prendre garde[21]. Mais l'« infini n'est pas une quantité », insiste Wittgenstein, dans la mesure où une classe infinie est une règle récursive, alors que le symbole d'une classe finie est une liste— donc une extension (RP, 461). Ainsi, puisqu'une extension mathématique est nécessairement une séquence finie de symboles, une extension mathématique infinie est une contradiction dans les termes. L'infini est compris correctement lorsqu'il est compris, non pas comme une quantité, mais comme une « possibilité infinie » (RP, 138)[19].
De même, il n'existe pas de proposition mathématique sensée qui quantifie existentiellement sur un domaine infini[22] :
« Le point est que, même dans le cas où on l'on a , Je ne devrais pas dire « », puisque, pris en tant qu'extension, cela n'a pas de sens et, pris en intension, cela n'en fournit pas la preuve. Non, dans ce cas, je ne dois exprimer que la première équation. »
— Recherches philosophiques, 150
Ainsi, Wittgenstein adopte la position radicale selon laquelle toutes les expressions qui quantifient sur un domaine infini, qu'il s'agisse de conjectures (par exemple, la conjecture de Goldbach ou celle des nombres premiers jumeaux) ou de théorèmes (par exemple, le théorème des nombres premiers ou le théorème fondamental de l'algèbre), sont des expressions dénuées de sens par opposition aux « propositions mathématiques authentiques » (RP, 168).
Par conséquent, une expression n'est une proposition mathématique significative que si nous connaissons une procédure de décision applicable pour la décider (GP, 400)[19].
D'abord, on remarque que l'ensemble des écrits sur les mathématiques de Wittgenstein II consistent en des sélections de remarques manuscrites et quelques exposés. De plus, une partie de ceux-ci, la Nachlass, n'ont pu être accessibles qu'à partir de 2000 et n'ont donc pas tous pu être exploités par les spécialistes. Notons de plus qu'il n'existe pas de consensus quant à la continuité entre les philosophies des mathématiques du Wittgenstein du milieu et le second Wittgenstein[23],[24]. Nous traitons dans cette section des convergences et divergences entre les différentes pensées de Wittgenstein.
La constante la plus importante sur les mathématiques de Wittgenstein est qu'il maintient dès 1929 que les mathématiques sont une invention humaine. Partant, tout ce qui est mathématique est inventé. Tout comme le Wittgenstein du milieu dit que « nous faisons les mathématiques », le second Wittgenstein dit que nous « inventons » les mathématiques[11] et que « le mathématicien n'est pas un explorateur : c'est un inventeur »[11]. Rien n'existe mathématiquement tant que nous ne l'avons pas inventé[25].
Le platonisme est dangereusement trompeur, selon Wittgenstein, parce qu'il suggère une préexistence, donc une découverte qui est complètement en contradiction avec ce que nous trouvons si nous examinons et décrivons réellement les mathématiques et l'activité mathématique[25]. « J'aimerais pouvoir décrire », écrit Wittgenstein, « comment il se fait que les mathématiques nous apparaissent a posteriori en tant qu'histoire naturelle du domaine des nombres, comme un ensemble de règles »[11].
Wittgenstein ne cherche cependant pas à réfuter le platonisme. Son objectif est plutôt de clarifier ce qu'est le platonisme et ce qu'il dit, implicitement et explicitement. Le platonisme est soit « un simple truisme »[26], soit une image consistant en « une infinité de mondes obscurs »[27] qui, en tant que telle, manque d'utilité parce qu'elle n'explique rien et qu'elle induit souvent en erreur le mathématicien[28],[25].
Cela s'explique plus généralement par la position philosophique wittgensteinienne qui ne transforme pas le monde mais tente de l'élucider. Le philosophe n'a pas à intervenir dans la pratique mathématique qui « doit prendre soin d'elle-même », et ne peut ni ne doit essayer de fonder les mathématiques[29]. Ce n'est pas la genèse des règles ou des grammaires qui intéresse Wittgenstein mais la forme de convention : cela serait par ailleurs paradoxal selon l'antériorité des règles par rapport à la vérité, et leur inexprimabilité[30].