Loi Faible du Grand Nombre

2.3 Paradigme de la statistique bayésienne

Il est généralement convenu par ses partisans et ses critiques que le Bayésianisme5 est actuellement le point de vue dominant de la philosophie des sciences. Certains statisticiens sont allés plus loin, conjecturant il y a des années que les statistiques bayésiennes seront les statistiques dominantes du XXIe siècle. La question de savoir si cette allégation peut être étayée dépasse le cadre de la présente introduction. Cependant, il est incontestable que le paradigme bayésien a joué un rôle central dans des disciplines telles que la philosophie, la statistique, l’informatique et même la jurisprudence.

Les Bayésiens sont largement divisés en catégories subjectives et objectives. Selon tous les Bayésiens, la croyance d’un agent doit satisfaire aux règles du calcul des probabilités. Sinon, conformément à l’argument familier du « livre néerlandais”, le degré de croyance de l’agent est incohérent. Les Bayésiens subjectifs considèrent cette cohérence (probabiliste) comme une condition à la fois nécessaire et suffisante pour la rationalité des croyances d’un agent, puis soutiennent (généralement) que les croyances des agents rationnels convergeront avec le temps. Le point de l’inférence scientifique, et la source de son « objectivité”, est de garantir la cohérence et d’assurer la convergence. Les Bayésiens objectifs, d’autre part, insistent généralement sur le fait que si la condition de cohérence est nécessaire, elle n’est pas non plus suffisante pour le type d’objectivité que les méthodologies scientifiques sont censées rendre possible.

L’article de Paul Weirich dans ce volume se concentre principalement sur la probabilité subjective. Weirich a développé une approche théorique de la décision bayésienne où il considère comment les croyances d’un agent peuvent être révisées à la lumière des données. Les probabilités représentent le degré de croyance d’un agent. Weirich évalue plusieurs accusations contre les Bayésiens. Selon une objection qu’il a considérée, le bayésianisme permet aux degrés de croyance d’un agent d’être n’importe quoi tant qu’ils satisfont au calcul des probabilités. Weirich considère que l’objection implique que les probabilités subjectives bayésiennes doivent représenter les croyances idiosyncratiques d’un agent. Il a cependant rejeté le bayésianisme permissif en faveur de sa version du bayésianisme. La notion de probabilité conditionnelle sur laquelle repose le principe de conditionnalisation est centrale pour lui. Selon ce principe, un agent doit mettre à jour son degré de croyance en une hypothèse (H) à la lumière des données (D) conformément au principe de conditionnalisation, qui dit que son degré de croyance en H après la connaissance des données est donné par la probabilité conditionnelle P(H |D) = P(H & D)/P(D), en supposant que P(D) n’est pas nul. Weirich évalue également les accusations portées contre l’utilisation du principe de conditionnalisation. Enfin, il compare la théorie de la décision statistique bayésienne à la statistique classique, concluant son article par une évaluation de cette dernière.

Un domaine central de recherche en philosophie des sciences est la théorie de la confirmation bayésienne. James Hawthorne prend la théorie bayésienne de confirmation pour fournir une logique de la façon dont les preuves distinguent les hypothèses ou théories concurrentes. Il soutient qu’il est trompeur d’identifier la théorie bayésienne de la confirmation avec le compte subjectif de la probabilité. Au contraire, tout compte qui représente le degré auquel une hypothèse est étayée par une preuve en tant que probabilité conditionnelle de l’hypothèse sur la preuve, où la fonction de probabilité impliquée satisfait les axiomes probabilistes habituels, sera une théorie de confirmation bayésienne, quelle que soit l’interprétation de la notion de probabilité qu’elle utilise. Car, sur un tel compte, le théorème de Bayes exprimera comment ce que disent les hypothèses sur la preuve (via les probabilités) influence le degré auquel les hypothèses sont étayées par des preuves (via des probabilités postérieures). Hawthorne soutient que l’interprétation subjective habituelle de la fonction de confirmation probabiliste est sévèrement contestée par les versions étendues du problème des preuves anciennes. Il montre que, selon l’interprétation subjectiviste habituelle, même des informations triviales, un agent peut apprendre une allégation de preuve peut complètement saper l’objectivité des probabilités. Ainsi, dans la mesure où les vraisemblances sont censées être objectives (ou intersubjectivement convenues), la fonction de confirmation ne peut supporter la lecture subjectiviste habituelle. Hawthorne considère que les probabilités antérieures dépendent des évaluations de plausibilité, mais soutient que ces évaluations ne sont pas simplement subjectives et que la théorie de la confirmation bayésienne n’est pas gravement handicapée par le type de subjectivité impliqué dans de telles évaluations. Il fonde cette dernière affirmation sur un puissant résultat de convergence bayésienne, qu’il appelle le théorème de convergence du rapport de vraisemblance. Ce théorème ne dépend que des probabilités, pas des probabilités antérieures; et c’est une loi faible du résultat de grands nombres qui fournit des limites explicites sur le taux de convergence. Il montre qu’à mesure que les preuves augmentent, il devient très probable que les résultats probants seront de nature à faire en sorte que les ratios de vraisemblance favorisent fortement une hypothèse vraie par rapport à chaque concurrent qui se distingue de manière probante. Ainsi, deux fonctions de confirmation quelconques (employées par des agents différents) qui s’accordent sur les probabilités mais diffèrent sur les probabilités antérieures pour les hypothèses (à condition que le précédent pour l’hypothèse vraie ne soit pas trop proche de 0) auront tendance à produire des rapports de vraisemblance qui amèneront les probabilités postérieures à converger vers 0 pour les fausses hypothèses et vers 1 pour la vraie alternative.6

John D. Norton cherche à contrebalancer l’opinion désormais dominante selon laquelle la théorie bayésienne de la confirmation a réussi à trouver la logique universelle qui régit la preuve et son incidence inductive dans la science. Il permet que les Bayésiens aient de bonnes raisons d’être optimistes. Là où beaucoup d’autres ont échoué, leur système réussit à spécifier un calcul précis, à expliquer les principes inductifs d’autres comptes et à les combiner en une seule théorie cohérente. Cependant, insiste-t-il, sa domination n’est apparue que récemment dans les siècles de théorisation bayésienne et pourrait ne pas durer étant donné la persistance des problèmes auxquels elle est confrontée.

Bon nombre des problèmes identifiés par Norton pour la théorie bayésienne de la confirmation concernent des aspects techniques que nos lecteurs peuvent trouver plus ou moins troublants. Selon lui, le défi le plus sérieux provient de l’aspiration bayésienne à fournir un compte rendu complet de l’inférence inductive qui fait remonter notre raisonnement inductif à un état initial, neutre, avant l’incorporation de toute preuve. Ce qui va à l’encontre de cette aspiration, selon Norton, c’est le problème bien connu et récalcitrant des prieurs, relaté sous deux formes dans son chapitre. Sous une forme, le problème est que le P postérieur (H|D &B), qui exprime le support inductif des données D pour l’hypothèse H en conjonction avec l’information de fond B, est complètement fixé par les deux probabilités « antérieures”, P(H &D|B) et P(D|B). Si l’on est subjectiviste et que l’on considère que les probabilités antérieures peuvent être sélectionnées au gré des caprices, sous réserve uniquement des axiomes du calcul des probabilités, alors, selon Norton, le P postérieur (H|D&B) ne peut jamais être libéré de ces caprices. Ou si l’on est objectiviste et qu’il ne peut y avoir qu’un seul prior correct dans chaque situation spécifique, alors, comme expliqué dans son chapitre, l’additivité d’une mesure de probabilité empêche d’attribuer des priors vraiment « sans information ». »C’est pour le mieux, selon Norton, puisqu’un prieur vraiment sans information attribuerait la même valeur à chaque proposition contingente de l’algèbre. La dépendance fonctionnelle d’un postérieur aux prieurs forcerait alors tous les postérieurs non triviaux à une seule valeur sans information. Par conséquent, un compte bayésien ne peut être non trivial, soutient Norton, que s’il commence par une distribution de probabilité antérieure riche dont le contenu inductif est fourni par d’autres moyens non bayésiens.

Trois articles du volume explorent la possibilité que le récit bayésien puisse être présenté comme une forme de logique. Colin Howson soutient que le bayésianisme est une forme de logique déductive d’inférence, tandis que Roberto Festa et Jan-Willem Romeijn soutiennent que la théorie bayésienne peut être coulée sous la forme d’inférence inductive. Pour déterminer si le récit bayésien peut être considéré comme une forme d’inférence déductive, Howson examine brièvement les trois cents dernières années d’inférence scientifique et se concentre ensuite sur les raisons pour lesquelles il pense que l’inférence bayésienne devrait être considérée comme une forme de pure logique d’inférence. Tenant compte du débat sur la question de savoir si l’inférence probabiliste peut être considérée comme une logique de cohérence ou de cohérence, il discute de la théorie des probabilités de de Finetti où de Finetti a pris la théorie des probabilités pour ne rien dire du monde, mais la prend comme une « logique d’incertitude. »Une raison motivante de considérer pourquoi l’inférence bayésienne devrait être considérée comme une logique de logique pure est de noter son désaccord avec la distinction de Kyburg entre l’expression « cohérence » applicable à un système qui ne contient pas deux croyances incohérentes et l’expression ”cohérence » applicable aux degrés de croyance. Pour Howson, l’analogie avec la logique déductive est entre cette dernière imposant des contraintes de cohérence aux évaluations de la vérité et les règles de la théorie des probabilités imposant des contraintes de degré de croyance. Le reste de son article est consacré au développement et à l’interprétation de l’inférence bayésienne comme une forme de pure logique d’inférence.

Festa et Romeijn regrettent qu’au cours du siècle dernier, les statistiques et l’inférence inductive se soient développées et prospérées plus ou moins indépendamment l’une de l’autre, sans signes évidents de symbiose. Festa zoome sur les statistiques bayésiennes et la théorie des probabilités inductives de Carnap, et montre qu’en dépit de leurs bases conceptuelles différentes, les méthodes élaborées au sein de la seconde sont essentiellement identiques à celles utilisées au sein de la première. Il soutient que certains concepts et méthodes de la logique inductive peuvent être appliqués dans la reconstruction rationnelle de plusieurs notions et procédures statistiques. Selon lui, la logique inductive suggère de nouvelles méthodes qui peuvent être utilisées pour différents types d’inférence statistique impliquant des considérations analogiques. Enfin, Festa montre comment une version bayésienne de l’approximation de la vérité peut être développée et intégrée dans un cadre statistique.7

Romeijn étudie également la relation entre la statistique et la logique inductive. Bien que la logique inductive et les statistiques se soient développées séparément, Romeijn pense, comme Festa, qu’il est temps d’explorer l’interrelation entre les deux. Dans son article, il étudie s’il est possible de représenter divers modes d’inférence statistique en termes de logique inductive. Romeijn considère trois idées clés en statistiques pour forger le lien. Ce sont (i) les tests d’hypothèse de Neyman-Pearson (NPTH), (ii) l’estimation du maximum de vraisemblance et (iii) les statistiques bayésiennes. Romeijn montre, en utilisant à la fois la logique inductive carnapienne et bayésienne, que la dernière de deux de ces idées (i.e., estimation du maximum de vraisemblance et statistiques bayésiennes) peuvent être représentées naturellement en termes de logique inductive non ampliative. Dans la dernière section de son chapitre, NPTH est joint à la logique inductive bayésienne au moyen de probabilités basées sur des intervalles sur les hypothèses statistiques.

Comme il y a des Bayésiens subjectifs, il y a donc des Bayésiens objectifs. José Bernardo en fait partie. Étant donné que de nombreux philosophes ne sont généralement pas au courant du travail de Bernardo, nous y consacrerons une discussion relativement plus longue. Bernardo écrit qu » « il est devenu une pratique courante,…, de décrire comme « objective » toute analyse statistique qui ne dépend que du modèle supposé. Dans ce sens précis (et seulement dans ce sens), l’analyse de référence est une méthode pour produire une inférence bayésienne ”objective  » « .

Pour Bernardo, l’analyse de référence qu’il a préconisée pour promouvoir sa marque de bayésianisme objectif doit être comprise en termes de modèle paramétrique de la forme M≡{P(x/w), x∈X, w∈Ω}, qui décrit les conditions dans lesquelles les données ont été générées. Ici, les données x sont supposées consister en une observation du processus aléatoire x ∈ X avec distribution de probabilité P(x|w) pour certains w ∈ Ω. Un modèle paramétrique est une instance d’un modèle statistique. Bernardo définit θ = θ(w)∈ Θ comme un vecteur d’intérêt. Toutes les inférences bayésiennes légitimes sur la valeur θ sont capturées dans sa distribution postérieure P(θ/x)∝∫ΛP(x|θ, λ)P(θ, λ)dλ à condition que ces inférences soient faites sous un modèle supposé. Ici, λ est un vecteur de paramètres de nuisance et est souvent appelé « modèle » P(x/λ).

L’attrait de ce type d’objectivisme réside dans l’accent mis sur « l’analyse de référence”, qui, à l’aide d’outils statistiques, a encore progressé en transformant son thème de l’objectivité en une école statistique respectable au sein du bayésianisme. Comme l’écrit Bernardo, « l’analyse d’eférence peut être décrite comme une méthode permettant de dériver des postériorités non subjectives basées sur des modèles, basées sur les idées théoriques de l’information et destinées à décrire le contenu inférentiel des données pour la communication scientifique”. Ici, par le « contenu inférentiel des données », il signifie que la première fournit ”la base d’une méthode pour dériver des postériorités non subjectives » (Ibid.). Le bayésianisme objectif de Bernardo se compose des revendications suivantes.

Tout d’abord, il pense que les informations de base de l’agent devraient aider l’enquêteur à construire un modèle statistique, d’où une influence finalement que ce dernier devrait attribuer au modèle. Par conséquent, bien que Bernardo puisse approuver l’obtention d’une valeur de probabilité unique comme objectif, il n’exige pas que nous ayons à notre disposition l’attribution de probabilité unique dans toutes les questions. Il écrit: « L’analyste est censé avoir un p(w) antérieur unique (souvent subjectif), indépendamment de la conception de l’expérience, mais la communauté scientifique sera probablement intéressée à comparer le postérieur personnel de l’analyste correspondant au postérieur de référence (consensus) associé au plan expérimental publié.” . Deuxièmement, pour Bernardo, l’inférence statistique n’est rien d’autre qu’un cas de décision parmi divers modèles / théories, où la décision inclut, entre autres, l’utilité d’agir sur l’hypothèse que le modèle / théorie est empiriquement adéquat. Ici, l’utilité d’agir sur l’adéquation empirique du modèle / théorie en question pourrait impliquer une fonction de perte. Dans son chapitre pour ce volume, il a développé sa version du bayésianisme objectif et a abordé plusieurs accusations portées contre son récit.

Dans leur chapitre commun, Gregory Wheeler et Jon Williamson ont combiné le bayésianisme objectif avec la théorie probabiliste des probabilités de Kyburg. Cette position du bayésianisme ou de toute forme de bayésianisme semble en contradiction avec l’approche de Kyburg en matière d’inférence statistique qui repose sur sa théorie probabiliste des probabilités. Nous examinerons le seul argument de Kyburg contre le bayésianisme. Kyburg pense que nous ne devrions pas considérer les croyances partielles comme des « degrés de croyance” car les Bayésiens (stricts) (comme Savage) sont associés à l’hypothèse d’une probabilité unique d’une proposition. Il a discuté de la probabilité basée sur les intervalles comme capturant nos croyances partielles sur l’incertitude. Puisque la probabilité basée sur l’intervalle n’est pas bayésienne, il s’ensuit que nous ne sommes pas autorisés à traiter les croyances partielles comme des degrés de croyance. Compte tenu de cette opposition entre le point de vue de Kyburg sur la probabilité et le point de vue bayésien objectif, Wheeler et Williamson ont essayé de montrer comment les idées fondamentales de ces deux points de vue pouvaient être accommodées de manière fructueuse dans un seul compte rendu de l’inférence scientifique.

Pour conclure notre discussion sur la position bayésienne tout en gardant à l’esprit l’attribution par Royall de la question de la croyance aux Bayésiens, de nombreux Bayésiens auraient des sentiments mitigés à propos de cette attribution. Dans une certaine mesure, certains d’entre eux pourraient considérer qu’il est inapproprié d’être simple d’esprit. Howson serait d’accord avec cette attribution avec l’observation que cela manquerait certaines des nuances et subtilités de la théorie bayésienne. Il suit largement la ligne de de Finetti en prenant des évaluations subjectives des probabilités. Ces évaluations sont généralement appelées « degrés de croyance. »Donc, dans cette mesure, la certitude pense qu’il y a un rôle central pour les degrés de croyance, car après tout, ils sont ce à quoi se réfère directement par la fonction de probabilité. Par conséquent, selon lui, l’attribution de la question de la croyance aux Bayésiens a un certain sens. Cependant, il pense que le corps principal de la théorie bayésienne consiste à identifier les contraintes qui devraient s’imposer à celles-ci pour assurer leur cohérence/ cohérence. Son article a fourni ce cadre pour le bayésianisme. Hawthorne pourrait être partiellement en désaccord avec Royall puisque son théorème de convergence du rapport de Vraisemblance montre que différents agents pourraient s’entendre à la fin, même s’ils pourraient très bien commencer par divers degrés de croyance en une théorie. Weirich et Norton, bien qu’ils appartiennent à des camps opposés en ce qui concerne leurs positions envers le bayésianisme, pourraient convenir que l’attribution de Royall aux Bayésiens est après tout justifiée. En ce qui concerne la question de la prédiction, de nombreux Bayésiens, y compris ceux qui travaillent dans les limites de la théorie de la confirmation, soutiendraient qu’un compte de confirmation qui répond à la question de la croyance est capable de traiter la question de la prédiction car, pour les Bayésiens, cette dernière est une sous-classe de la question de la croyance.