samedi 6 juin 2009

Arlette Chabot et les sondages

Un point particulier a attiré mon attention dans la série de petits extraits que j'ai vus de l'émission d'Arlette Chabot qui est partie en vrille jeudi soir. Bayrou a fait dans la "conspiracy theory" en disant qu'un sondage commandité par des chaînes publiques et "Le Monde" pouvait avoir eu pour objectif de le faire apparaître dans une position affaiblie juste avant l'élection. Arlette Chabot est consternée par cette mise en cause de l'intégrité des sondeurs et de la chaîne.

C'est au coeur d'une question que je me pose souvent: quel crédit accorder aux sondages en général?

J'ai une réponse simple: les sondages forment l'opinion au même titre que la télé ou les journaux. Il n'y donc aucune raison qu'ils ne soient pas soumis aux mêmes jeux d'influences que ceux-ci. Mais il y a la rigueur scientifique me direz-vous. Les agences de notation ont démontré que dans ce genre d'interaction, c'est le commanditaire qui fait la loi. Alors tous pourris les sondeurs? Non, mais comme lorsqu'on lit des journaux, je pense que la vigilance est de mise. Je n'imagine pas qu'un grand institut de sondage français puisse vous laisser choisir les résultats d'un sondage pourvu que vous le payiez. En revanche, jouer sur les marges d'incertitude statistique, manipuler les questions pour obtenir les réponses souhaitées sont à mon avis monnaie courante. Et puis si le sondage gêne on peut toujours ne pas le publier.

En gros, même si je ne soutiens pas Bayrou, le schéma qu'il décrit ne me paraît pas "ridicule" comme semble vouloir nous en persuader Arlette Chabot (il ne me paraît pas du tout "certain" non plus). Qu'à l'approche d'une élection, certains instituts s'emballent et qu'ils servent la soupe à des conseillers politiques amis ne me paraît pas hors de question comme semble le croire Arlette Chabot. Savoir si les élection européennes et Bayrou nécessitent ce genre d'intervention est plus difficile. Si c'est le cas, on se demande si un sondage TF1/Le Figaro n'est pas un véhicule plus naturel à une attaque Sarkozyste anti-Bayrou qu'un sondage Le Monde/Chaînes publiques.

Quoi qu'il en soit, ce que veut Arlette Chabot, c'est que le téléspectateur s'indigne avec elle qu'on puisse remettre en cause des institutions (au sens large) comme France 2, Le Monde et un institut de sondage. Cette demande est exorbitante. Une bonne dose de scepticisme et d'esprit critique chez les citoyens est un ingrédient essentiel de la démocratie. Le respect des institutions et la confiance que la société ont en elles permettent la vie en société. Mais ces institutions doivent prouver chaque jour au peuple qu'elles sont à la hauteur de la confiance qu'il leur porte. La confiance aveugle qui plairait à Mme Chabot est mauvaise conseillère (les banques aux Etats-Unis en sont un exemple mais à une moindre échelle, Enron ou le Crédit Lyonnais en sont d'autres exemples). Alors oui, on peut soupçonner un institut de sondage et ses commanditaires de collusion avec des intérêts politiques. On peut aussi plus prosaïquement les soupçonner de nullité comme en 2002 où le scénario de la présidentielle n'avait été ne serait-ce qu'envisagé par aucune d'entre elles (si je me souviens bien).

Arlette Chabot doit donc réaliser qu'aucune institution n'a le droit à une confiance inconditionnelle et que nous traversons précisément une période où, à juste titre devant leurs échecs patents, beaucoup d'entre elles pourraient voir leurs statuts et leur rôle contestés. Evidemment, le credo du blogo est que c'est beaucoup plus le cas aux Etats-Unis mais certaines évolutions récentes en France invite à toujours plus de vigilance (le cliché éculé n'est-il pas que les Etats-Unis ont vingt ans d'avance sur nous?).

Note: Les sondages ont un rôle complètement stratégique quand une campagne de propagande tente de gagner l'opinion à une cause comme ce fut le cas en 2003 sur l'Irak aux Etats-Unis. A ce moment là, j'avais vu de visu que le Washington Post avait manipulé sans vergogne des résultats (en allant sur le site de gallup, on constatait que les chiffres bruts étaient en contradiction avec l'article en rendant compte). Surtout, après les manifestations massives du 15 février, il y a eu une période très longue (au moins une semaine si je me souviens bien) où aucun sondage n'avait été publié.
Paradoxalement, cette expérience renforce plutôt mon image des sondages: si on ne les publie pas quand ils gênent, cela veut bien dire qu'on ne peut pas purement et simplement en acheter les résultats. On ne peut cependant généraliser et il en va très probablement des sondages comme du reste: selon les pays, les époques et les sujets, ils sont le résultat d'un processus parfois très intègre, parfois moins.

8 commentaires:

Ze Tatitude a dit…

Il faudrait encore differencier les sondages publies de ceux qui ne sont que faits que pour des usages en interne. Et il me semble alors qu'en 2002, certains sondages fait pour le compte du parti socialiste montrait clairement qu'il etait statistiquement non significatif de dire que Jospin serait au 2eme tour, car l'ecart avec Le Pen etait trop faible. Voir l'excellent documentaire qui avait ete fait a l'epoque sur France 2 et qui suivait Jospin pendant toute la campagne et jusqu'au soir du premier tour. Clairement, Jospin savait qu'il allait perdre

H a dit…

Là tu me scies. Je me souviens au contraire du documentaire sur la campagne Jospin fait par le gars qui avait fait "Les yeux dans les bleus" et tout le monde semblait tomber des nues. Je me souvenais peut-être qu'un sondeur avait été moins mauvais (mais on ne pouvait pas publier la dernière semaine je crois). Mais qu'on se soit attendu à la défaite au PS, réellement, ça me surprend. En tout cas, je suis content d'avoir mis "si je me souviens bien" car des choses ont en effet pu m'échapper. Je vais pas m'investir là-dessus car ça n'est pas central dans le sujet du blogo.

Ze Tatitude a dit…

Ma recollection du documentaire est qu'a un moment, un conseiller de Jospin lui dit en gros: "attention Le Pen n'est pas loin" et tout le monde lui rit au nez, du genre "ouais, t'as raison, si t'as d'autres commentaires comme ceux la, tu te les gardes vieux"

Dimanche dernier, pour les elections europeennes, le Modem a confirme a demi mot qu'ils avaient des sondages internes depuis 3-4 jours qui montraient qu'ils etaient sous les 10%. Pas vraiment ce qu'on voyait nous meme dans les journaux.

Ze Tatitude a dit…

Voir le graphe sur les sondages avant l'election sur Wikipedia:

http://fr.wikipedia.org/wiki/%C3%89lection_pr%C3%A9sidentielle_fran%C3%A7aise_de_2002

Clairement, aucun sondage ne montre 16% pour Le Pen et 16% pour Jospin, mais beaucoup d'entre eux montrent des ecarts qui ne sont pas statistiquement significatifs si on considere une marge d'erreur de 4% pour ce genre de sondage. Apres, on ne sait pas grand chose des sondages en interne.

H a dit…

Mais Le Pen a dépassé jospin de plus d'un point, non?

H a dit…

Ah non. Juste 50 bps. autant pour moi.

H a dit…

Si le modem avait des sondages internes qui disaient la même chose, il est vraiment gonflé d'avoir accusé tout le monde de collusion.

Ze Tatitude a dit…

Ils ont meme accuse "Home" diffuse 2 jours avant a la TV d'etre a l'origine du succes des ecolos, alors que leur score est sensiblement reste le meme que dans les sondages. La journaliste de France 3 a dit que la programmation de Home etait prevue depuis plus d'un an alors que les dates des elections n'etaient pas encore connues et que donc ca ne pouvait pas etre deprogramme. Ils se foutent bien de notre gueule: N'importe quel mec meurt, et on nous deprogramme tout a la TV en 5 minutes pour nous passer tous ses films!