Les sondages vus de l’intérieur

Publié originalement le 7 juin 2011 sur labarbe.ca (qui n’existe plus).

«Que vaut un sondage portant sur des questions auxquelles une majorité de gens n’ont pas mûrement réfléchi? Et peut-on saisir efficacement les nuances de l’opinion publique à travers un choix de quatre réponses?» se demandait Steve Proulx dans une chronique publiée dans le Voir qui a beaucoup circulé ces derniers jours. Les questions du journaliste-chroniqueur sont plus que pertinentes.

J’aimerais toutefois y ajouter mon expérience d’ancien sondeur. Et non, je ne veux pas défendre cette industrie, bien au contraire. J’ai oeuvré trois ans dans cet univers, parfois à temps partiel, parfois à temps plein, selon les contrats ou le manque de contrat dans les médias, il y a quelques années. Deux ans dans une firme privée à faire surtout des études de marché déguisées et un an au gouvernement pour des enquêtes publiques. Avant d’entrer dans ce milieu, j’accordais déjà peu d’importance aux sondages, aujourd’hui, leur crédibilité est… très mince.

Citant une professeure en sociologie à l’Université de Montréal, le journaliste souligne qu’elle «est sceptique en ce qui concerne les méthodes employées par les sondeurs pour «photographier» l’opinion publique». En effet, c’est là toute la faille des sondages.

Comment ça se passe?
Un sondeur fait plusieurs entrevues dans une journée (ou soirée, les quarts de travail étant principalement de 16h à 21h). Plus encore, il a une certaine cadence à respecter. Une cadence dans l’enchaînement des téléphones. Dès qu’on raccroche, l’ordinateur en compose automatiquement un autre pour le sondeur. Puis aussi dans le nombre d’entrevues réussies.

Au départ, par exemple, la compagnie de sondage va partir avec une banque de 1000 numéros créée par un ordinateur. Là-dessus, c’est vrai que les sondeurs téléphonent vraiment au hasard. Par exemple, l’ordinateur va créer la liste des numéros avec quelques paramètres. Disons qu’on veut que des répondants de Québec, alors on lui dira «d’inventer» que des numéros commençant par 1-418-380-…., 1-418-381-…. et tous les premiers trois chiffres de Québec. À chaque sondage, on recommence la création aléatoire des numéros. Ce qu’il fait que même si vous avez refusé un sondage précédent, ça se peut qu’on vous rappelle quand même pour le suivant.

C’est ensuite que ça se gâte. Déjà, partons du principe que nous téléphonons entre 16h et 21h. C’était évident que les gens comme moi n’étaient alors jamais représentés dans les sondages, pour la simple et bonne raison que plusieurs ne sont jamais chez eux dans cet horaire, pour le travail, les études, les sorties, les activités, etc. On pogne donc peu d’étudiants, peu de «salaires minimum», peu de jeunes en général, peu de personnes âgées. C’est principalement des familles que l’on rejoint.

Être représentatif
Revenons à la banque de 1000 numéros de départ. Mathématiquement, pour qu’un sondage soit «représentatif», il doit avoir un haut taux de réponse. Quand on frôle un taux de 65%, c’est la fête chez les patrons.

Les sondeurs vont donc faire un premier tour avec la banque de 1000 numéros. Il aura plusieurs participations, mais surtout plusieurs répondeurs, plusieurs «à rappeler», et plusieurs refus. Si son client exige 500 répondants et que sur les 1000 numéros composés il y en a que 250 qui ont participé durant ce premier tour, que fait l’entreprise, selon vous? Il ajoute de nouveaux numéros? Mais non!

S’il fait ça, il diminue la représentativité. Parce que celle-ci repose sur des principes mathématiques, les joies de la statistique. Avoir 5 réponses de 10 personnes est plus représentatif que 6 réponses de 20 personnes. On va donc rappeler les 750 qui n’ont pas répondu, incluant ceux qui ont refusé.

Les refus sont d’ailleurs le nerf de la guerre, bien souvent. Oui, on rappelle continuellement les répondeurs et les «rendez-vous», ceux qui disent de rappeler dans 2 jours par exemple, mais le nombre de répondants va surtout se chercher dans ceux qui refusent. La raison est simple: ce sont toujours eux qui répondent. Il y a des répondeurs qu’on peut téléphoner dix fois avant de parler à quelqu’un, alors que la personne qui refuse est toujours présente lorsqu’on lui téléphone. Il faut donc la convaincre de participer. Normalement, on la rappelle jusqu’au troisième refus avant de cesser de la déranger. Et oui, trois fois. Et parfois même un peu plus. Là, c’est le Vietnam!

Donc?
On résume. Les heures où on téléphone réduisent déjà le public cible. Il n’y a jamais de marginaux dans les sondages. Jamais de personnes malades. Jamais de personnes très âgées (les personnes en résidence sont automatiquement exclues ainsi que les personnes dont il est impossible d’avoir de réponses claires, vu la surdité ou leur délire). Très peu de jeunes. En plus, on achale les gens jusqu’à ce qu’ils acceptent par dépit – imaginez la qualité de leur participation…

De plus, disons qu’un sondage est national, partout au Québec, mais c’est qu’avec seulement 500 répondants. Les compagnies ne sont pas totalement connes, elles vont créer un prorata. Pour que le sondage soit représentatif, il faudra qu’il en ait 250 qui proviennent de la grande région de Montréal, puis une centaine de Québec, ainsi de suite. Ça, ça veut dire qu’il y en aurait que 6 de la Côte-Nord. Ouaip, 6 répondants qui vont résumer la deuxième plus grande région du Québec, qui fait plus de 1000 kilomètres de long.

Mathématiquement, c’est logique, ça se tient. Mais toute logique n’est pas logique.

Les questionnaires
Mais ce n’est pas tout, il y a aussi la rigidité des questionnaires. On ne répond pas n’importe comment. Si les choix sont «Très, Assez, Peu, Pas du tout», pas question d’accepter un «Beaucoup» ou un «Je déteste». Nanon, tu dois dire exactement l’un des mots. C’est commode pour empêcher l’intervieweur d’interpréter, mais c’est parfois tout simplement biaisé. Surtout que c’est le client qui choisi la question, bien souvent.

Entre demander «En sachant que Tchernobyl et Fukushima ont fait tant de dégât, êtes-vous très, assez, peu ou pas du tout ouvert à avoir une centrale nucléaire comme voisin» et «Au lieu d’avoir une usine de charbon qui pollue comme une folle, seriez-vous très, assez, peu ou pas du tout prêt à avoir une centrale nucléaire comme voisin», la réponse sera complètement différente chez la même personne.

Souvent, aussi, le répondant ne le sait juste pas, quoi répondre, mais le sondeur lui reposera la question pour avoir sa réponse. Ça revient à demander à ma mère si Christiane Charette est «Passionnée, spontanée, brouillon ou perdue». Elle répondrait assurément un «je ne sais même pas c’est qui», mais lorsque le sondeur va lui avoir relu les choix, elle pourrait alors répondre un «brouillon» dit complètement dans le vide. Je ne pourrais quantifier combien de fois les sondeurs ont ce type de réponses, mais c’est fréquent. Trop fréquent.

Des trucs
Mon premier conseil serait de refuser les sondages. Les seuls qui valent vraiment la peine de faire sont ceux du gouvernement, comme l’Institut de la statistique du Québec ou Statistiques Canada, car ces enquêtes sont souvent utilisées pour bâtir des programmes sociaux, faire différents types de recensement ou mesurer l’impact d’une mesure. De plus, leurs enquêtes sont beaucoup plus rigoureuses. Parfois des organismes gouvernementaux passent par des firmes privées… malheureusement pour eux.

Sinon, la majorité des sondages de CROP, Léger Marketing, SOM, Ipsos et compagnie sont des études de marché déguisées. Une étude sur vos habitudes alimentaires? C’est une chaîne d’alimentation qui est derrière. Un questionnaire sur vos habitudes téléphoniques? Une compagnie de cellulaires est certainement le commanditaire. Sur les épargnes? Une banque qui prépare sa campagne publicitaire. J’ai déjà fait un sondage pour un développeur de logiciels qui déguisait ça en étude sur les habitudes bancaires, pour savoir si le marché des logiciels de transactions en ligne était viable…

Il est facile de ne pas faire les sondages sans s’obstiner et raccrocher la ligne au nez. Premièrement, argumenter ne donne rien. Un de mes très rares plaisirs était justement de démolir les arguments des gens. Non pas parce que je tenais tant à leur participation, mais que les excuses sont tellement bidon que ça devient drôle de les confronter. Un sec et direct « je refuse de faire votre sondage par principe » sera toujours plus difficile à contourner qu’un classique « j’ai de quoi sur le feu » et autre manque de temps presque jamais vrai.

Mais si vous êtes capables de faire des petits mensonges, dites au sondeur qu’il vient de téléphoner dans un dépanneur, dans un entrepôt, dans une boutique, bref, n’importe quelle entreprise. Le sondeur a alors l’ordre de raccrocher, de s’excuser et de classer le numéro dans une banque d’inéligibilité. Idem si vous dites que c’est le numéro d’un cellulaire, d’un hôpital ou d’un organisme quelconque. Bon, parfois, des techniciens vérifient si c’est bien le cas, peut-être qu’ils vous rappelleront, mais c’est non seulement beaucoup moins certain que lors d’un refus, mais en plus vous n’aurez même pas à vous obstiner. Et vous pourrez toujours le répéter s’ils rappellent. Le numéro sera alors probablement enlevé pour de bon… pour ce sondage.

Publicités

Laisser un commentaire

Entrez vos coordonnées ci-dessous ou cliquez sur une icône pour vous connecter:

Logo WordPress.com

Vous commentez à l'aide de votre compte WordPress.com. Déconnexion / Changer )

Image Twitter

Vous commentez à l'aide de votre compte Twitter. Déconnexion / Changer )

Photo Facebook

Vous commentez à l'aide de votre compte Facebook. Déconnexion / Changer )

Photo Google+

Vous commentez à l'aide de votre compte Google+. Déconnexion / Changer )

Connexion à %s