Ah! La magie des trackbacks! Un rétrolien du blogue de Renart Léveillé vers notre article de ce matin sur le dernier sondage CROP nous a permis de découvrir le tout récent mémoire de maîtrise (janvier 2008) de François Yale, étudiant au département de sociologie à l‘Université de Montréal, dont le titre est «L‘évolution de l‘appui à la souveraineté du Québec: effets de la formulation de la question et effets de contexte». À lire absolument pour celles et ceux qui s‘intéressent à la méthodologie des sondages et/ou qui ne veulent pas faire de raisonnements et d‘extrapolations trop boiteuses lorsqu‘ils en lisent un. L‘auteur résume son mémoire comme suit:

Cette recherche étudie l‘évolution de l‘appui à la souveraineté du Québec entre 1976 et aujourd‘hui, en considérant les diverses formulations de la question utilisées par les acteurs politiques et par les sondeurs.

Cette question est abordée en faisant une analyse longitudinale multiniveaux de plus de 800 sondages. Une telle approche suggère que les caractéristiques des sondages sont nichées à l‘intérieur d‘unités contextuelles plus larges, des unités de temps. Cela permet d‘une part d‘observer quels sont les facteurs liés à la mesure qui influencent l‘appui à la souveraineté du Québec et ensuite de voir comment ces mêmes effets varient à travers le temps et comment ils sont influencés par certains événements jugés importants.

Il ressort de ces analyses que les propositions séparation, indépendance, souveraineté et souveraineté-association/partenariat entraînent généralement des appuis moyens significativement différents les uns des autres. Il apparaît aussi que certains événements ont eu une influence significative sur l‘évolution de l‘appui à ces diverses propositions. Enfin, il a été tenté de voir si les appuis propres à ces diverses propositions évoluaient de manière parallèle, s‘ils réagissaient similairement aux différents événements considérés dans les analyses ou si au contraire ces appuis pouvaient parfois évoluer de manière différente. Les résultats à cet égard sont intéressants mais non concluants.

Ces observations sur l‘effet de formulation dans les sondages sur la souveraineté sont loin d‘être révolutionnaires puisque ce phénomène est étudié depuis fort longtemps, notamment par Maurice Pinard. L‘intérêt du mémoire provient du fait qu‘il porte sur un échantillon de plusieurs centaines de sondages (800 en fait) sur une période de plus de 30 ans prenant fin tout récemment (novembre 1976 à juin 2007). L‘autre partie du mémoire sur l‘effet de contexte est en quelque sorte une lapalissade (c‘est sûr que le positionnement des répondants d‘un sondage est en partie en réaction à l‘actualité de l‘époque où il est réalisé), mais c‘est une démarche incontournable si on veut isoler l‘effet de la formulation pour expliquer les variations des résultats.

Ceci est un prétexte pour rappeler une vérité élémentaire concernant les sondages d‘opinion que tous ont parfois tendance à oublier (et nous nous incluons dans le lot): toute comparaison entre 2 sondages équivaut à comparer des pommes avec des oranges lorsqu‘ils ne sont pas réalisés selon une méthode similaire, surtout en ce qui a trait à la formulation des questions. S’agissant de la question nationale, rappelons que depuis le milieu de la décennie (2006 chez Léger Marketing, 2007 chez CROP), les grandes maisons de sondage questionnent les gens sur la souveraineté et non plus sur la souveraineté-partenariat comme on le faisait depuis 1995, ce qui suffit à rendre toute analyse des tendances à long terme plutôt risquées. Cette mise en garde ne s‘applique pas seulement aux sondages sur la souveraineté, mais sur toute question, même sur une question aussi anodine et standard que les intentions de vote lors des élections générales, où le libellé de la question ou les partis mentionnés dans le choix de réponse peuvent avoir un impact significatif sur les résultats (d‘ailleurs, il y a un peu plus d‘un an, nous commentions des études réalisées sur le sujet).

Voilà , c‘était notre chronique éteignoir du vendredi.