Guide d’intégration des indicateurs de résultat aux audits de performance

Objet

La Pratique d’audit de performance souhaite intégrer de manière plus cohérente les indicateurs de résultat aux audits de performance. Le présent guide a pour objet d’aider les équipes d’audit à comprendre l’objectif d’incorporer les indicateurs de résultat aux audits de performance et d’améliorer l’intégration de ces indicateurs aux étapes de la planification, de l’exécution et de la production de rapports des audits de performance.

Contexte

Le Bureau du vérificateur général du Canada a pour mission de contribuer à la bonne gestion d’un gouvernement responsable, dans l’intérêt des Canadiens. Un gouvernement bien géré met en œuvre des programmes et des services qui produisent les résultats attendus pour la population canadienne de manière efficiente et efficace. Un gouvernement responsable définit les résultats attendus, les évalue et communique la mesure dans laquelle ils sont atteints au Parlement et aux Canadiens.

Pour évaluer si le Bureau a contribué à la bonne gestion d’un gouvernement responsable, il doit déterminer la mesure dans laquelle les résultats attendus sont atteints. Le Bureau recense les résultats attendus des programmes et des services audités, fait rapport de leur état d’avancement, puis surveille les résultats dans le cadre de travaux d’audit futurs. Ce faisant, le Bureau peut faire état de l’atteinte des résultats dans les secteurs où il a réalisé des audits. C’est pourquoi le Bureau travaille à la mise en œuvre d’un nouvel indicateur pour son cadre de mesure du rendement : le pourcentage d’indicateurs de résultat de programmes ministériels qui sont intégrés aux rapports d’audit lorsque le Bureau a déterminé que les résultats se sont améliorés.

Rôle des audits de performance

L’atteinte de la mission du Bureau commence par la planification de chaque audit de performance. Une fois le sujet d’audit choisi à l’issue de la planification stratégique ou d’un autre processus, l’auditeur recense le ou les résultats que l’activité ou le programme audité doit produire ou influencer. Il doit mettre l’accent sur les résultats d’importance pour les Canadiens. L’auditeur détermine ensuite les résultats qui sont déjà évalués, ou qui pourraient l’être, c’est-à-dire : quels sont les indicateurs qui sont (ou pourraient être) utilisés pour évaluer si un programme a produit les résultats attendus? Encore une fois, il doit mettre l’accent sur le recensement d’indicateurs de résultat qui seraient utiles pour les parties prenantes ou les clients et, idéalement, pour les Canadiens dans l’ensemble.

Une composante importante de l’objectif des missions d’appréciation directe du Bureau est le recensement des problèmes importants dans la gestion des programmes, des activités et des services fédéraux qui doivent être corrigés, et la recommandation d’améliorations en vue d’obtenir les résultats attendus pour les Canadiens. En plus de formuler des observations et des recommandations sur la gestion et l’exécution de programmes et d’activités, le Bureau souhaite présenter des observations sur les indicateurs de résultat. Ces observations peuvent porter sur la qualité des indicateurs, la qualité des systèmes d’information ou de la mise en œuvre de la Politique sur les résultats, et la qualité des rapports sur les résultats obtenus. Le Bureau peut aussi formuler des recommandations pour améliorer les indicateurs de résultat ou les systèmes d’information.

Planification des audits de performance

L’importance que le Bureau accorde aux indicateurs de résultat s’inscrit dans le cadre de la Politique sur les résultats du Conseil du Trésor. Dans le cadre de la planification de l’audit, l’équipe d’audit doit prendre connaissance de la Politique et de sa mise en œuvre par l’entité.

Une fois le sujet de l’audit établi, il faut poser les questions suivantes pendant la planification de l’audit de performance.

• Quels sont les résultats finaux de l’activité ou du programme audité? (Prenez en considération le cadre ministériel des résultats et les objectifs de développement durable, parmi d’autres sources, pour répondre à la question.)

• L’entité a-t-elle défini des résultats finaux attendus qui sont mesurables?

• L’entité a-t-elle établi les indicateurs utilisés pour suivre les progrès accomplis à l’égard des résultats finaux? (Les indicateurs peuvent comprendre les indicateurs liés au processus, par exemple, le nombre de jours attendus pour la prestation d’un service.)

• L’entité a-t-elle établi des cibles pour les indicateurs recensés ci-dessus, c’est-à-dire le degré précis d’atteinte d’un résultat attendu selon le délai établi (p. ex. 90 % des demandes des clients seront traitées dans un délai de trois jours)?

• L’entité a-t-elle établi des méthodes de collecte de données pour étayer des indicateurs ci-dessus?

• L’entité recueille-t-elle des données et produit-elle des rapports sur les indicateurs ci-dessus?

• Les cibles sont-elles atteintes?

• Quels sont les progrès réalisés en vue d’atteindre les résultats recensés?

Des informations sur les indicateurs de résultat ainsi que des exemples se trouvent à l’annexe A.

Lors de l’achèvement du plan d’audit, les secteurs d’examen retenus portent sur des éléments importants du programme ou de l’activité qui, selon l’évaluation de l’équipe, comportent un risque résiduel élevé. Le Bureau souhaite aussi fournir aux Parlementaires et à la population canadienne l’assurance que le programme ou l’activité dans son ensemble produit les résultats attendus. Par conséquent, l’équipe doit consacrer une partie des ressources d’audit au règlement de cette question.

Exécution de l’examen

Pendant l’examen, l’équipe d’audit doit tenir compte de l’objectif du Bureau qui consiste à présenter aux Canadiens des informations sur l’atteinte des résultats attendus ou sur les questions ayant une incidence sur la capacité de l’entité de mesurer les résultats attendus et de produire des rapports afférents. L’équipe d’audit doit s’assurer qu’elle a effectué suffisamment de travaux pour étayer les observations à l’égard des questions énumérées dans la section précédente sur la planification de l’audit.

Rapport d’audit

Un des objectifs du bureau est de fournir aux Parlementaires et aux autres utilisateurs de ses rapports des informations sur les résultats attendus de l’activité ou du programme audité et les indicateurs utilisés pour évaluer la capacité de l’entité de produire des résultats pour les Canadiens. Le Bureau peut aussi formuler des observations et des recommandations au sujet de la qualité des systèmes d’information et des cadres des résultats mis en place par l’entité pour soutenir la surveillance des résultats et la production de rapports afférents.

À l’avenir, le Bureau s’est donné comme but de surveiller les résultats recensés afin de faire état des progrès accomplis par les entités pour atteindre les résultats attendus.

Consultation

Au cours des prochaines années, pendant que le Bureau définit sa stratégie d’intégration des indicateurs de résultat aux audits de performance, il est fortement recommandé de consulter le directeur principal, Planification stratégique, lors de la préparation de la proposition de rapport d’audit et la grille logique d’audit. Cette consultation a comme objectif d’aider l’équipe d’audit à établir les indicateurs de résultat et à les intégrer dans la planification de l’audit, de manière cohérente par rapport aux autres audits de performance. À cette occasion, la nécessité de mener d’autres consultations pendant les étapes de l’examen et de la production de rapports d’audit sera examinée.

Annexe A

Les indicateurs de rendement peuvent être utilisés pour évaluer à la fois l’efficience et l’efficacité par rapport à la quantité et à la qualité. Les indicateurs de résultat sont des indicateurs de rendement qui évaluent généralement l’efficacité par rapport à la qualité.

	Quantité Nombre	Qualité Pourcentage
Efficience	Quel volume de service avons-nous fourni?	Dans quelle mesure avons-nous fourni de bons services?
Efficacité	Combien de changements avons-nous apportés?	Quelle était la qualité des changements apportés?
		(Indicateurs de résultat)

En général, un indicateur de résultat répond à la question : « La situation s’est-elle améliorée? »

Éducation

La situation s’est-elle améliorée?

• Pourcentage des notes en lecture qui sont égales ou supérieures aux attentes pour le niveau scolaire

• Pourcentage des notes en mathématiques qui sont égales ou supérieures aux attentes pour le niveau scolaire

• Pourcentage d’assiduité scolaire

• Pourcentage d’élèves participant à des activités parascolaires

• Taux de réussite scolaire (pourcentage d’élèves de la neuvième année qui reçoivent leur diplôme quatre ans plus tard dans les délais prévus)

• Pourcentage de diplômés qui sont aux études ou occupent un emploi un an, deux ans ou cinq ans plus tard

• Taux d’occupation d’un emploi dans un domaine connexe aux études

Innocuité des pesticides

La situation s’est-elle améliorée?

• Pourcentage de réévaluations de pesticides obligatoires qui sont terminées (dans les délais prescrits)

• Temps nécessaire pour abandonner progressivement des pesticides comportant des risques inacceptables pour la santé humaine ou l’environnement

• Nombre de pesticides faisant l’objet d’une homologation conditionnelle pendant plus de cinq ans

Protection de l’enfance

La situation s’est-elle améliorée?

• Nombre ou pourcentage d’enfants en famille d’accueil ayant des conditions de logement permanentes stables après six mois

• Nombre ou pourcentage de cas répétés de maltraitance ou de négligence

• Nombre ou pourcentage d’enfants en famille d’accueil ayant une bonne assiduité scolaire

• Nombre ou pourcentage d’enfants en famille d’accueil ayant atteint le niveau de lecture pour leur année scolaire

• Taux d’adoption stable après six mois

Mise en œuvre du système de paye

La situation s’est-elle améliorée?

• Nombre de fonctionnaires ayant des demandes d’intervention de paye non réglées

• Nombre de demandes d’intervention de paye

• Pourcentage de chèques versés toutes les deux semaines comportant des erreurs

Qualités des indicateurs de résultat

Les indicateurs de résultat :

• sont directement liées au résultat évalué;

• peuvent être suivis dans le temps;

• ont un libellé clair, précis et facile à comprendre;

• sont distincts, s’il y a lieu.

Directement liés

Résultat	Indicateur
Les clients ont accès à des services dans la langue officielle de leur choix	Pourcentage de clients ayant indiqué qu’ils ont accès à des services dans la langue officielle de leur choix
Les nominations par le gouverneur en conseil sont effectuées en temps opportun	Pourcentage de nominations par le gouverneur en conseil qui sont vacantes depuis plus de 60 jours
Les personnes qui entrent au pays sont soumises à une inspection complète	Le pourcentage d’incidents où l’on a constaté que les agents n’avaient pas mené une inspection complète des personnes entrant au pays

Suivis dans le temps

Indicateur	Rendement réel
	2015	2017
Pourcentage des secteurs surveillés dont la productivité a augmenté	80 % (sur 5)	40 % (sur 10)
Nombre de boîtes d’archives qui doivent encore être ouvertes afin de faire connaître le contenu et de le rendre accessible aux Canadiens	98 000	84 000
Temps moyen de réponse aux déclarations de produits cosmétiques non conformes	270 jours	226 jours

Libellé clair, précis et facile à comprendre

• Pourcentage de demandes traitées dans un délai de dix jours
• Émissions de gaz à effet de serre (en mégatonnes)
• Nombre de demandes prioritaires acceptées pour chaque demande régulière

Comparables

• Classement du Canada parmi les pays du G7 en ce qui concerne X
• Pourcentage de transactions conformes aux normes de l’industrie
• Taux de variation des émissions de gaz à effet de serre depuis 2005 (comparativement à d’autres pays)