Rapport annuel sur la revue des pratiques des missions d’appréciation directe réalisées au cours de l’exercice 2021-2022

Juillet 2023

Bureau d’audit interne et d’évaluation

Table des matières

Introduction

L’équipe du Bureau d’audit interne et d’évaluation (auparavant la Revue des pratiques et audit interne) a continué d’aider le Bureau du vérificateur général du Canada (BVG) à s’acquitter de ses obligations aux termes de la Norme canadienne de contrôle qualité[1] de Comptables professionnels agréés du Canada pour le cycle des missions d’appréciation directe achevées[2] au plus tard le 31 mars 2022. Pour ce faire, l’équipe a procédé à des inspections visant à déterminer dans quelle mesure les responsables de mission se conformaient aux normes canadiennes d’audit, aux politiques du BVG et aux lois et règlements applicables dans la réalisation de leurs audits. Elle a également vérifié que les rapports d’audit visés par un examen étaient bien étayés et appropriés.

Objective

La revue des pratiques vise à fournir à la vérificatrice générale du Canada l’assurance que :

  • les missions d’appréciation directe ont été réalisées selon la Norme canadienne de missions de certification — Missions d’appréciation directe, les politiques du BVG et les lois et règlements applicables;
  • les rapports d’audit sont bien étayés et appropriés.

Étendue

Le présent rapport résume les observations à signaler découlant de la revue des pratiques visant six missions d’appréciation directe (quatre audits de performance et deux examens spéciaux) réalisées au cours de l’exercice 2021-2022. La revue de l’un des quatre audits de performance a été réalisée par un partenaire du Conseil canadien.

[1] La Norme canadienne de contrôle qualité 1 de Comptables professionnels agréés du Canada a été remplacée par la Norme canadienne de gestion de la qualité (NCGQ) 1 et la NCGQ 2 à titre de nouvelle approche de la gestion de la qualité à l’échelle du cabinet (la NCGQ 2 fournit des directives sur les revues de la qualité des missions). Les cabinets devaient concevoir et mettre en œuvre leurs systèmes de gestion de la qualité au plus tard le 15 décembre 2022 et les évaluer dans l’année suivant cette date. Tous les audits passés en revue ont été achevés avant le 1er avril 2022, et les rapports ont également été déposés avant cette date, mais quelques revues des pratiques ont été effectuées plus d’un an après le dépôt des rapports d’audit.

[2] En ce qui concerne les missions d’appréciation directe (audits de performance et examens spéciaux), le terme « achevées » signifie que les rapports d’audit de performance ont été déposés ou que les examens spéciaux ont été présentés à l’organe de gouvernance de la société d’État concernée, comme un conseil d’administration, au cours de l’exercice 2021-2022. Les rapports achevés en grande partie au cours de l’exercice 2021-2022, mais déposés au cours de l’exercice 2022-2023, seront inclus dans le prochain cycle de revue.

Notation

Chaque dossier d’audit passé en revue a été noté selon les critères suivants :

  • Conforme. Le dossier d’audit est, dans tous ses aspects significatifs, conforme à la Norme canadienne de missions de certification — Missions d’appréciation directe, aux politiques du BVG et aux lois et règlements applicables. Certaines améliorations peuvent avoir été relevées.
  • Non conforme. Le dossier d’audit n’est pas conforme à la Norme canadienne de missions de certification — Missions d’appréciation directe, aux politiques du BVG ni aux lois et règlements applicables. Des défauts graves existent et des améliorations importantes sont nécessaires.

À la fin de chacune des revues, nous avons aussi déterminé si le rapport d’audit était bien étayé et approprié.

Résultats des revues et conclusions correspondantes

Le présent rapport porte sur le deuxième cycle de missions d’appréciation directe qui ont été réalisées à distance en raison de la pandémie de maladie à coronavirus (COVID‑19) et comprend des audits de performance de la réponse du gouvernement à la pandémie.

Les observations les plus courantes et/ou les plus importantes qui sont ressorties de ce cycle de revue portaient sur des préoccupations concernant les éléments suivants :

  • la préparation et l’examen de documents clés avant la date du rapport d’audit;
  • une conclusion claire par rapport à l’objectif de l’audit dans le rapport;
  • la documentation, la préparation et l’examen des conclusions de l’audit par rapport à l’objectif de l’audit, aux critères d’audit; et de façon générale;
  • les grilles logiques d’audit, qui devaient comprendre les programmes d’audit;
  • les exigences minimales concernant les responsabilités des responsables de la revue de la qualité;
  • les exigences minimales concernant les responsabilités des responsables de mission.

Le rapport en continu de la revue des pratiques à l’égard des missions d’appréciation directe réalisées au cours de l’exercice 2021-2022 comprend toutes les observations anonymisées et le nombre de dossiers concernés. De plus, chaque responsable de mission a reçu un rapport individuel détaillant toutes les observations à signaler découlant de la revue des pratiques liées à son dossier d’audit. Un rapport distinct a été fourni au responsable de la revue de la qualité assigné, le cas échéant, et les problèmes ont été soulignés.

Sur les six dossiers de mission d’appréciation directe que nous avons passés en revue, nous avons déterminé que cinq rapports d’audit étaient bien étayés et appropriés et que l’un d’eux, bien qu’il ait été bien étayé et approprié, soulevait des préoccupations, car les trois secteurs à risque élevé que nous avons examinés comportaient certains éléments qui n’étaient pas bien étayés ou appropriés. Cependant, le responsable de la revue a conclu que le message principal du rapport n’aurait pas été significativement différent. Ce dossier était le même que celui ayant été jugé non conforme et pour lequel des problèmes avaient été soulignés au responsable de la revue de la qualité, comme il est expliqué ci-dessous.

Nous avons déterminé que cinq des dossiers (trois audits de performance et deux examens spéciaux) étaient conformes, dans tous leurs aspects significatifs, à la Norme canadienne de missions de certification — Missions d’appréciation directe, aux politiques du BVG et aux lois et règlements applicables. Même s’ils étaient conformes dans tous leurs aspects significatifs, certains points à améliorer ont été relevés dans les audits de performance passés en revue et ont été communiqués aux responsables de mission en conséquence.

Nous avons jugé qu’un dossier (un audit de performance) était non conforme en raison de déficiences quant au respect :

  • de l’exigence concernant la préparation et l’examen de la documentation du dossier, y compris la documentation des jugements importants, ainsi que des grilles logiques d’audit, qui devaient comprendre les programmes d’audit;
  • de l’exigence concernant la documentation et l’examen des conclusions en général et par rapport aux objectifs de l’audit et aux critères d’audit avant la date du rapport;
  • des exigences minimales pour une personne responsable de la revue de la qualité et une personne responsable de mission.

Nous tenons à souligner que la personne responsable de mission n’était pas d’accord avec la plupart des observations soulevées. Le désaccord a également été noté dans le rapport individuel présenté précisément à la personne responsable de mission. La personne responsable de la revue de la qualité a tenu compte des commentaires de la personne responsable de mission, mais a jugé que le rapport final de revue des pratiques était bien étayé et approprié en fonction des renseignements et de la documentation contenus dans le dossier d’audit.

Causes profondes possibles

En nous préparant à mettre en œuvre les nouvelles normes sur la gestion de la qualité, qui ne s’appliquaient pas précisément aux revues des pratiques en question, nous avons commencé à inclure des travaux préliminaires pour nous aider à déterminer les causes profondes possibles des déficiences relevées dans le dossier du cycle précédent qui avait été jugé non conforme et qui ont persisté dans le cycle de revue de cette année. Les travaux avaient une étendue limitée, mais pouvaient s’avérer utiles au moment du traitement par le BVG des préoccupations soulevées. Il faudra renforcer le processus, les procédures précises et la formation liés à l’identification et à l’analyse des causes profondes ainsi qu’à leur utilisation en vue de formuler des recommandations et d’élaborer des plans d’action lorsque les nouvelles normes seront entièrement mises en œuvre.

La plupart des problèmes relevés relativement au dossier jugé non conforme et, par conséquent, les causes profondes indiquées ci-dessous sont davantage axés sur ce dossier. Cependant, certaines des causes profondes liées à ce dossier ont également été relevées dans d’autres dossiers d’audit de performance pour lesquels les observations étaient de moindre importance. Une note à ce sujet est indiquée ci dessous, le cas échéant.

À titre de contexte supplémentaire concernant le cycle actuel, les équipes d’audit ont dû faire face aux défis posés par la pandémie, notamment, mais sans s’y limiter, ce qui suit :

  • le travail à distance;
  • une charge de travail plus élevée des entités auditées, ce qui a eu une incidence sur leurs délais de réponse;
  • une tentative de simplification des processus tant du point de vue des auditeurs que de celui des entités auditées, tout en assurant une exécution en temps opportun;
  • l’adaptation à de nouveaux processus mis en place très rapidement;
  • la gestion du stress causé par les effets de la pandémie et des travaux liés à un sujet d’audit de nature délicate.

En ce qui a trait à la revue au niveau de la mission, nous avons relevé deux principales causes profondes, qui sont explorées ci-après. D’autres éléments à prendre en considération lors de l’évaluation des causes profondes au niveau de l’organisation sont abordés dans la section sur la conclusion globale et les prochaines étapes.

Compréhension incomplète des normes

À la suite de notre revue, nous avons constaté que la compréhension des normes était incomplète. Ce problème a été soulevé de deux façons importantes.

Premièrement, il y avait une confusion au sujet des rôles et des responsabilités d’une personne responsable de mission et d’une personne responsable de la revue de la qualité. Le dossier jugé non conforme indiquait une lacune plus importante dans le cas des deux rôles, tandis que deux autres dossiers indiquaient des problèmes mineurs liés aux rôles et responsabilités de la personne responsable de mission. La confusion au sujet des rôles et des responsabilités s’est également étendue à d’autres membres de l’équipe d’audit. Nous avons noté ce qui suit :

  • La personne responsable de mission a indiqué que la lourde charge de travail avait contribué aux problèmes soulevés.
  • Dans le cas de certains dossiers passés en revue, il y avait des lacunes dans la façon de s’assurer que le dossier était adéquatement documenté et examiné.
  • Dans le dossier jugé non conforme, le rôle de remise en question de la personne responsable de la revue de la qualité était insuffisant, et les lacunes dans la documentation n’ont pas été soulevées. La personne responsable de la revue de la qualité a indiqué que la lourde charge de travail (audits simultanés) a contribué à son degré de participation au dossier et à la rigueur dont il a fait preuve dans le cadre de celui-ci. Cependant, nous n’avons trouvé aucun élément probant prouvant que ce point avait été soulevé de manière à atténuer le risque.

Deuxièmement, les décisions de simplifier les processus existants dans le respect des normes d’audit (soit d’être conscients des circonstances inappropriées et de ce qu’il convenait de ne pas faire) n’ont pas bien été comprises. Alors qu’il fallait documenter des renseignements lorsque certaines procédures n’étaient pas exécutées selon un objectif de simplification (le « quoi »), la documentation manquait de précision et était incomplète quant au fait de documenter l’incidence que cette façon de faire aurait sur la conformité aux normes. De plus, il n’y avait pas d’analyse approfondie de l’incidence des risques et de l’atténuation appropriée des risques (le « pourquoi » et le « pourquoi est-ce important »).

Capacité d’adaptation insuffisante de l’organisation

Nous avons aussi constaté que le BVG n’était pas suffisamment prêt à moderniser et à transformer ses processus pour répondre aux attentes qui évoluent en matière d’audit. Nous avons noté que, malgré des attentes quant à la réalisation des audits de façon différente, les processus et les outils d’audit étaient demeurés pour la plupart inchangés, et nous avons relevé des lacunes dans les connaissances concernant la façon d’aborder et de gérer le changement de façon appropriée.

Tenter de modifier considérablement les façons de travailler au cours d’une situation qui l’exige, plutôt qu’avant que des changements soient nécessaires, fera presque toujours augmenter le niveau de risque, surtout dans une organisation où les processus sont somme toute les mêmes depuis de nombreuses années.

De plus, le fait d’exiger que cette question soit abordée de façon individuelle dans le cadre de chaque dossier en fonction du jugement des différents responsables de mission, plutôt que de l’aborder collectivement à l’échelle du Bureau, exposera l’organisation à un risque accru et à un manque plus important d’uniformité. Cette lacune s’accentue lorsque les normes ne sont pas entièrement bien comprises, ce qui a été noté davantage dans le dossier jugé non conforme, mais également dans un autre dossier d’audit, mais dans une moindre mesure. Cette cause profonde possible s’est manifestée de la manière suivante :

  • Nous avons remarqué des difficultés dans la communication et le traitement des préoccupations soulevées dans le cadre de l’audit entre l’entité auditée et l’équipe d’audit, ainsi qu’entre l’équipe d’audit et la haute direction.
  • Des changements importants ont été apportés au rapport tout au long de l’étape du rapport, y compris vers la fin de l’étape du rapport. Des lacunes importantes ont également été relevées dans la documentation à l’appui des jugements importants dans l’un des dossiers d’audit (les changements apportés initialement ayant contribué à ces lacunes dans une certaine mesure).

Conclusion globale et prochaines étapes proposées

Dans le cycle précédent de revue des pratiques des missions d’appréciation directe, un dossier (un audit de performance) avait également été jugé non conforme. Compte tenu des circonstances et de l’environnement à ce moment-là, le Bureau d’audit interne et d’évaluation avait conclu que la non-conformité était probablement un incident isolé et qu’il n’y avait probablement aucune préoccupation majeure concernant le système de gestion de la qualité dans son ensemble à examiner en profondeur.

Toutefois, compte tenu de la revue supplémentaire des dossiers d’audit visés par ce cycle de revue et des revues continues des dossiers du cycle qui s’est terminé en mars 2023 (effectuées par une autre fonction), nous modifions nos conclusions précédentes. Nous concluons maintenant qu’il y a probablement des préoccupations plus graves au sujet du système de contrôle et de gestion de la qualité en ce qui a trait aux audits de performance réalisés selon les normes régissant les missions d’appréciation directe. Toutefois, jusqu’à maintenant, aucune question d’importance à signaler n’a été relevée pour les examens spéciaux qui ont également été effectués conformément aux normes pour les missions d’appréciation directe par la pratique d’audit d’états financiers du BVG.

Les résultats du cycle considéré, ainsi que les problèmes relevés dans les revues continues par l’équipe du suivi du BVG, indiquent clairement que des déficiences importantes doivent faire l’objet d’une évaluation approfondie. Celle-ci serait effectuée par l’équipe du suivi avec le soutien principal de la pratique d’audit de performance et des équipes des Méthodes d’audit et du Perfectionnement professionnel. Le présent rapport fournit une évaluation au niveau de la mission. L’examen des constatations, ainsi que d’autres facteurs au niveau de l’organisation, aidera l’équipe du suivi à tirer une conclusion globale sur le système de gestion de la qualité du BVG, l’évaluation se faisant au niveau de l’organisation.

Cependant, d’après les revues des pratiques des deux derniers exercices, nous observons des indices probants que le système de gestion de la qualité pose certains problèmes qui nécessiteraient la prise de mesures exhaustives et coordonnées. Étant donné que les revues des pratiques ne couvrent qu’un échantillon de dossiers d’audit, une revue élargie et ciblée des dossiers (axée sur les risques et les secteurs particulièrement préoccupants) pourrait être justifiée pour que nous puissions déterminer l’étendue des problèmes soulevés et les problèmes systémiques à régler, ainsi que tout autre problème potentiel non relevé dans l’échantillon limité de dossiers passés en revue.

En nous fondant sur des renseignements obtenus hors de la revue de chaque dossier, nous estimons que les causes profondes organisationnelles des déficiences possibles dans le système de gestion de la qualité pourraient comprendre des lacunes concernant les éléments suivants :

  • la compréhension appropriée des normes d’audit et des méthodes du Bureau;
  • la compréhension appropriée de l’importance et de la nécessité de l’harmonisation à toutes les étapes de l’audit;
  • la formation relative à l’utilisation du jugement professionnel, à l’analyse des données, à l’échantillonnage et à l’intégrité des données, ainsi qu’à la nécessité et à la documentation des éléments probants appropriés;
  • la compréhension de la gestion des risques et de la culture d’aversion au risque;
  • la collaboration et les relations significatives avec les entités;
  • la collaboration et la surveillance entre les équipes d’audit et la haute direction, y compris la transparence afin de réduire la confusion quant aux rôles, aux responsabilités et aux obligations redditionnelles;
  • les investissements anticipés et stratégiques visant à assurer l’état de préparation et la souplesse de l’organisation pour qu’elle puisse répondre aux besoins qui évoluent en matière d’audit.

Certains changements récents ou à venir attribuables à la mise en œuvre du système de gestion de la qualité du BVG, comme l’amélioration de son cadre pour les responsables de la revue de la qualité et de ses directives en réponse à la NCGQ 2 et d’autres changements importants découlant de la NCGQ 1, devraient contribuer à atténuer certains des risques et des préoccupations soulevés. Les initiatives de transformation à l’échelle du BVG, particulièrement en ce qui a trait à la transformation de l’audit, peuvent donner l’occasion d’explorer différentes approches et synergies non seulement en vue d’améliorer et de protéger la pertinence des audits de performance de l’organisation, mais aussi d’assurer leur qualité et leur conformité aux normes de façon collective, plutôt qu’au niveau de la mission. Cela donnerait également l’occasion au BVG d’examiner de façon critique ses méthodes ainsi que ses outils et processus de soutien afin de simplifier les audits pour qu’ils soient plus efficaces, tout en assurant des audits de qualité.

En raison des retards importants dans la conclusion du cycle de revues des pratiques des missions d’appréciation directe en question, et tout en essayant d’offrir le plus de valeur ajoutée et de renseignements opportuns possible aux parties prenantes pertinentes, le Bureau d’audit interne et d’évaluation a eu des conversations anticipées et continues avec la vérificatrice générale, le sous-vérificateur général, les vérificateurs généraux adjoints de l’audit de performance et l’équipe responsable du système de contrôle de la qualité du BVG pour les aider à se préparer aux prochaines étapes visant à répondre aux préoccupations soulevées dans le cadre des revues des pratiques pendant que celles-ci se déroulaient.

Rapport réalisé par le Bureau d’audit interne et d’évaluation (auparavant la Revue des pratiques et audit interne) :

  • Michelle Robert, directrice
  • Julie Bastarache, dirigeante principale de l’audit et de l’évaluation
Mise à jour :
2023-12-08