Les niveaux d’évaluation de la formation
| TABLEAU 1 | ||||
| Niveau | I : la réaction à la formation | II : l’acquisition des connaissances | III : le transfert des acquis dans le travail | IV : la performance organisationnelle |
| Définition | La réaction est la perception qu’ont les participants de leur expérience d’apprentissage. Les dimensions sur lesquelles ils sont interrogés portent sur leur professeur, leurs apprentissages, le contexte de l’expérience (salle, ambiance), etc.. | Les acquis concernent le niveau de connaissances et d’habiletés des participants à la fin de la formation. | Le transfert évalue si les participants arrivent à faire passer ce qu’ils ont appris en classe dans leur contexte professionnel. | La performance cherche à évaluer le changement induit par la formation sur les résultats du groupe visé. |
| Hypothèse | Les apprentissages seront meilleurs si les participants perçoivent avoir reçu leur formation dans un contexte favorable. | Les participants doivent réaliser des apprentissages pour que les changements désirés dans leur comportement se manifestent au travail. | Les comportements individuels des participants à la formation doivent changer pour que les résultats organisationnels visés émergent. | |
| Instrument de mesure | Questionnaire écrit, à questions ouvertes et/ou fermées. | Examen final à la fin d’un cours, sous forme de questionnaire ou d’observation directe (situation réelle ou simulation) avec critères d’observation. | Plusieurs options sont disponibles…On peut recourir à des grilles d’observation directe, à des questionnaires d’auto-évaluation du transfert ou à des questionnaires écrits en utilisant la méthode 360o. | Infiniment variés, ils dépendent directement de la performance visée et des données disponibles / accessibles pour la mesurer. |
| Note : | Il n’y a aucune corrélation significative entre la perception des participants, leurs apprentissages et les changements dans leurs comportements au travail (Alliger et al., 1997). C’est pourtant de loin le niveau d’évaluation le plus répandu. Facile à réaliser, cette mesure a au moins le mérite de permettre au professeur d’ajuster son cours aux besoins des participants. | Les acquis ont effectivement une relation significative avec les changements de comportement des participants dans leur travail (Alliger et al., 1997). Cette évaluation est critique pour mesurer la capacité de la formation à générer des apprentissages. Le choix du mode d’évaluation variera selon les objectifs à évaluer et le contexte de l’évaluation (temps, ressources, quantité de personnes à évaluer, etc.). | Ce niveau ressemble de près à une évaluation individuelle de la performance, avec tous les problèmes de fiabilité et de validité que cela implique. Cette évaluation peut aussi paraître menaçante et ne se prête pas à tous les contextes. Comme le niveau II en est un bon prédicteur, il est acceptable de s’y limiter dans le cadre du contrôle de la qualité de la formation. | C’est le niveau le plus important de l’évaluation, mais aussi le plus difficile à atteindre. Il exige de la rigueur, de la créativité, de la persévérance, et une part d’incertitude (il faut souvent se contenter de l’estimer). Certaines performances sont monnayables, d’autres relèvent plutôt du relationnel et le sont moins. |
Vue d’ensemble du modèle
Les trois premiers niveaux de l’évaluation concernent la qualité de la formation, ou sa capacité à atteindre ses objectifs. Le niveau IV concerne sa performance, ou la capacité de la formation à permettre l’atteinte de nouveaux niveaux de performance (voir la figure ci-dessous).
La performance et le retour sur investissement
La performance et le retour sur investissement (le niveau IV du modèle) sont les plus méconnus des niveaux d’évaluation. Tentons de les voir de plus près.
La performance
L’évaluation de la performance constitue le talon d’Achille du système d’évaluation de la formation. La relation de cause à effet formation - performance est difficile à isoler parce que ces effets se manifestent graduellement et que plusieurs inducteurs peuvent agir dans la période observée. De plus, les données sont parfois (souvent) difficiles à obtenir. Nous ne pouvons donc pas mesurer la performance et le retour sur investissement de façon constante et continue. Les frais de la mesure en viendraient à dépasser les gains réalisés (en admettant qu’elle ait eu lieu). Il faut se résoudre à estimer et échantillonner, comme en contrôle de la qualité par exemple.
La méthode qui suit est très simple et très terre à terre (ce modèle d’évaluation de la performance est tiré de Richard A. Swanson, Assessing the Financial Benefits of Human Resource Development, 2001). Elle est suffisamment flexible pour se sortir de la plupart des situations, et assez rigoureuse pour être crédible d’un point de vue financier. Elle se divise en deux grandes étapes :
- Définir la performance en unité de mesure
- Mesurer la valeur monétaire de la performance
Définir la performance en unité de mesure
On peut classer les attributs de la performance en trois catégories :
- le temps ou la période durant laquelle quelque chose est produit;
- la quantité ou le nombre de choses produites;
- les caractéristiques de qualité ou les attributs d’un produit ou d’un service.
Nous tenterons d’abord d’établir une ou plusieurs unités de performance pour chaque catégorie. Ensuite, nous en sélectionnerons une en fonction des critères suivants :
- Est-elle liée à la préoccupation initiale de performance?
- Des données (historiques, actuelles et futures) relatives au niveau de cette unité sont-elles accessibles?
- Les données sont-elles utilisables?
Illustrons le tout à l’aide d’un cas. Un superviseur n’est pas satisfait du système de formation dont il dispose pour ses conducteurs de chariots élévateurs (caristes). La formation des nouveaux employés est très longue et n’offre aucune garantie de compétence. Il répare aussi constamment les allées à fourche à cause de collisions fréquentes. Enfin, les finances lui rapportent de nombreuses erreurs de facturation suite à des erreurs de transaction des caristes. Il prévoit accueillir quinze nouveaux caristes dans l’année qui vient et voudrait s’assurer de leur compétence en fin de formation.
Cette problématique a de multiples facettes. Le tableau 2 présente quelques options de mesures.
| Tableau 2 : Choix d’une unité de performance mesurable (niveau IV) | |||||||
| Catégorie de mesure | Nom | Unité de mesure | Valeur $ par unité | Connecté? | Accessible? | Utilisable? | Choix |
| Temps | Temps requis pour rendre les participants autonomes | Nombre de journées d’une formation complète (jr/personne) | 240 $/jour personne (salaire + BM) | Oui | Oui | Oui |  |
| Quantité | Réparation des allées et camion | Nombre de réparations (camions et allées par mois) | ? | Oui | Non | Non (exigerait des tests statistiques sur un grand nombre de données pour isoler l’effet de la formation) |  |
| Qualité | Erreurs de transaction dans le AS400 | Nombre de palettes de produit fini non facturées/mois | Prix moyen d’une palette | Oui | Non (Les palettes non facturées sont parfois découvertes avec des mois de délai) | Oui | |
Remplir ce tableau exige des recherches, mais si l’une ou l’autre de ces unités de performance cause un problème, c’est que quelqu’un les mesure et les suit. Il faudra probablement trouver une valeur nominale à l’unité de performance. Cette évaluation devrait être faite par quelqu’un de crédible sur le plan financier. Une bonne partie de la perception des résultats dépendra de la crédibilité de cette évaluation. Une fois le choix fait et le système de collecte de données établi, le pire des obstacles est franchi.
Pour le cas des caristes, nous avons retenu la dimension de performance la plus simple à mesurer : le changement de la durée de la formation.
À propos de la durée de la formation comme indicateur, mentionnons que la capacité d’un groupe à rendre ses nouveaux membres autonomes rapidement est une forme de performance importante. Dans le cas présent, aucun investissement réel n’avait été fait dans un système de développement structuré. Le groupe accumulait les coûts cachés et les délais pour chaque nouvel employé. En investissant dans un tel programme, le département cherche entre autres à améliorer sa capacité d’intégration des nouveaux employés et à le faire de façon rentable. Un bon contrôle de la qualité (évaluation pratique des acquis) maintiendra l’équilibre entre le besoin de qualité et le désir de vitesse.
Comme autre option, nous aurions pu faire un échantillonnage de palettes de produits à facturer et mesurer les changements de performance avant et après la formation, par exemple. Ces résultats partiels auraient suffi à donner de bons indices de volume d’erreurs évitées sur une période donnée grâce à la formation. Nous avons retenu la première option pour sa facilité et ses moindre coûts, critères inhérents à l’évaluation comme ailleurs en entreprise.
Calculer le retour sur investissement
Mesure : Le retour (R) est le résultat de la différence entre la valeur des gains en performance (p) et les coûts de formation (c) divisée par les coûts de la formation (c) (Phillips, Return on Investment in Training and Performance Improvement Programs 1997) :
| R = | (p - c) | |
| c |
Cette formule ne compte que deux variables : la valeur p du changement de performance en dollars et le coûts c de la formation, en dollars. Les coûts sont relativement faciles à mesurer et la plupart d’entre nous le faisons couramment. La valeur de la performance est plus subtile.
Selon notre méthode, nous définirons les niveaux de performance avant et après le mandat d’après l’unité de performance sélectionnée. Le calcul sera le produit des gains en unités et de leur valeur unitaire, déterminée au tableau 3. Les gains de performance p sont donc de 72 000 $.
| Tableau 3 : Le calcul des gains de performance (niveau IV) | ||||
| Indicateur | Niveau actuel (par participant) | Niveau prévu (ou après projet) | Gains prévus (pour 15 participants) | Valeur |
| Temps requis pour rendre les participants autonomes | 40 jrs/pers. | 20 jrs/pers. | (40-20)jrs/pers. x 15 personnes = 300 jrs | 300 x 240 $ = 72 000 $ |
Le calcul des coûts (c) des pratiques de formation est assez bien connu et nous n’insisterons pas sur les méthodes pour le calculer. Ici, le projet (analyse, développement, prestation et évaluation) équivalait à un investissement de 33 000 $. Selon notre formule, nous trouvons :
| R=(p-c)/c | ||
| où: | p= 72 000 $ | |
| c= 33 000 $ | ||
| R=(72 000 $-33 000 $) / 33 000 $ | ||
| R= 1,18 (ou 118 %) |
En sachant que le rendement des bons portefeuilles en bourse tournent actuellement autour de 10 % (plus de 20 % dans les bonnes années), un retour sur investissement de 118 % rend clairement l’investissement pertinent (pour autant que les caristes soient effectivement compétents et autonomes en fin de formation, d’où l’importance d’effectuer l’évaluation des acquis - niveau II).
Conclusion
L’évaluation de la formation, bien plus que de l’expertise, exige de la pratique et de la persévérance. Tous les projets de formation ne s’y prêtent pas. Certaines formations ne sont qu’une partie indivisible d’un projet plus vaste, d’autres ont des objectifs stratégiques de changement de vocabulaire, de valeurs, d’attitude ou de climat… Mais souvent, la performance peut se monnayer. Y porter attention augmente la crédibilité des gestionnaires en ressources humaines en tant qu’experts conseils et améliore la qualité de leurs analyses de besoin. De plus, remettre des rapports démontrant la rentabilité des projets améliore le statut de partenaire d’affaires des professionnels de la gestion des ressources humaines. Toutes choses dont ils ont besoin pour agir de façon proactive et stratégique dans leurs entreprises.
Martin Dessureault, M.Sc., CRIA, conseiller, formation et développement organisationnel, Johnson & Johnson inc., en collaboration avec Jean-François Roussel, CRHA, professeur au programme de 2e cycle de gestion de la formation de l’Université de Sherbrooke et conseiller senior au Groupe CFC inc.
