Recherche en bref

Numéro 4, mars 2003

Suivi et évaluation des programmes d’activité physique s’adressant aux aîné(e)s

Par : Anita M. Myers (Ph. D.), professeure, département des études sur la santé et de gérontologie, Université de Waterloo; professeure adjointe, Centre canadien de l’activité physique et du vieillissement, Université Western Ontario

L’évaluation de programme consiste à recueillir des renseignements sur les services et sur la clientèle dans le but de vous aider à prendre des décisions pour déterminer de nouvelles initiatives ou examiner les services offerts. Une évaluation aide à obtenir les données qui serviront à justifier une demande de financement continu ou accru. Une évaluation fait également ressortir votre engagement à assurer le meilleur service possible compte tenu des ressources disponibles. Mais elle vous aidera avant tout à être à l’écoute des principaux intéressés, soit les clients ou les participants à votre programme.

Les aîné(e)s qui prennent part à des programmes sont en droit de s’attendre à ce qu’ils soient sécuritaires, bénéfiques et conçus en fonction de leurs besoins, de leurs capacités et de leurs attentes. Une évaluation démontrera que vous accordez de l’importance au point de vue de vos clients.

Avantages de l’évaluation d’un programme

Responsabilité à l’égard des commanditaires et des participants.
Planification et prise de décision éclairées .

Aide à apporter à la prestation du service :

• Recrutement et maintien des effectifs.
• Satisfaction des besoins et attentes de la clientèle.
• Optimisation des bienfaits pour les clients.
• Minimisation des effets négatifs.
• Optimisation de l’efficacité.

Idées préconçues au sujet des évaluations

Si l’évaluation d’un programme semble a priori judicieuse, vous pouvez doutez d’avoir le temps, l’argent ou l’expertise nécessaires. D’abord, il est important de comprendre qu’une évaluation diffère d’une recherche traditionnelle. La recherche examinera les interventions dans des conditions contrôlées, tandis qu’une évaluation examine les programmes dans des conditions réelles. Il n’est donc pas nécessaire d’être chercheur pour évaluer des programmes!

L’évaluation d’un programme requiert temps et efforts, cependant l’absence d’évaluation risque d’être beaucoup plus coûteuse. Les programmes les plus susceptibles de perdre leur financement sont ceux qui ne reposent pas sur des données justificatives. Par exemple, dans les années 1980, le programme Joie et Santé : la gymnastique du troisième âge de la Société canadienne de la Croix-Rouge a survécu à une restructuration majeure de l’organisme en raison des données d’évaluation. Les résultats ont non seulement persuadé le conseil d’administration de poursuivre le programme, mais ils ont servi à aller chercher des fonds à l’externe afin de pouvoir l’offrir à tout le Canada.

Les ressources internes détermineront les projets d’évaluation que vous pourrez entreprendre. Cependant il est possible pour des programmes qui s’adressent à la base, de mener à bien de simples activités d’évaluation avec des moyens limités. Comme vous le constatez, la simple tenue de dossiers vous permettra d’obtenir des informations très éclairantes en matière de prise de décision.

Une idée préconçue consiste à croire qu’une évaluation donne lieu à des résultats négatifs et se traduirait par des compressions de fonds et des mises à pied. Cette crainte découle de l’appréhension due à une association erronée entre évaluation et démonstration du succès d’un programme. La plupart des évaluations de cette nature tendent à être relativement bénéfiques (pour certains clients davantage que pour d’autres). Toutefois, il est contre-productif de penser en termes de succès ou d’échec. L’évaluation permettra de cerner quels aspects du programme fonctionnent bien et quels aspects demandent à être améliorés.

Voyons maintenant divers types d’évaluation de programmes, ainsi que la distinction entre les évaluations périodiques et la collecte continue de données. Après quoi, nous nous attarderons aux moyens d’améliorer les pratiques de collecte des informations auprès des clients.

Types d’évaluation de programme

Approches de l’évaluation de programme
Évaluation des besoins (planification)
Évaluation formative (essai)
Évaluation du processus (déroulement courant)
Évaluation du résultat
Évaluation des coûts

L’étape où en est arrivé le programme déterminera quelle évaluation sera la mieux adaptée. Par exemple, au moment de planifier de nouveaux programmes, il est important de procéder à une évaluation des besoins (ou analyse de marché) afin d’éviter un dédoublement en prenant connaissance des services offerts dans votre région et en sondant votre audience cible pour savoir si un tel programme l’intéresse en tenant compte des frais, de l’endroit et de l’horaire. Une fois que vous décidez d’aller de l’avant (par exemple brochure, vidéos, affiches), il est important de prendre le pouls des clients au moyen d’une évaluation formative (étude de marché ou essai pilote) : les documents sont-ils faciles à comprendre, attrayants, motivants ? L’évaluation à l’étape de l’ébauche peut épargner temps et argent. Imaginez reproduire 1 000 exemplaires d’une vidéocassette pour se rendre compte que les aîné(e)s ne s’identifient pas aux acteurs, trouvent la vidéo ennuyante ou difficile à suivre.

Une fois le programme lancé, il est important de procéder à une évaluation du processus. Joignez-vous votre audience cible (recrutement) ? Vos cours ou groupes sont-ils remplis à pleine capacité? À quelle fréquence? Pouvez-vous suffire à la demande (Y a-t-il une liste d’attente)? Dans quelle mesure répondez-vous aux attentes de votre clientèle ? Est-ce que les participants ont tendance à continuer de participer jusqu’à la fin du programme? Est-ce que certains aspects du programme demandent à être améliorés?

Après avoir modifié votre programme, dans le but d’optimiser le recrutement et la prestation, il y a lieu de procéder à une évaluation des résultats et des coûts. L’évaluation des résultats consiste à mesurer les progrès du client ou le maintien de son état physique (en fonction des objectifs du programme). Une telle évaluation examine les clients avant leur participation au programme et après une période donnée au moyen de mesures et d’indicateurs tels le niveau d’activité physique, le fonctionnement physique et psychologique. En revanche, l’analyse des coûts peut être simple (coût par cas) ou complexe (établir un lien entre les intrants et les résultats du programme).

Évaluation et suivi

Vous vous réjouirez d’apprendre que la plupart des évaluations ne sont nécessaires que périodiquement. Une fois que vous disposez des données des besoins, vous pouvez aller de l’avant avec l’élaboration de votre nouveau programme. Vous n’avez ensuite qu’à faire une évaluation périodique que lorsque vous souhaitez étendre vos services à d’autres régions ou groupes cibles. Par exemple, si vous souhaitez recruter des aîné(e)s d’origines ethniques diverses, une nouvelle évaluation des besoins sera nécessaire. De plus, une nouvelle évaluation du processus sera nécessaire si vous apportez des changements à vos stratégies de promotion ou de prestation. Il ne sera pas indispensable de procéder à une évaluation des résultats lorsque des études documentent déjà les avantages de programmes similaires pour la clientèle.

Inversement, certaines données devraient être recueillies sur une base continue. Des données sur chaque nouveau participant et des relevés de présence devraient être compilés. Ces renseignements sont essentiels pour dresser un profil de votre clientèle, y compris pour connaître les taux d’abandon. Une comparaison de ces données au fil du temps (suivi) vous permettra de cerner notamment les tendances. Une telle évaluation vous permettra aussi de noter une hausse cyclique des inscriptions à une période donnée de l’année ou de noter que le profil de votre clientèle a changé au cours des récentes années. Vous pourrez encore constater que votre clientèle comprend davantage de personnes souffrant d’arthrite ou d’ostéoporose prononcées et qu’il vous faudra vous assurer de les aider à entrer et à sortir de la piscine en toute sécurité. Ou encore, devoir consacrer plus de temps à expliquer les exercices à domicile aux clients qui souffrent d’une déficience intellectuelle. Chacun de ces scénarios justifie l’affectation de ressources supplémentaires.

De plus, il faut assurer un suivi des changements dans le profil de la clientèle et des tendances d’utilisation, vous allez devoir déterminer dans quelle mesure vous répondez aux besoins et attentes des clients.

Obtenir les rétroactions des participants

Il est fréquent d’avoir recours aux questionnaires sur la satisfaction de la clientèle parce que ce genre d’outil est facile à élaborer et à noter. Il est important cependant d’en connaître les limites.

Questionnaires sur la satisfaction

Pour
Facile à élaborer
Facile à adapter
Anonyme
Rapide à résumer

Contre
Biais dans les réponses
Biais dans la représentation
Difficile à interpréter
Utilité limitée

• Saviez-vous que de 80 à 85 % des consommateurs affirment qu’ils sont de relativement satisfaits à très satisfaits ?
  Cette réponse est obtenue au sujet de tous les types de services et programmes. Pourquoi? La plupart des gens n’aiment pas se plaindre (officiellement) de crainte de perdre le service ou d’y nuire en risquant d’en priver les autres. D’autres personnes ne veulent pas perdre leur temps à remplir un questionnaire à la fin d’une session ou de l’année. De plus, il n’est pas rare que les participants moins réguliers soient absents le jour du sondage et que les décrocheurs qui n’ont pas vu leurs besoins et attentes comblés soient déjà partis.
• Saviez-vous que les deux tiers des clients changent de services en raison de l’indifférence du personnel?
  Qu’il s’agisse de services de santé, de restauration ou de programmes de vie active, ill est discutable que des participants soient en mesure de juger des habiletés ou compétences techniques des prestataires de service. ependant ils sont à même de reconnaître qu’on les traite de façon amicale et courtoise. Lorsque les gens aiment l’intervenant, ils ont tendance à noter dans l’ensemble le programme de façon supérieure.
• Que peut-on tirer des sondages sur la satisfaction de la clientèle?
  Les sondages consistent le plus souvent à noter divers aspects d’un programme (par exemple l’instructeur, l’emplacement, l’horaire, la musique) en apposant un crochet dans les cases d’une grille allant de «hautement satisfait» à «hautement insatisfait». Mais même si des gens sont insatisfaits, par exemple de la musique ou de l’horaire, en quoi ce genre de résultats vous éclaire-t-il? Les sondages sont anonymes, il n’y a pas moyen de savoir quels clients sont insatisfaits et pour quelles raisons. Des questionnaires comportent une section réservée aux commentaires, mais la plupart des gens ne la complète pas. Et s’il arrive de recevoir certains commentaires précis, vous allez préférer savoir dans quelle mesure ces commentaires reflètent le point de vue de l’ensemble de votre clientèle.

Comment améliorer les sondages sur la satisfaction de la clientèle

• Choisissez plus qu’un groupe ou une période (de préférence à un moment assez éloigné des vacances).
• Demandez à une autre personne que l’instructeur du groupe ou l’animateur du groupe de distribuer le questionnaire.
• Joignez une enveloppe de retour confidentielle et prévoyez une boîte pour retourner les formulaires.
• Postez le questionnaire (avec une enveloppe pré-affranchie). Cette mesure devrait aider à joindre les participants moins réguliers et ceux qui ont délaissé le programme.
• Ne manquez jamais de faire connaître le taux de participation au moment d’annoncer les résultats.

Vous devriez également songer à d’autres stratégies de rétroaction. Des boîtes à suggestions et fiches de commentaires devraient être disponibles et annoncées. Un appel téléphonique aux membres absents est un excellent moyen pour offrir un soutien et recueillir des informations. Une autre approche consiste à organiser périodiquement des groupes de discussion.

Les groupes de discussion s’avèrent un excellent moyen pour obtenir des rétroactions. Ils permettent aux participants (de 8 à 12 participants à la fois) de mettre en commun leurs idées et de s’arrêter plus longuement sur les problèmes. Cette méthode est hautement recommandée dans le cas des évaluations de besoins et des évaluations formatives (afin de recueillir l’apport de clients potentiels) et dans le cas d’évaluation de processus (pour recueillir les rétroactions de clients actuels).

Par où débuter?

Commencez par examiner vos pratiques de collecte de renseignements sur votre clientèle. Est-ce que les renseignements sont simples à trouver et faciles à utiliser? Avec les centres de loisirs et les centres de l’âge d’or, nous avons pu constater que la plupart d’entre eux recueillent des données au moment des inscriptions. Également, bon nombre d’instructeurs prennent les présences en utilisant les listes d’inscription alors que certains ne se contentent que de compter les participants présents. Cependant les instructeurs connaissaient passablement de détails sur chacun des participants, alors que l’âge et le sexe sont obtenus à partir des formulaires d’inscription (habituellement rangés dans des filières).

Il suffit de remettre un simple questionnaire à tous les nouveaux participants et, avec les données sur l’utilisation du programmes, vous obtiendrez un profil plus détaillé de votre clientèle. En plus de consigner l’âge et le sexe des participants, d’autres renseignements sont utiles notamment: données démographiques (l’état civil, la scolarité), l’état de santé (problèmes de mobilité, de vue ou d’ouïe qui peuvent nuire à la participation), les motifs pour s’inscrire au programme, comment il(elle) en a entendu parler, comment le participant fait-il pour se rendre au lieu du programme etc. Des bases de données très simples peuvent vous aider à gérer et à établir des rapprochements (par exemple comparaison des caractéristiques des utilisateurs non fréquents et des utilisateurs fréquents, entre ceux qui adhérent au programme et ceux qui l’abandonnent) et à suivre les tendances au fil du temps.

(Quelques moyens très simples pour démarrer)

• Enregistrez les présences individuelles ou l’utilisation.
• Reccueillez des renseignements sur les nouveaux clients.
• Établissez de simples bases de données pour assurer un suivi des renseignements sur les clients.
• Établissez une procédure pour joindre les clients absents.
• Organisez périodiquement des groupes de discussion pour recueillir des rétroactions en profondeur.

Il y des façons très simples d’améliorer la tenue de dossier, de dresser le profil de votre clientèle et d’effectuer un suivi. La plupart des participants seront heureux de vous fournir des renseignements à des fins d’évaluation une fois que vous leur aurez expliqué pourquoi ces renseignements sont importants et à quelles fins ils sont destinés. Invitez certains des participants à votre programme à siéger à votre comité de planification afin de vous assurer que les outils d’évaluation sont appropriés et pertinentes. Impliquez les aîné(e)s dans le processus afin de leur démontrer l’importance de leurs suggestions. La mise en œuvre d’évaluations démontre que vous entendez améliorer la prestation de service et fournir les données pour le maintien ou l’augmentation du financement accordé à votre programme.

Publications

Le Centre canadien de l’activité physique et du vieillissement (CCAV) évalue systématiquement les programmes offerts au Centre, les programmes communautaires et les programmes qui s’adressent aux aîné(e)s fragiles. L’ouvrage Program Evaluation for Exercise Leaders puise des exemples parmi les programmes du CCAV ainsi que des exemples dans d’autres secteurs (par exemple santé publique, loisirs communautaires, réadaptation) afin d’aider les gestionnaires et les prestataires de programmes, en particulier ceux qui œuvrent auprès des aîné(e)s, à évaluer leurs propres programmes. Cet ouvrage renferme des modèles de grilles servant à définir les objectifs de rendement, des formulaires d’autorisation, des questionnaires de nature générale et des protocoles pour contacter les clients absents. On y retrouve un guide en 12 étapes pour organiser des groupes de discussion, on y apprend comment protéger la confidentialité des renseignements fournis de même que la façon de choisir des outils en fonction de différents types d’évaluation.

Si vous cherchez à promouvoir une vie active dans votre milieu, vous pouvez également découvrir une mine d’informations dans les évaluations ayant porté sur le programme Community Health Activities Model Program for Seniors (CHAMPS), offert en Californie, et le programme Aging Well and Healthy offert au Pays-Bas. Si vous travaillez avec des aîné(e)s fragiles, ne manquez pas de consulter les articles sur les programmes d’activités fonctionnelles dans les établissements de soins de longue durée et les programmes d’exercices de soutien à domicile du CCAV. Des articles sur la participation et l’adhésion des aîné(e)s à divers cours offerts au CCAV, ainsi que sur celui de T.S. Gavin (profil des aîné(e)s qui participent à des programmes de Tai Chi et de danse en ligne offerts par les centres récréatifs et les centres de l’âge d’or), représentent d’importants jalons ou points de comparaison pour les autres prestataires de programmes. N’oubliez pas cependant, qu’il vous faut évaluer vos propres programmes.

Références et ressources : Pour la liste de références ayant servi à la rédaction de cet article, veuillez communiquer avec le bureau de la CVAA ou passez visiter notre site Web. Pour de plus amples renseignements sur l’ouvrage intitulé Program Evaluation for Exercise Leaders
(ISBN 0-88011-709-5), allez à www.HumanKinetics.com ou téléphonez sans frais au Canada à 1 800 465-7301.

Nous tenons à remercier Liz Cyarto, ainsi que les instructeurs et les participants du CCAV pour leur apport inestimable à cet article. Les opinions qui y sont exprimées sont celles de l’auteure et ne reflètent pas nécessairement celles de Santé Canada.