La démarche d'évaluation à l'I.R.D.P.Q.

1. La démarche d'évaluation à l'I.R.D.P.Q. Sylvie Dubé, Lucie Turcotte, Marie-France Allen Colloque de la SPEQ, Octobre 2004

2. Plan de la communication • Brève présentation de l’organisation • Historique de la démarche • Objectifs et attentes de l’organisation • Description du processus • Activités réalisées et leurs utilités • Constats • Reddition de comptes • Vers le futur…

3. Brève présentation de l’Institut de Réadaptation en Déficience Physique de Québec (IRDPQ) Institut universitaire (I.U.)

4. Mission clinique L’IRDPQ est un centre universitaire d’adaptation, de réadaptation et de soutien à l’intégration sociale offrant des services à des personnes de tout âge ayant une déficience auditive, motrice, neurologique , visuelle, de la parole ou la langage. Il offre aussi des services d’accompagnement et de soutien à l’entourage.

5. Mission universitaire L’IRDPQ est un institut universitaire provincial en réadaptation. Sa reconnaissance est basée sur ses domaines d’excellence : des services de pointe ultraspécialisés en réadaptation, l’originalité de l’organisation clinique par programmes et des moyens assurant la qualité de l’évaluation, de l’enseignement et de la recherche

6. Informations générales • L’IRDPQ est issu de la fusion de 4 centres de réadaptation de la région de Québec • Les services sont offerts sur 3 sites, à 2 points de service, soit Portneuf et Charlevoix • L’IRDPQ compte 22 unités administratives pour 37 programmes cliniques • L’IRDPQ agit avec plus de 400 partenaires • L’IRDPQ compte 1300 employés

7. Conseil d’administration Adjoint au directeur général et directeur au développement de la qualité Directeur général Directeur adjoint et directeur des services aux clientèles Directeur des ressources financières et informationnelles Directeur des programmes d’aides techniques et des ressources matérielles et techniques Directeur des ressources humaines Directeur des services à la clientèle des enfants adolescents Directeur des services aux clientèles des adultes et des aînés Directeur des services professionnels Directeur de l’enseignement et du soutien scientifique Directeur du Centre interdisciplinaire de recherche en réadaptation et intégration sociale (CIRRIS) 3 unités 7 unités 11 unités Evaluation Organigramme

8. Mandats légaux • Amélioration continue des services(loi sur la santé et les services sociaux) • Évaluation des programmes • Dossiers organisationnels • Dossiers partenariats • Évaluation des nouvelles aides techniques (I.U.) • Évaluation des nouveaux modes d’intervention et des nouvelles technologies (I.U.)

9. Historique de la démarche en évaluation de programmes à l’IRDPQ

10. Historique de la démarche d’évaluation de programmes • Expérience antérieure d’évaluation (vision) • Orientation innovatrice de l’organisation (1997- 1998) • Plan d’actions pour l’évaluation des programmes cliniques(1998) • Ressources internes dédiées et formées • Conseillères en évaluation • Techniciens en recherche, enquête et sondage • Politique d’évaluation des programmes(1998- 1999) incluant les mécanismes de coordination et de concertation

11. Objectifs et attentes de l’organisation

12. Évaluationdes programmes cliniques Tous les programmes auront débuté un processus d’évaluation continue en 2005 Objectif

13. Attentes • Rédaction/révision des programmes • Élaboration de programmes • Programmes cliniques de qualité • Solutions à plusieurs problèmes rencontrés dans les programmes • Évaluation de l’efficacité des programmes en terme d’atteinte des objectifs ciblés • Amélioration de la performance de l’établissement grâce à l’évaluation

14. Fonctions principales de l’évaluation à l’IRDPQ • Fournir les informations nécessaires à la prise de décisions d’un point de vue : • Micro (programme) • Méso (chefs, directeurs et autres instances décisionnels de l’IRDPQ) • Macro (Agence de développement , MSSS, AERDPQ, SAAQ, CSST, etc.)

15. Description du processus d’évaluation de programmes à l’IRDPQ Pour l’amélioration de la qualité de services

16. Balises du processus • Cadre légal • Cadre normatif • Cadre administratif • Cadre scientifique

17. Approches • Centrée sur l ’utilisation des résultats • Formative • Participative • Theory driven • Processus continu

18. L’approche n’est pas neutre • Les modèles d’évaluation utilisés sont variés et laissés au choix de la conseillère en évaluation • Par composantes (selon la logique du programme) • Selon des qualités prédéterminées • Mixtes • Selon le stade d’évolution du programme • Selon le cycle de l’évaluation

19. Partage des responsabilités- rôles de l’équipe de direction - Au niveau de l'établissement: • Est responsable de la politique, de son application et de sa mise à jour • Dépose à chaque année une planification des programmes à évaluer Au niveau des programmes: • Donne les orientations (préoccupations ou enjeux particuliers avant le début du processus) • Consent les ressources nécessaires • Donne à nouveau les orientations suite à la démarche

20. Rôles du chef de programme • Est responsable de la démarche • Doit identifier un comité de programmation et définir son mandat • S’assure de la disponibilité des ressources • Voit à la bonne marche des travaux • Voit à l’utilisation des résultats • Peut contribuer à la diffusion des résultats • Contribue activement à la démarche et à son appréciation

21. Rôles des ressources en évaluation • Assurent un soutien conseil au chef de programme et à l'équipe de travail pour la planification de la démarche d’élaboration et d’évaluation du programme • Assurent le soutien méthodologique nécessaire à la réalisation des activités d’élaboration et d’évaluation du programme • Peuvent contribuer à la diffusion des résultats

22. Comité de programmation • Lien entre la discipline et le comité(faire les suivis) • Lien avec le comité des usagers ou une association s’il y a lieu • Préparation et participation active aux rencontres • Collaboration à la rédaction • Lecture de documents légaux, scientifiques et de documents du programme • Peut collaborer à des études de dossiers

23. Comité de programmation (suite) • Collabore à l ’analyse de toutes les données • Peut contribuer à la diffusion des résultats • Facilite l’appropriation des résultats • Facilite l’implantation des changements • Met à jour la programmation

24. Initiation de la démarche dans un programme • Rencontre avec le gestionnaire du programme • Présentation de la démarche à l’ensemble des membres du programme (power point) • Exemples d’utilités • Lien avec d’autres programmes en évaluation • Autodiagnostics • Retour sur les diagnostics à l’ensemble des membres • Identification du comité de programmation

25. Autodiagnostics des membres du programme • Quelles sont les principales difficultés que vous percevez au sein du programme ? • Quelles sont vos principales attentes? • Quelles sont vos principales craintes ? • Quelles sont les forces vives du programme?

26. Investissement • Pourquoi croyez-vous qu’il faille revoir votre programme ? • Quel investissement personnel êtes-vous prêt à faire pour améliorer votre programme ? • Attitudes (ouverture d ’esprit, rigueur scientifique, confiance, respect du travail, créativité, etc..) • Participation (lectures, rédaction, présences, mises à jour, etc.)

27. Mise en oeuvre • Rencontre du comité de programmation • Retour sur les diagnostics et le désir d’engagement de l’ensemble des membres • Discussion sur les valeurs et comportements à encourager dans le comité • Élaboration du plan d’action • Activités à faire • Responsabilités • Échéancier • Fréquence et durée des rencontres du comité • Bilan de la première rencontre

28. Rapports d’étape • Un rapport d’étape est fait 2 fois par année • Il est élaboré par la conseillère en évaluation et validé par le gestionnaire du programme (qui peut consulter son comité) • La section sur l’appréciation de la démarche est incluse et est développée par le gestionnaire • Le rapport est envoyé au directeur clinique qui y donne suite par une rencontre avec le gestionnaire et la ressource en évaluation selon les besoins

29. Contenu du rapport d’étape • Stade d’évolution du programme en évaluation • Activités réalisées • Problématiques rencontrées • Activités planifiées et échéancier • Appréciation du processus par le gestionnaire (il peut avoir consulter ou non le comité de programmation) et le directeur

30. Démarche par consensus • L’évaluation du programme permet de prendre, par consensus, des décisions : • Sur la clientèle cible • Sur ses finalités, en relation avec les besoins de usagers • Sur le cheminement de l’usager • L’uniformité des critères d’admission, de refus, de fin ou suspension d’intervention • Son partenariat • Sur les rôles et tâches de chacun

31. Démarche par consensus(suite) • L’évaluation du programme permet de prendre des décisions au niveau de : • La formalisation des étapes et des décisions • Du choix des outils respectant les qualités de mesure • Du choix des interventions s’appuyant sur les données probantes et l’approche client • Du choix des indicateurs pour la mesure des effets en lien avec les objectifs s’adressant à la clientèle • La participation aux mandats universitaires • La participation aux mandats universitaires

32. Activités réalisées en évaluation de programmes et utilités reconnues

33. Étendue de l’évaluation de programmes :d’avril 1998 à avril 2004

34. Soutien de l’équipe aux programmesavril 2004

35. Taux de contamination • 100% de tous les programmes cliniques ont accès à des données leur permettant de faire un plan d ’action d ’amélioration et le font. • Questionnaire de satisfaction • Données informationnelles des systèmes • Données de l’évaluation du Conseil Québécois d’Agrément (CQA) • Données des rapports annuels concernant les mandats universitaires • Recommandations des désignations du MSSS • Autres

36. Utilité de l’évaluation des programmes pour l’IRDPQ • Contribuer au plan d’amélioration des services de l’organisation • Soutenir la prise de décision

37. Lien entre le plan d’évaluation du programme et le plan d’amélioration continue de la qualité Recommandations découlant d’évaluations externes et internes Préoccupations de la direction, des intervenants du programme, des partenaires Plan d’amélioration continue de la qualité : de l'établissement de la direction du programme Éléments qui doivent être documentés Plan d'évaluation Plan d’action Résultats d’évaluation

38. Utilités de l’évaluation des programmes pour l’IRDPQ Soutenir la prise de décisions : • Sous l’angle des clientèles • Sous l’angle de l’accessibilité aux services et rentabilité • Aspect légal et administratif • Aspect normatif

39. Prises de décision ou avantages méso influencées par l ’évaluation des programmes • Diminution des durées de séjour ou délai d’attente • Réorganisation des services ou des ressources • Amélioration de la connaissance des programmes et de leurs qualités • Amélioration du partenariat interne et externe

40. Constats

41. Forces vives généralement reconnues dans les programmes • Les équipes sont composées de cliniciens expérimentés • Les cliniciens ont une très bonne connaissance de la clientèle • Il y a une volonté d’amélioration continue et un engagement auprès de la clientèle • Les cliniciens sont généralement sensibilisés aux mandats universitaires • Il y a un sentiment d’appartenance à l’établissement

42. Principales difficultés perçues au sein des programmes • Manque de clarté au niveau de la clientèle cible, de ses besoins, de la mission de participation sociale et peu d’informations colligées au niveau du profil clientèle • Cheminement peu formalisé • Manque de connaissances du contexte, de l’environnement et des données probantes • Peu d'outils cliniques respectant les qualités de mesure • Interdisciplinarité à consolider ou implanter • Partenariat interne et externe à consolider ou implanter • Mesure des effets en lien avec les objectifs du programme absente • Mandats d’enseignement et de recherche pas toujours intégrés

43. Constats qualité • L’évaluation est un des moyens de développer des programmes de qualité • Pertinence • Cohérence • Synergie • Efficacité • Etc..

44. Constats sur la démarche d’évaluation • Le processus est long • Les cliniciens ont besoin de voir certains résultats rapidement sinon démotivation • Il faut acquérir la confiance • Il faut donner du temps pour le changement • Il faut donner du temps pour l’appropriation • Le choix de rédiger les programmes augmente le temps à consacrer • L’évaluation ne doit pas diminuer le rendement du programme (donc temps est relié aux ressources allouées dans le programme) • L’approche participative conduit à de plus longs échanges • Plusieurs activités en même temps = épuisement • Les approches choisies obligent gestion participative

45. Constats(suite) • Il a fallu travailler ++ avec les ressources informationnelles • Personne ressource en évaluation = agent de changement et agent intégrateur à cause de ses compétences transversales • Rôle conseil +++ dans plusieurs dossiers • Le nombre de demandes augmente à chaque année • Les gens sont satisfaits du soutien en évaluation et de ses avantages

46. Facilitateurs et conditions de réussite • Volonté clairement exprimée de l’administration • Expériences antérieures satisfaisantes • Plan d’action incluant l’allocation de ressources formées • Approche participative : rôles, participation, compréhension • Implantation de mécanismes de communication • Accès à du soutien méthodologique et technique • Présence d’une équipe de chercheurs

47. La reddition de comptes de l’équipe d’évaluation

48. Reddition de comptes • Rapports d’étape au moins deux fois par année par programme • Comité de coordination de l’évaluation • Rapport annuel • Activités réalisées en lien avec leurs utilités • Quantification des heures allouées à chaque programme • Conformité avec les priorités annuelles établies • Communication au Conseil d’Administration (C.A.) • Activités d’évaluation en lien avec les dossiers organisationnels ou de partenariat • Activités de formation continue, de diffusion des connaissances et de collaboration à la recherche

49. Vers le futur… • Amélioration des données du système d’information clientèle et accès plus facile aux données administratives et universitaires permettront de débuter le processus plus rapidement • La présence d’agents multiplicateurs permettra à l’équipe de devenir consultante à un niveau supérieur • Diffusion interne et externe à augmenter • Cadre de référence en lien avec les mandats à développer • Reddition de comptes à améliorer en terme de lien avec la performance de chaque programme et de l’établissement

50. Équipe d’évaluation2003/2004 • Marie-France Allen, conseillère • Sylvie Dubé, conseillère et coordonnatrice • Alain Dubois, technicien en recherche, enquête et sondage • Nathalie Dumont, technicienne en recherche, enquête et sondage • Danielle Lévesque, conseillère • Janick Trépanier, technicienne en recherche, enquête et sondage • Lucie Turcotte, conseillère