C'est en particulier le cas lorsque les programmes présentent un cadre logique pour chacune des priorités. pour animer la réflexion préalable à la décision des décideurs. PROGRAMME OÙ ET QUAND 5 octobre 2015, 16h30-18h30 à l’aua/T Immeuble le Belvédère, 11, boulevard des Récollets,31400 Toulouse QUOI Enjeux et défis de la numérisation de nos déplacements Gilles Tredan (LAAS) Le modèle de déplacements : un outil partenarial d’aide à la décision So Les documents de base sont les documents stratégiques (DSP) et les programmes indicatifs correspondants (PIN) pour la période entrant dans le champ de l'évaluation. En apportant cette information clé, l'étude de cas exploratoire fournit les bases au développement du questionnement et des méthodes d'investigation à mettre en oeuvre par la suite (ex : quelle question poser, comment et à qui ?). Les conditions d'application spécifiques des enquêtes par questionnaire en évaluation soulignent que leur mise en œuvre est plus adaptée aux pays caractérisés par un bon niveau de développement. La limite entre le logique et l'illogique se situe dans l'espace où il y a doute, lorsque l'expérience délivre des leçons contradictoires ou ambiguës. Dans le domaine de l'évaluation pays, la présentation du contexte de l'aide est un point fondamental de l'étude qui sert de base à toute la suite de la démonstration. Ces derniers jouent également un rôle essentiel dans la programmation. La documentation disponible fournit-elle des indications sur les objectifs non retenus et les raisons qui ont conduit à les écarter ? Les responsables et partenaires de la politique et du programme évalué. Une partie peut également être disponible sur Internet (ex : évaluations conduites par d'autres bailleurs). Workshop on Accounting Frameworks to Measure Sustainable Development, Paris, Mai 2003. Le rôle du président est fondamental pour tenter d'atteindre le consensus ou pour formuler la position finale du panel, y compris si des divergences subsistent. Outil de recherche des causes d'un effet constaté, il est notamment utilisé en contrôle qualité, en diagnostic clinique et en prévention des accidents. Sa durée est en général un peu plus longue que les autres. une indépendance totale vis-à-vis des programmes étudiés, et donc un jugement dénué de tout intérêt particulier. Sont-ils les plus pertinents au regard de rang x ? L'analyse se heurte cependant aux difficultés d'information : Ces difficultés peuvent parfois affecter la pertinence même des objectifs. Y a-t-il eu une information précise des membres du panel sur leur rôle et sur les règles de fonctionnement d'un panel ? La définition des actions peut, dans certains exercices, être particulièrement longue et sophistiquée. Les phases d'analyse et de rédaction doivent toujours viser une impartialité totale, seule garante de la crédibilité des résultats. Celui-ci a introduit l'application de la sociologie et de l'anthropologie du développement à la Banque Mondiale dans les années soixante dix et a publié, depuis, un grand nombre de travaux dans lesquels il met en avant le rôle constructif des sciences sociales dans les stratégies de développement. " Cet exemple est donc intéressant et mériterait d'être adapté au cas des DSP (CSP) de la Commission Européenne. Cette liste peut être largement enrichie, selon la mission confiée aux experts. l'ensemble des options possibles dans l'établissement du système des objectifs (objectif global, objectifs intermédiaires retenus et écartés, etc.). Par exemple, une certaine recherche de représentativité peut être couplée avec le choix d'extrêmes ou de quelques cas spécifiques. Ce jugement est fait par le groupe, alors que le travail d'étude des impacts peut avoir été fait au préalable par des techniciens du sujet étudié. La méthode permet ainsi de confronter plusieurs alternatives, notamment dans le but de choisir celle qui est la plus apte à obtenir un résultat donné pour le coût le moins élevé. L'introduction de la valeur 0 dans le produit pondéré aboutirait à éliminer l'action et agirait comme un veto. (0 comments). Les problèmes et les causes représentés dans le diagramme sont reliés entre eux par des liens horizontaux ou verticaux. Pour un programme d'ampleur national, le choix du critère d'efficacité peut être élaboré dans le cadre d'un " panel d'experts ", auprès de spécialistes de la question. les choix ultérieurs des objectifs intermédiaires et opérationnels. Le choix de ces solutions à comparer est évidemment crucial et doit être compris de tous les participants. C'est même pour pallier les insuffisances du diagramme des objectifs qu'il a été conçu, même s'il peut présenter une utilité par lui-même. Trois types d'entretiens peuvent être menés dans cet objectif d'analyse d'impact et en complément d'une série d'entretiens individuels. Les techniques d'administration du questionnaire utilisé étaient-elles adaptées au type de public enquêté (face à face, téléphone, etc.) comment l'impliquer davantage si nécessaire ? collecter des informations quantitatives et surtout qualitatives. L'avis de certains experts "dominant" le groupe peut devenir prépondérant, aux dépens des autres avis. En ethnologie, son utilisation intervient dans le cadre de l'observation directe. Comment réaliser le diagramme des objectifs et le diagramme des effets? L'analyse culturelle et sociale devrait être l'un des instruments privilégiés dans la conception des stratégies et la définition des programmes. La prise en considération des coûts indirects s'avère nécessaire à la valorisation du travail des fonctionnaires en charge de la supervision et au suivi du programme ou de l'intervention. Les ressources humaines et en temps de travail, Capacité de travail pour la réalisation d'un diagramme des décisions (cas général). Les évaluateurs ont-ils précisé clairement les hypothèses préalables qui les ont conduit à mener cette analyse coût-efficacité ? Critères environnementaux : sensibilité à la pollution des sites de stockage, contrôle des émissions de fumées, surface nécessaire au projet, etc. Quelques conseils : Cette étape repose essentiellement sur les disponibilités de calendrier des personnes invitées aux focus groups, sur celles de l'équipe d'évaluation et des personnes ressources, et enfin sur l'avancée suffisante des travaux préparatoires à la réalisation des focus group. Deux acteurs ayant des avis très proches peuvent classer deux actions l'un au même niveau et l'autre à des niveaux différents, parce que les seuils de préférence et d'indifférence n'auront pas été assez bien définis. Une animation conjointe: Institut de la Ville (Marie-Christine Jaillet) et aua/T (Fréderic Toupin). Les documents rassemblant les réactions du gouvernement partenaire aux projets explicitent parfois les priorités gouvernementales. L'utilisation de l'outil est-elle clairement justifiée ? Collecter les documents nécessaires à l'établissement des diagrammes. Qui saura retracer l'évolution du programme dans un contexte de renouvellement rapide des équipes ? (0 comments). ), des responsables administratifs en lien étroit avec le domaine, des représentants de bailleurs impliqués dans ce même domaine, etc. Les informations orales sont sujettes aux mêmes limites de disponibilité et d'accessibilité des informateurs. leur pertinence au regard de la situation du pays et de la politique des acteurs majeurs. à l'emploi du temps souvent chargé des responsables à interroger. Les entretiens individuels peuvent être centrés sur des catégories fines de bénéficiaires et/ou sur des questions très ciblées portant sur des hypothèses différentes. L'outil vise à positionner un pays en comparant ses indicateurs de contexte avec ceux d'autres pays. Il est donc possible pour chaque acteur de donner un poids différent à chaque critère. L'évaluateur doit également s'assurer que ces informations sont exploitées au maximum, notamment en cas de divergence d'avis entre des personnes rencontrées. C'est en général possible pour les documents les plus récents dont les auteurs (ou contributeurs) peuvent être toujours en poste ou joignable dans un service du Siège. La recherche de représentativité statistique. Une connaissance préalable du contexte d'évaluation et des enjeux du programme pour les bénéficiaires afin de rédiger des questions pertinentes. Dans un autre cas de figure, ils peuvent défendre les intérêts stratégiques de leur groupe, l'évaluateur étant pris à partie, voire instrumentalisé s'il n'y prend garde. Intercaler les questions difficiles ou délicates avec des questions plus faciles qui "détendent l'atmosphère", même si ces questions faciles n'ont qu'un but "technique", celui du bon déroulement de l'enquête. Même bien structuré, l'outil reste malgré tout subjectif. Dès lors, le diagramme qui en résulte doit pouvoir être transposé intégralement en diagramme des objectifs : au problème central correspond l'objectif global et à chaque rang de problèmes un rang équivalent d'objectifs. De tels processus sont guidés par la recherche du compromis plus que par celle de l'efficacité et n'obéissent le plus souvent à aucun modèle formalisé de rationalisation de la prise de décision. Le diagramme définitif prend la même forme que le diagramme provisoire (diagramme principal et représentation des moments de choix). Expertise requise pour le traitement de données. Le gain de temps est souvent appréciable. Dans le cadre de l'évaluation, l'analyse permet de discuter l'efficacité économique d'un programme ou d'un projet. Evaluation scientifique concernant la Motion V-01 «Une véritable protection des patients: cessons de privilégier l’homéopathie!» Motion pour la conférence fédérale des délégués de Cette étape est optionnelle mais elle facilite souvent le déroulement du rendez-vous, en offrant à la personne interrogée la possibilité de savoir ce sur quoi elle va être interrogée, de rassembler à l'avance les éléments et/ou les documents nécessaires, voire de proposer à l'évaluateur la participation conjointe d'autres personnes à son entretien. La place des problèmes dans le diagramme doit être justifiée par des références à des documents, des entretiens, des expertises. Placer les questions les plus délicates dans le corps du questionnaire, afin d'éviter des effets de repli, de lassitude ou de perte d'attention à la fin de l'exercice. il est utilisé dans la formulation des projets. Ces éléments (et les composants budgétaires correspondants) devront être reconsidérés lorsque les Délégations auront exercé leurs compétences étendues en matière d'élaboration de stratégie (2007). Les différentes fonctions du président du panel. Les études de cas doivent être réalisées par des personnes qualifiées qui : Les coûts de réalisation d'études de cas sont par définition très variables en fonction notamment de : Un budget minimal de 15 000 € est à prévoir pour la phase de préparation des études de cas multisites. Comme les études de cas ne permettent pas, par construction, de faire d'analyses statistiques, il convient de ne pas multiplier les cas à l'extrême. Proportion d'enfants de un an immunises contre la rougeole, 5. Note maximal : 15. Quels usages peut-on faire des indicateurs de contexte? L'enquête par questionnaire reste toutefois appropriée pour des études ou des évaluations comme instrument de collecte de l'information. La mesure de cet accroissement peut s'appuyer sur l'évolution des notes obtenues par les élèves dans l'ensemble des matières ou être limité aux deux matières jugées les plus importantes. D'une manière générale les informations écrites doivent être recherchées dans quatre catégories principales de documents : C'est à l'équipe d'évaluation qu'il appartient de porter un jugement préalable sur la qualité des sources, en termes d'abondance, de pertinence, de fiabilité et d'accessibilité. Or, ils exigent un temps important de préparation. L'expérience professionnelle dans le domaine considéré est un pré-requis, l'expert devant être très qualifié dans le domaine évalué, reconnu par ses pairs et respecté. A-t-on mis en place un mécanisme de suivi et de contrôle des enquêteurs ? Ces outils sont également utilisables dans les phases d'analyse et de formulation des jugements (voir polyvalence des outils). 1990. Par exemple, lorsqu'il s'agit de comparer le nombre de personnes soignées dans un cas et le nombre de malades évités dans l'autre, en vue d'évaluer le coût-efficacité relatif de mesures curatives et préventives dans le domaine sanitaire. Tous les experts ne se manifestant pas à la suite des envois de courriers électroniques, sont relancés par téléphone si on dispose de leur numéro. ; les évaluations de projets et programmes, à caractère thématique et/ou sectoriel disponibles ; les rapports de monitoring (ROM) sur les projets et programmes en cours ; les règlements généraux de la Commission et, d'une façon générale, tous les textes réglementaires et les engagements politiques de la période couverte par l'évaluation. Disponibilité et degré de collabora-tion limités des parties prenantes. Ces entretiens conviennent particulièrement en début d'évaluation, à un niveau très global pour " défricher " le sujet. L'évaluateur devra assurer un encadrement très rapproché des enquêteurs, voir confier cet encadrement à un partenaire local. Le diagramme provisoire peut refléter le système des problèmes tel qu'il est décrit dans les documents stratégiques et de programmation, avec des déficiences logiques de construction. L'existence de bases d'informations statistiques minimales sur la composition sociale de la population suffisamment fiables, de façon à pouvoir bâtir des échantillons avec un risque d'erreurs qui reste acceptable. Quant à EuropeAid, il continue à être très actif dans la conception des projets. Il est d'ailleurs possible d'éviter le simplisme en jouant d'effets de loupe, des sous-diagrammes développant des sections du diagramme principal. Ce type de diagramme rend plus fidèlement compte de la complexité d'une situation concrète. Les ressources nécessaires pour réaliser une analyse SWOT peuvent varier considérablement selon : Si l'analyse est limitée à la consultation de quelques personnes connaissant très bien le sujet et se déroulant en un seul lieu, elle peut être très rapide. des problèmes dans un pays "concurrent" pouvant devenir des opportunités lorsqu'il s'agit de prendre un marché. Le diagramme ci-dessous propose un cas simple dans lequel trois niveau de problèmes ont été identifiés : les causes profondes, les causes intermédiaires et le problème principal. Il pourrait davantage être utilisé dans le cadre d'évaluations sectorielles et pays. Le cadre logique et l'arbre des objectifs, Utilisation du cadre logique dans l'évaluation, Submitted by kgr, on Tue, 20/01/2015 - 03:05 POUR!! Avec leur aide, une liste assez fournie sera constituée parmi laquelle les experts qui participeront aux panels seront choisis en fonction de leurs objets de recherche. En revanche, pour des interventions visant un objectif large, dont la réalisation repose sur des effets parallèles, donc sur plusieurs résultats concomitants, l'analyse se révèle inadaptée ou trop partielle. Dans ce dernier cas, l'évaluation sera conduite à reconstituer le système d'objectifs et d'effets et à construire un diagramme le représentant pour chacun des programmes. Elle ne peut exister que si la sélection des études de cas et leur conduite permettent cette généralisation. Il existe de nombreux types d'indicateurs. où l'appréciation du "pourquoi" et du "comment" est aussi, voire plus importante, que l'analyse de données elles-mêmes. évaluer les capacités de diverses actions d'un programme à remplir un objectif donné (ex : dans un programme visant à améliorer la santé des populations). Mobiliser des animateurs locaux dans le cas de l'organisation de plusieurs focus groups sur un large territoire ou en langue locale. Soulignons que d'autres critères pourraient se révéler plus pertinents selon le contexte dans lequel l'intervention est mise en œuvre. Les types de réponse en questionnaire ouvert. Disponibilité et degré de collabora-tion limités des parties prenantes enquêtées. C'est un point crucial de l'analyse mais difficile à réussir. En psychologie, cette technique s'intéresse aux motivations ou raisons du comportement d'une personne. Telle matière est jugée plus importante qu'une autre, son poids dans la moyenne sera donc supérieur. Avoir un représentant de chaque région du monde 3. Au stade de la planification, l'ambition poursuivie par l'aide est à l'heure actuelle plus couramment exprimée en objectifs. rebondir sur les témoignages pour obtenir plus d'information ; veiller à ce que tout le monde ait le temps d'exprimer son opinion ; pour chaque thème abordé, faire une synthèse et demander aux participants de réagir dessus; reformuler les questions si elles n'ont pas été bien comprises ; prendre en compte le langage corporel (hochement de tête, rires)…. Ils sont cohérents, c'est-à-dire que si deux candidats sont à égalité sur deux des trois critères, le troisième permettra de départager les candidats sans susciter de réclamation. difficulté éventuelle à exprimer des points de vue, des critiques. Le possible écart de compréhension de la signification même d'un indicateur entre différents utilisateurs et en particulier le donneur et le pays aidé. Par ailleurs, Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde. Les enquêtes par téléphone coûtent moins cher que l'enquête en face à face. Des analyses fournies par plusieurs groupes sur un sujet donné peuvent varier significativement (des forces pour certains peuvent être des faiblesses pour d'autres). La zone à étudier permet-elle de couvrir suffisamment la problématique étudiée ? L'assistant technique. Celles-ci peuvent toutefois être très techniques et requérir l'appui d'un spécialiste, en particulier pour connaître les limites de leur usage. Les informations recueillies sont d'ordre qualitatif. À première vue leur pertinence pour l'évaluation n'est pas évidente. A cette fin, elle peut s'appuyer sur des supports visuels ou auditifs, ainsi que sur des exercices, des simulations, des moments de synthèse, de récapitulation etc. Des notations de niveau 3 ne signifient pas qu'il faut éviter d'utiliser l'outil. Elles sont générales et formulées de façon à ce que la réponse soit positive, même si celle-ci n'est pas directement utile pour le sujet. En fournissant des données sur le pouvoir d'achat, le système peut procurer aux évaluateurs des données comparables entre elles, très intéressantes sur le plan économique et social. Elle répond par contre toujours à un ou des objectifs généraux (stratégiques, philosophiques), exprimés ou non dans les documents. Il faut pour cela s'assurer de disposer de suffisamment d'animateurs pour chaque sous-groupe. La première réunion du panel a un contenu proche de celui des termes de référence. Les phrases originales et les dictons populaires sont notés tels quels pour ne pas être déformés Les notes doivent être aussi complètes que possible et toutes les divergences d'opinion doivent y figurer. Il est important que l'évaluateur sache résister aux pressions l'incitant à rencontrer le plus de personnes possible. L'ensemble des services statistiques des pays développés produit depuis longtemps des indicateurs socio-économiques servant, entre autres, à mesurer l'effet des politiques. Prenons l'exemple de la chaîne exprimant l'incidence des insuffisances du réseau routier sur la pauvreté : On trouve dans le même document des citations que l'on peut traduire par : Il ne s'agit pas d'incohérences mais de raccourci de nature strictement stylistique. Une attention toute particulière doit donc être portée à ces choix, qui doivent faire l'objet : La justification même de l'étude de cas est un étude en profondeur. Il est important de prendre le temps nécessaire pour motiver les participants et leur permettre d'arriver à la réunion, en comprenant le principe de son déroulement et en ayant réfléchi au sujet. Dans le cas d'un traitement statistique du questionnaire fermé, cet outil permet une quantification des opinions recensées qui peut nourrir une analyse d'impact ou constituer des indicateurs d'évaluation ou de programme. Elle représente le premier contact entre la personne interrogée et l'évaluateur ; le choix de la personne qui prend les rendez-vous n'est donc pas neutre. Les acteurs institutionnels stratégiques. Les évaluateurs n'ont collecté aucune information écrite ou orale permettant d'expliquer les choix effectivement faits. L'utilisation de certains outils requiert la mise en œuvre préalable d'autres outils. Submitted by kgr, on Tue, 27/01/2015 - 02:36 En évaluation pays, la réalisation d'études multisites est donc une quasi nécessité. Les comptes-rendus de réunions et notes de fin de missions préparatoires peuvent fournir des justifications aux choix de priorité et de programmation. Ces indicateurs sont disponibles pour plus de 200 pays, avec leur définition exacte et les méthodologies pour les produire, sur les sites des Nations Unies ou de la Banque Mondiale. Ils sont disponibles dans les rapports nationaux et il est possible de les obtenir par pays, zone, thème, période et pour certains sur des cartes dans les statistiques par pays de la Banque Mondiale et des Nations Unies. des stratèges et des gestionnaires du programme. Ce travail devrait se faire idéalement avec les groupes lors des réunions. Elle est l'interface entre la conceptualisation de l'étude et sa mise en œuvre. les données (ex : mise en œuvre) ainsi que les moyens (ex : possibilité de visite de site) mis à disposition du panel. La structuration de l'évaluation contribue à choisir (ou préciser) les questions d'évaluation, les critères de jugement, les indicateurs de ces critères et ainsi à définir la méthode de l'évaluation. de la rémunération d'intermédiaires pour faciliter l'organisation de la réunion. Pourquoi et quand le diagramme de décision peut être utile? Pourquoi pas d'autres ? Combien de personnes rencontrer pour collecter des informations et des points de vue représentatifs ? Elle est avant tout affaire d'expérience. La manière dont il a été extrait du diagramme des objectifs doit notamment être clairement expliquée. Logique d'utilisation de l'analyse SWOT dans le domaine stratégique (Selon "Stratégique" - édition Pearson France). La personne ressource peut s'assurer de la présence de tels participants au sein du groupe. Basée sur une analyse des données disponibles mais aussi sur une série d'entretiens, elle peut avoir pour but selon les cas, de recueillir : A partir de ce recueil d'information, elle aide à une meilleure compréhension des phénomènes, nécessaire à l'analyse finale développée dans le rapport d'évaluation. d'une simple restitution au groupe des jugements de chaque membre du " groupe " si aucune négociation n'est liée à l'analyse multicritère, ce qui est peut être le cas en évaluation. (0 comments), Submitted by kgr, on Mon, 19/01/2015 - 20:58 En règle générale, il existe un cadre logique pour tous les projets. Dans ce cas, le traitement des résultats issus du focus group ressemblera davantage de celui des entretiens individuels. Les objectifs eux mêmes peuvent être qualifiés de " priorités ", " domaines d'intervention ", voire " secteurs de concentration " ou autres. Exécuter l' outil d'évaluation de systèmeWindows après réinitialisation de système. Ces analyses doivent être présentées dans les notes et rapports de la phase d'évaluation consacrée à la structuration. Par exemple, les phases préliminaires d'évaluation des offres de candidats aux appels d'offres de la Commission européenne utilisent cette catégorie de méthodes : critère d'exclusion, puis critère de sélection, etc. il est partie intégrante d'une méthode de planification, dans lequel il se déduit de l'arbre des problèmes et débouche sur le cadre logique. En fonction de la complexité de l'information recherchée, plusieurs questions peuvent être nécessaires, notamment pour rechercher une cause. Au cours d'un focus group, l'animateur a souvent recours à différents modes d'animation de groupe, afin d'éviter la monotonie, le relâchement ou parce que la dynamique de groupe évolue. Toutefois, leur usage en évaluation pays n'est pas totalement exclu, lorsqu'elles ont une portée générale. Les enquêtes par questionnaire servent de base à des instruments plus complexes, comme : La réalisation d'une enquête par questionnaire exige une préparation minutieuse et un temps de réalisation proportionnel à l'importance du questionnaire, à la taille de l'échantillon et aux difficultés de terrain. Quatrième Forum International sur la pauvreté urbaine, Marrakech, Octobre 2001, HABITAT. Ceci permet de: La généralisation des résultats de l'étude de cas est évidemment un des points souvent recherchés en évaluation. C'est la plus importante source d'information en étude de cas et celle qui doit être privilégiée. Cox et Jacobson, " The anatomy of influence : decision making in international organization", 1973. Les entretiens avec les interlocuteurs font évoluer ces hypothèses, donc la grille de questionnement… et donc le choix de nouveaux types d'interlocuteurs à rencontrer. Dans ce tableau B, les colonnes collectent les données suivantes : Si les observations des responsables consultés sont mineures, le diagramme provisoire est amendé pour faire place à leurs observations. La succession des choix se ramène alors à deux moments : Le diagramme d'ensemble en arête de poisson doit complété de diagrammes détaillés correspondant à chacun des moments de choix. adéquats : ils doivent suffisamment bien montrer les progrès accomplis. Les critères de choix peuvent être: Pour des questions de délais, l'ensemble des études de cas doit souvent être réalisé par plusieurs évaluateurs, ce qui peut se ressentir dans la conduite de l'étude et l'interprétation des résultats. les choses qui se passent bien (ex : bon niveau de formation de la population ou de certaines catégories de personnes, bon niveau d'exportation, finances publiques bien gérées, etc.). Un risque de biais d'empathie dans le cas de panels intervenant dans l'évaluation d'un domaine bien spécifique, provenant de l'appartenance des experts au groupe de spécialistes du domaine évalué.