Introduction [1]

I. État de la situation d'évaluation [3]

1.1. Niveaux d’action [4]

1.2. Modalités de la recherche [5]

1.3. Notion d’intégration [7]

1.4. Notion de modèle [8]

1.5. Opérations de recherche [10]

1.6. Utilité et vérité [11]

1.7. Matière ou champs de recherche [12]

II. Modèle systémique d'évaluation du projet d'éducation permanente [14]

Emploi du modèle [20]

Conclusion [23]

Annexes [25]

Annexe A. Matrice du changement à l'intérieur du système d'enseignement comme indicateur dans la recherche d'impact [27]

Annexe B. Description des variables intermédiaires [29]

Annexe C. Schéma d’entrevue [33]

Annexe D. Représentation du modèle anovep en système à boucle et en temps réel [37]

Bibliographie [39]

[1]

INTRODUCTION

Le présent document fait connaître le cadre de référence que s'est donné la Direction de l'éducation permanente, conformément â son plan d'action 1984-1985, pour évaluer la pénétration du projet d'éducation permanente dans le système d'enseignement.

L'approche est celle de l'analyse de système [1]. Pour permettre de supposer un modèle d'impact, i.e. l'existence d'objectifs explicites sur lesquels il y a consensus et une description détaillée de la façon de les atteindre [2], le modèle d'analyse retenu est adapté du modèle d'évaluation par objectifs de Sherwood et Levinson [3].

[2]

Les objectifs consensuels, premier élément du modèle d'impact, sont alors fournis par l'utopie directrice de l'éducation permanente telle que l'expriment deux sources : l'Énoncé gouvernemental en éducation des adultes intitulé Un projet d'éducation permanente de janvier 1984 et le document intitulé l'Éducation permanente, à paraître en janvier 1986. L'autre élément du modèle d'impact, soit la façon d'atteindre les objectifs, est aussi pris principalement d'après le Cahier du suivi de l'énoncé de politique du Secrétariat à l'éducation des adultes, version de novembre 1984.

Le mandat reçu est d'évaluer la pénétration du projet d'éducation permanente dans le système d'enseignement. Il est défini de la façon suivante dans le Plan de travail 1984-1985, à l'Opération 3 : "l'étude de certains aspects du système scolaire dans l'optique de l'éducation permanente" afin de dégager autant "les discordances que les proximités entre les divers aspects du système scolaire et le projet d'éducation permanente". Dans une formulation antérieure, le document parlait d'évaluer l'intégration des divers éléments du système d'enseignement au projet d'éducation permanente. C'est la même formulation qu'on retrouve en tête du Plan de travail 1984-1985, au titre de la fonction évaluation de la Direction de l'éducation permanente, "fonction axée sur l'insertion effective de l'ensemble du système éducatif (politiques, règlements, dispositifs, pratiques) dans les visées de l'éducation permanente".

Ces trois formules désignent en fin de compte la même chose : par des études, des analyses, des outils ou des recommandations, aider à concrétiser dans les faits, i.e. dans la réalité du système d'enseigne ment, le projet de l'éducation permanente.

[3]

Notre document expose donc, en premier lieu, l'état de la situation d'évaluation où opère le modèle ; une seconde partie le présente, doté de son mode d'emploi, et la conclusion fait le point sur son application.

I - ÉTAT DE LA SITUATION
D'ÉVALUATION

La situation d'évaluation où prend place le modèle comporte plusieurs aspects : 1) des niveaux d'action ; 2) des modalités de recherche ; 3) une définition de ce que l'on entend par l'intégration du système d'enseignement au projet d'éducation permanente ; 4) la précision de la nature du modèle d'évaluation ; 5) un choix des opérations à mener ; 6) l'épreuve de ces opérations ; 7) l'exposé de la matière sur laquelle elles portent.

Nous dirons brièvement un mot de chacun de ces aspects en gardant en tête deux postulats. Le premier est que notre action doit viser à faire participer à l'évaluation de l'implantation de la politique d'éducation permanente les divers responsables chargés de la réaliser. Le second est que notre action se doit de respecter la dialectique qui existe en évaluation de programmes entre deux niveaux de réalité ou de procédures : l'historique au sens large, l'existentiel (tel que l'illustrent les études de processus (process studies), par exemple études de cas, monographies, observation participante, etc.) et l'administratif, le formel, voire l'économétrique (évaluation d'impact par indicateurs, par exemple, par prédicteurs, etc.) [4].

En respectant cette distinction, nous déterminons le contexte de notre action.

[4]

1.1 Niveaux d'action

La recherche évaluative peut porter sur quatre niveaux d'action [5] :

1. l'intervention sociale, sous la forme ici de projets d'expérimentation, comme en insertion sociale des jeunes (CLSC de la Jacques-Cartier) ou en Accueil-référence (Matapédia, Chibougamau) ;

2. le programme, où un certain nombre d'actions sont intégrées à la poursuite d'un but général (programme de formation en industrie, de financement des organismes volontaires d'éducation populaire, etc.) ;

3. la politique, où une intention est opérationnalisée en plusieurs programmes (e.g. l'amélioration de la condition féminine) ;

4. la fraction d'intervention, où un objectif seulement d'une intervention est retenu, comme dans l'ouverture des réseaux à l'alphabétisation des communautés ethniques, par exemple.

Il est clair ici que ces quatre niveaux, définis par le Conseil québécois de la recherche sociale, s'appliquent également à notre action.

[5]

1.2 Modalités de la recherche

La recherche évaluative est formative lorsqu'elle réintroduit dans l'action, à des fins de recherche ou de gestion, l'information qu'elle produit [6]. Gauthier distingue quatre sortes de recherches formatives [7], proposition que l'on peut étoffer ainsi :

1. la recherche organisationnelle s'attache aux actions posées, aux activités encourues, essentiellement les actions et activités de contrôle, de planification, de formation des consensus [8]. Exemple : l'étude des mécanismes d'information sur la Loi 3 mis en place dans le système scolaire ;

2. la recherche d'impact mesure ou vérifie la réussite des opérations par rapport aux objectifs. Elle correspond à la première étape d'un processus de contrôle de suivi (monitoring), le concept impliquant tant la mesure de l'impact ou des résultats, intentionnels et non intentionnels, que celle du respect des modalités d'action prévues [9].

[6]

Par exemple, une recherche d'impact répond ici aux questions : les activités du système d'enseignement rejoignent-elles les clientèles et se déroulent-elles en conformité avec le projet d'éducation permanente ? À ces deux questions correspondent les deux types de destinataires de notre action : les gestionnaires (quelles méthodes, techniques, ressources employer ?) et les décideurs (le projet doit-il continuer et comment ?) ;

3. la recherche de productivité : il s'agit de recherches coût-efficacité, i.e. d'une variante de l'analyse coût-bénéfice [10] où celle-ci sert à chiffrer les résultats psychologiques, physiques ou culturels de stratégies concurrentes de développement ; par exemple, le coût de diverses procédures de formation ou de relocalisation comparé sur un échantillon de mille bénéficiaires d'un programme de formation qualifiante [11].

La recherche de productivité est une application "qualitative" de l'analyse coût-bénéfice, i.e. d'une recherche sur l'efficacité de l'allocation des ressources du point de vue de la société [12] ;

[7]

4. la recherche totalisante : elle informe sur l'objet des précédentes, soit sur le suivi (monitoring), les résultats (impact), la rentabilité (coût-bénéfices) et les solutions de rechange (organisationnelle), en vue de permettre de se prononcer sur la raison d'être d'un programme.

La recherche totalisante est celle qui, à notre sens, récapitule le mieux les aspects fondamentaux de l'évaluation de programmes [13].

1.3. Notion d'intégration

L'intégration du système d'enseignement au projet d'éducation permanente peut s'entendre en plusieurs sens, tous à retenir ici :

1. incorporation, au sens sociologique de l'intégration des noirs aux États-Unis. Ainsi les rapports entre le système de l'enseignement régulier et celui des adultes ;

2. coordination des activités de plusieurs organes nécessaires à un fonctionnement harmonieux (e.g. le rôle des commissions de formation professionnelle). C'est le sens organisationnel, transposé ici de la physiologie par le courant de pensée organiciste ;

[8]

3. assimilation de nouveaux éléments cognitifs par un système de croyances (e.g. à travers la formation des formateurs d'adultes se dégagent des façons de faire qui déplacent des croyances acquises sur le rôle de l'enseignant). C'est le sens psychologique d'intégration mentale [14] ;

4. établissement d'une interdépendance plus étroite entre les parties d'un être vivant ou d'une société. C'est le sens philosophique et celui de l'utopie du projet d'éducation permanente.

Les trois sens précédents sont cependant à retenir, comme autant d'entrées pratiques dans ce dernier.

1.4. Notion de modèle

Une définition minimale [15] groupe sous le terme de modèle l'ensemble des éléments pertinents à expliquer le comportement d'un phénomène. On doit ajouter que ce qui différencie le modèle ainsi défini de la notion voisine de problématique est son caractère d'abstraction. Le modèle suppose un choix des variables appropriées et une théorie qui fasse la liaison entre elles [16].

[9]

Un modèle peut être descriptif, i.e. tributaire de données dont on connaît la construction et, pour autant, contrôlables, tel le choix des paramètres ; ou il est normatif et prédictif, tels la théorie des jeux ou le modèle de l'homo oeconomicus [17].

Nous choisissons ici, pour des raisons évidentes, le modèle descriptif, personne n'ayant encore à ce jour réussi à systématiser en pratique le contenu du projet d'éducation permanente. Comme l'observe au reste un auteur : "Il ne serait pas équitable de prétendre juger les modèles normatifs en voyant dans quelle mesure les gens se conforment ou non à ceux-ci, puisque leur objet n'est pas de décrire le comportement réel. Il vaut mieux se demander s'ils ne constituent pas une description d'autre chose" [18].

Le modèle ainsi défini a plusieurs sources de données :

1. l'observation, participante ou non ;

2. les dossiers administratifs, faits de documents écrits ;

3. l'information de gestion, composée de statistiques obtenues sur des données quantitatives (ressources, clientèles, données socio-économiques, etc.) ou qualitatives (opinions, attitudes, croyances, valeurs, idéologies) ;

[10]

4. l'information organisée venant des usagers [19].

L'utilisation en combinaison de ces sources dépend des opérations de recherche.

1.5. Opérations de recherche

On ne peut se contenter ici de l'analyse ponctuelle (one-shot evaluation), qui est peu significative en dehors de la situation qui la conditionne : décision difficile à prendre, opportunité d'un contrat de service, crise dans la gestion du projet, etc. D'autre part, les besoins d'évaluer la pénétration du projet ne sont pas, par hypothèse, qu'à long terme.

Nous proposons donc de concilier les deux approches, analyse continue et analyse ponctuelle, en tenant compte de l'interaction entre les éléments d'un système. Le schéma est dérivé du modèle ESC de recherche d'impact [20]. Selon cette adaptation, l'interaction entre les acteurs à chaque phase du projet obéit à des stratégies dont les résultats forment des indicateurs de changement à l'intérieur du système. Par exemple, l'introduction de changements dans un système n'est pas nécessairement ostensible, vu que les acteurs interprètent événements et actions en fonction de leur situation et de leurs intérêts. On a donc profit, pour repérer le sens du changement, [11] à mettre en rapport stratégies et résultats. Ainsi adapté, le schéma a servi de point de départ, par exemple, pour confier à un contractuel (P. Galipeau) l'étude d'analyse stratégique dont il est parlé plus loin.

En se représentant donc par une matrice l'organisation des opérations de recherche et leurs résultats, on obtient horizontalement l'équivalent de l'analyse ponctuelle au chapitre des tranches de vie du projet et, verticalement, l’analyse continue au chapitre des stratégies de planification, d'implantation, d'opération et de rétroaction.

C'est la matrice que décrit l'Annexe A.

1.6. Utilité et vérité

On doit s'attendre à ce que les opérations de recherche évaluative se soumettent aux épreuves d'utilité et de vérité de Weiss et Bucuvalas. Ces derniers ont étudié comment cent cinquante-cinq preneurs de décisions ont réagi à cinquante rapports de recherche, et tiré de cette étude le cadre de référence d'une recherche évaluative efficace [21].

L'épreuve de vérité consiste à répondre à deux questions complémentaires : 1) la recherche est-elle de qualité scientifique ; 2) est-elle conforme à l'expérience, aux connaissances et aux valeurs de l'utilisateur ? Ces deux questions sont en relation inverse : la qualité scientifique de la recherche est plus importante si les résultats vont à 1'encontre des habitudes reçues ou des attentes [22].

[12]

L'épreuve d'utilité, pour sa part, est différente de la notion de pertinence ou de l'adaptation du contenu de la recherche à la sphère de responsabilité du ou des destinataires. Pour passer l'épreuve d'utilité, une opération de recherche doit répondre à l'une ou l'autre des questions suivantes : 1) indique-t-on dans la recherche des moyens de changer ce qui peut l'être à l'intérieur de la situation étudiée ? 2) la recherche offre-t-elle de nouvelles orientations par rapport au statu quo ?

Ces deux questions sont mutuellement exclusives : la recherche questionne l'état des choses, par exemple la philosophie, les programmes, les pratiques de l'implantation du projet, ou s'en contente. En ce dernier cas, l'orientation de la recherche vers l'action est plus importante [23]. D'autre part, des résultats qui défient le statu quo ne sont pas utilisés une fois sur quatre [24].

Un des sous-produits de cette double épreuve, peut-on noter, est de permettre l'évaluation à mesure des données recueillies et des techniques employées.

1.7. Matière ou champs de recherche

Un premier champ des opérations de recherche évaluative porte ici sur les pratiques institutionnelles, ensemble d'activités et de procédés, un autre sur les idéologies ou l'ensemble des justifications fondant ces pratiques, et un troisième sur les normes ou modèles d'action les appuyant.

[13]

En chacun des cas ou champs, nous nous bornons à indiquer ici la liste des variables retenues ; on en trouve une définition descriptive à 1'Annexe B :

1. la définition des formations dispensées ;

2. l'organisation de la formation ;

3. les pratiques pédagogiques proprement dites ;

4. les pratiques d'évaluation de la formation ;

5. le système de reconnaissance des acquis ;

6. l'accessibilité des ressources ;

7. la formation des formateurs ;

8. la production de micro-sociétés de participation ;

9. la détermination d'appartenances locales et régionales.

Ces variables sont appelées ici variables intermédiaires, parce que c'est sur elles qu'on prétend s'appuyer pour mesurer l'atteinte des objectifs du projet, objectifs qui deviennent les variables dépendantes.

Ces variables intermédiaires composent la structure organisationnelle du projet. Par là, nous entendons le cadre (design) nécessaire pour intégrer les ressources existantes du projet à la demande courante ; une stratégie est alors un plan d'allocation des ressources à la demande anticipée [25].

Pour chacune de ces variables intermédiaires est donc choisi un ou plusieurs terrains de cueillette de données, tirés soit des situations organisationnelles existantes ou à créer, soit de leurs produits : programmes, politiques, directives, outils, personnels, etc.

[14]

L'investigation des faits se rapportant à chacune des variables intermédiaires se fait alors à l'intérieur de l'un ou l'autre des champs préalablement identifiés : pratiques institutionnelles, idéologies et normes, selon le modèle que nous présentons maintenant.

II - MODÈLE SYSTÉMIQUE
D'ÉVALUATION DU PROJET D'ÉDUCATION PERMANENTE

Le modèle obéit à la logique de la boîte noire : un effet à l'entrée produit un effet à la sortie sans que l'on sache selon quelle combinaison de facteurs à l'intérieur de la boîte.

Mais le fait qu'on ignore la combinaison des facteurs en jeu permet de poser soit des hypothèses causales sur le fonctionnement du système, i.e. des hypothèses expliquant, par une relation de cause à effet, des événements qui s'y produisent ; soit des hypothèses d'intervention sur la relation causale en direction d'un effet ou d'un événement désiré ; soit des hypothèses d'action enfin : il faut être prêt à corriger l'intervention sur la réalité, puisque la science représente la nature mais ne la reproduit pas [26].

[15]

À titre d'illustration, une hypothèse causale pourrait être, par exemple, que la qualification professionnelle agit sur la mobilité : une formation qualifiante rend la personne polyvalente. L'hypothèse d'intervention qui pourrait être faite là-dessus est qu'on y gagne à neutraliser l'effet de l'origine socio-économique des personnes admises à un tel programme. L'hypothèse d'action pourrait donc être aussi celle-là ou une autre, par exemple que la localisation géographique de la personne empêche d'atteindre le résultat attribuable au jeu des facteurs, etc.

En pratique, hypothèse causale et hypothèse d'intervention seront, comme on le voit, tirées d'études empiriques ou de la théorie sociale (sociologie, économique, pédagogie, etc.) ; les hypothèses d'action, comme on le constate aussi, proviendront plutôt du déroulement des événements à l'intérieur du système ou de leur déroulement par rapport à son environnement, comme dans l'exemple de l'hypothèse sur le lieu de résidence.

Mais, les unes comme les autres, hypothèses causales, hypothèses d'intervention et hypothèses d'action ne sont toujours possibles et utiles que si existent des objectifs explicites sur lesquels il y a consensus et des façons de les atteindre, i.e. un modèle d'impact. [27] Représenté dans un premier stade à partir de la logique de la boîte noire, le projet d'éducation permanente prend ainsi la forme du sous-système figuré au Tableau 1, page suivante.

[16]

[17]

Sur ce tableau, la colonne de droite définit les résultats attendus du fonctionnement d'un système. À des fins d'évaluation, ces résultats sont les variables dépendantes ou ce qui est désiré suite à l'action entreprise (OUTCOME). Les deux choses désirées sont ici une meilleure coordination des services et la libération du potentiel créateur des individus et des groupes.

Les caractéristiques organisationnelles forment la colonne médiane. Ce sont ces caractéristiques qui doivent être changées si on veut obtenir les résultats visés, ou c'est sur elles que l'on doit opérer si on veut les résultats. Ce sont donc les variables intermédiaires par où l'on agit sur les précédentes. Elles désignent ce qui est fait dans le projet (OUTPUT).

La colonne de gauche décrit finalement les ressources investies dans le système ou les variables du projet (INPUT) [28].

On obtient donc de cette façon une première description du système de l'éducation permanente. Celle-ci est cependant incomplète à des fins d'évaluation, puisqu'on ne tient pas compte de l'environnement où agit le système que l'on vient de décrire.

Au deuxième stade de la description, celui-ci devient donc à son tour un sous-système dans un ensemble plus vaste, lequel est constitué lorsque l'on fait intervenir l'environnement à l'entrée et à la sortie du système. C'est le Tableau 2, page suivante. On y voit du coup en quoi et comment l'évaluation d'impact est possible.

[18]

[19]

C'est à ce tableau que nous nous référons pour parler de modèle systémique d'évaluation du projet d'éducation permanente. Sa nouveauté par rapport au précédent tient à la colonne de gauche, où doivent être décrites et connues demandes, offres et contraintes identifiées aux intrants (INCOME), et à la colonne de droite.

Celle-ci comporte, au sens strict, les opérations de mesure d'impact. Ces mesures se prennent depuis des clientèles terminales ou intermédiaires du projet. Elles répondent aux questions : les services sont-ils mieux exprimés, présents et coordonnés ? la créativité sociale et personnelle a-t-elle augmenté et comment se manifeste-t-elle : de nouvelles formes sont-elles apparues, d'anciennes se sont-elles développées, qu'en est-il des monopoles gouvernemental, social ou culturel sur les activités des personnes et des groupes ?

On notera donc la teneur idéologique des questions, indiquant le fait que ce que l'on doit évaluer est bien un projet social : la pénétration dans la société d'une idéologie.

On le fera à partir d'indicateurs, précis et mesurables, de deux sortes, qualitatifs et quantitatifs, permettant de calculer des ratios. Un exemple d'indicateur qualitatif serait d'employer le modèle ANOVEP pour analyser la sensibilité du système aux changements dans la culture vécue [29]. L'illustration d'un indicateur quantitatif serait d'obtenir le rapport entre le taux de divorce et la demande de formation générale, par [20] exemple, ou une estimation de ce qui compose les cycles de vie selon les probabilités de transition à l'intérieur du système d'éducation : ainsi, un changement dans la proportion vie aux études/vie active renseignerait sur un état d'accomplissement du projet [30].

Les indicateurs, qualitatifs et quantitatifs, sont donc le moyen de calculer des ratios, dont ceux-ci :

Le premier de ces ratios est le plus important ici, car il répond directement à la question d'évaluer la pénétration du projet. Les deux autres sont des ratios, non négligeables, d'efficacité.

Emploi du modèle

L'évaluation est une action, elle ne consiste pas à produire ou à faire produire un ou plusieurs rapports de recherche. Ceux-ci ont pour fonction d'aider à réaliser cette action. Ils se distribuent donc à toutes les phases du processus de décision, ce qu'indique le calendrier type de l'implantation d'un modèle d'analyse systémique comme celui qu'on vient de présenter.

[21]

Sept opérations composent ce calendrier, toutes nécessaires également pour concrétiser le modèle :

1. décrire et connaître les intrants à l'environnement, les ressources, la structure organisationnelle ;

2. choisir les variables intermédiaires stratégiques, construire et valider les indicateurs ;

3. documenter et choisir les hypothèses à privilégier ;

4. mesurer l'impact sur les variables dépendantes ;

5. vérifier les hypothèses, identifier les plans d'action en découlant et les ordonner ;

6. choisir un plan d'action ;

7. réintroduire les actions choisies dans le système.

Le Tableau 3, page suivante, schématise le détail de ces opérations. On y remarque que la boucle de rétroaction retourne à la description du système pour tenir compte d'un changement dans les objectifs [31].

[22]

1. a) Décrire et connaître les intrants S l'environnement : quantité, qualité, coûts

a) Décrire et connaître les ressources : quantité, qualité, coûts

b) Décrire et connaître la structure organisationnelle

2. a) Choisir les variables intermédiaires stratégiques

b) Construire les indicateurs

c) Valider les indicateurs

3. Documenter et choisir les hypothèses à privilégier

4. Mesurer l'impact sur les variables dépendantes (à l'aide de 3).

a) Vérifier les hypothèses (à l'aide de 4)

b) Identifier des plans d'action

c) Ordonner des plans d'action

6. Choisir un plan d'action

7. Introduire les actions choisies dans le système.

[23]

CONCLUSION

Le calendrier, Tableau 3, ne porte pas d'échéances. Idéalement, on voudrait lui voir couvrir un cycle administratif de douze mois et que son arrimage coïncide chaque année avec la revue de programmes.

Nous avons essayé, du moins, de procéder ainsi cette année dans le cadre du mandat de l'Opération 3 du plan de travail 1984-1985.

Deux types d'études (et trois textes) complètent et étayent, en effet, le présent document.

Un premier type est de nature exploratoire. Il commence à décrire le système de l'éducation permanente sous l'angle des neuf variables intermédiaires du Tableau 1. Le point de vue de départ est celui de l'analyse stratégique mentionné en page 10 ci-dessus et indiqué à l'Annexe A du présent document. L'étude initiale a été confiée (janvier 1985), sous notre responsabilité, au sociologue Pierre Galipeau. Parallèlement était dérivé du même point de vue le schéma d'entrevue utilisé en complément à des fiches d'évaluation de l'Opération 2 (suivi critique) du plan de travail. Ce schéma d'entrevue est présenté à l'Annexe C du présent document et le matériel recueilli par ce truchement analysé dans une recherche exploratoire à paraître en décembre 1985 : L'implantation du projet d'éducation permanente. L'étude de P. Galipeau, intitulée L'impact des enjeux idéologiques, institutionnels et sociaux sur l'implantation de la politique d'éducation permanente au secondaire, fera l'objet d'une publication séparée.

[24]

D'autre part, en collaboration avec le Service des systèmes administratifs de la Direction générale des ressources informationnelles, nous avons pu construire, sur les données codées cette année, le programme d'exploitation du modèle ANOVEP d'emploi de l'analyse de contenu en évaluation de programmes [32]. Une représentation de ce modèle en système à boucle et en temps réel est incluse au présent texte à l'Annexe D. Destiné d'abord à évaluer un programme de financement d'organismes volontaires d'éducation populaire (OVEP), mais s'employant en tous cas de données qualitatives, l'acronyme ANOVEP peut conserver la marque de cette origine ; sa signification technique cependant est prise depuis la procédure ANOVA d'analyse de variance (ANalysis Of VAriance) et désigne (ANalysis Of Variability in Evaluating Proportions) ce qui fait la spécificité du modèle.

En direction des deux pôles de la dialectique dont nous parlions précédemment (page 3) entre l'historique et le formel en évaluation de programmes, soit en direction de l'étude de processus, d'une part, et en direction de la construction d'indicateurs, d'autre part, le modèle d'évaluation systémique du projet d'éducation permanente a donc commencé dès cette année de prendre pied et forme dans la réalité.

Le présent document, à la fois cadre de référence, modèle théorique et cadre de travail, se veut une façon d'élargir ces assises et de susciter des collaborations.

[25]

ANNEXES

[26]

[27]

Annexe A

Matrice du changement à l'intérieur du système d'enseignement
comme indicateur dans la recherche d'impact *

^Prj : résultats de la stratégie j S la phase r du point de vue (P) de la planification.

^Irj : résultats de la stratégie j à la phase r du point de vue (I) de l'implantation.

^Orj : résultats de la stratégie j à la phase r du point de vue (0) des opérations.

^Rrj : résultats de la stratégie j à la phase r du point de vue (R) de la rétroaction.

L'interaction entre des acteurs obéit à des stratégies dont les résultats forment des indicateurs de changement selon les phases du projet.

[28]

[29]

Annexe B

DESCRIPTION DES VARIABLES INTERMÉDIAIRES *

1. Définition des formations

Le projet de l'éducation permanente requiert une redéfinition des formations initiales, dans les programmes de formation : la formation première ne peut plus être conçue comme définitive et totale. De même, les programmes doivent être élaborés de telle façon qu'ils permettent la diversité des cheminements et des rythmes, d'une part, la reconnaissance des acquis expérientiel s, d'autre part. Enfin, les programmes doivent être divisés en séquences de formation qui permettent des formations sur mesure et des reconnaissances plus fines des acquis et offrent de meilleures chances à la formation continue.

2. Organisation de la formation

Le projet de l'éducation permanente commande une organisation de la formation souple, permettant la multiplicité des cheminements, la récurrence entre les études, les loisirs et le travail, les entrées et les sorties variables, des issues et des raccordements accessibles, des filières de formation et même des ordres d'enseignement décloisonnés, la formation à distance et les pratiques de la formation sur mesure.

[30]

3. Pratiques pédagogiques

Le projet de l'éducation permanente exige des pratiques pédagogiques individualisées, liées aux situations de vie et responsabilisantes. Ces pédagogies organiques favorisent donc l'accès aux formations sur mesure et une réponse adaptée à un ensemble de besoins de formation qui ne sont pas cloisonnés les uns par rapport aux autres.

4. Pratiques d'évaluation

Le projet de l'éducation permanente requiert des pratiques d'évaluation formative, centrées sur l'aide à une personne responsable de ses apprentissages et de son développement. L'évaluation formative se rattache à la pédagogie organique : toutes deux sont centrées sur une personne qui possède en elle le désir et la capacité d'apprendre et de se développer.

5. Système de reconnaissance

Le projet de l'éducation permanente requiert un système de reconnaissance ouvert aux acquis expérientiel s. C'est donc dire qu'il oblige de distinguer les modalités et les cheminements d'apprentissage des apprentissages eux-mêmes. Le système de reconnaissance doit aussi favoriser la continuité de la formation, en décloisonnant les filières de formation et les ordres d'enseignement. En se raffinant, comme dans un système d'unités capitalisables, il doit empêcher que des personnes soient forcées de réapprendre ce qu'elles savent déjà.

[31]

6. Accessibilité.

Le projet de l'éducation permanente est aussi un projet de société et d'abord un projet de société éducative. Il exige de mobiliser l'ensemble des ressources éducatives au service du développement des personnes de tous âges et de toutes conditions. Il commande, dans une optique de démocratisation culturelle, d'ouvrir, par des mesures appropriées, l'accessibilité des ressources éducatives à tous ; et, dans une optique de démocratisation sociale, il exige d'adopter un train de mesures pour réduire les inégalités des chances d'accès et de réussite, particulièrement pour les plus démunis aux plans éducatif et culturel.

7. Formation des formateurs

Le projet de l'éducation permanente contribue à la mise en place d'une société d'éducation mutuelle. Dans ce contexte, le savoir et le savoir-faire ne doivent plus être le privilège d'une chapelle d'experts initiés ni la chasse-gardée de médias envahissants ; il faut aider chaque personne à se libérer de la tutelle des spécialistes et de l'autorité des experts et à retrouver son autonomie, sa responsabilité, sa créativité. Le projet de l'éducation permanente multiplie "les formateurs occasionnels", reconnaît la capacité de chaque personne d'être, à un moment donné, une ressource éducative.

8. Production de micro-sociétés

Le projet de l'éducation permanente est aussi le projet d'une société de participation. Il s'oppose à la mentalité de dépendance à [32] l'égard des biens standardisés et des services professionnels ; il conteste l'attitude de passivité et l'individualisme à outrance. Il affirme plutôt que les personnes et les groupes ont en eux des aptitudes pour répondre à leurs besoins, sont capables de fabriquer des choses et d'effectuer des tâches essentielles à la satisfaction de leurs besoins. Il affirme l'entraide, la coresponsabilité, la participation et la solidarité.

9. Détermination d'appartenances locales et régionales

Le projet de l'éducation permanente favorise les appartenances locales et régionales, parce qu'elles créent les conditions de prise en charge, de responsabilité et de solidarité. La volonté de se prendre en main, ensemble, impose des formes de décentralisation du pouvoir et exige le retour à des communautés organiques.

[33]

Annexe C

SCHÉMA D'ENTREVUE

L'entrevue a pour but de saisir l'idéologie de l'informateur (les modèles d'action qu'il valorise pour implanter la politique) et sa perception des acteurs concernés par l'implantation, l'identification qu'il en fait et de leurs enjeux.

On suppose â cette fin six groupes d'acteurs principaux :

1. les acteurs de l'appareil administratif (service du personnel, des finances, juridique, etc.) ;

2. les acteurs de l'appareil gérant les programmes (d'intervention ou de réalisation) ;

3. les groupes d'intervenants (professionnels non enseignants, enseignants, etc.) ;

4. les intervenants communautaires ;

5. les clientèles visées ;

6. la clientèle potentielle qu'on ne rejoint pas

L'entrevue doit couvrir les trois points ci-dessous avec chaque informateur.

1^er point : le degré d'information sur la problématique de l'éducation permanente.

- Établir ce degré (à partir du document : Enoncé de politique).

- Dans quelle mesure ce degré est-il limité au champ de pouvoir du groupe auquel l'informateur appartient ou se raccroche-t-il à d'autres groupes ?

[34]

- Y a-t-il ici une politique d'information établie sur la problématique de l'éducation permanente : comment ? en quoi ? qui ?

- Quel degré de compréhension la politique rejoint-elle chez lui (e.g. « Telle chose de la politique, j'sais pas ce qu'ils veulent dire avec ça ») ?

- Quels sont les besoins ici en information de base et les sources qui devraient les donner ?

- Perçoit-on une stratégie d'information accompagnant la politique et y aurait-il des améliorations â apporter là-dessus ?

2^e point : perception de l'état actuel de l'implantation de la politique.

- Décrire ce qui se faisait dans le domaine avant l'arrivée de la nouvelle politique.

- Y a-t-il ici une stratégie d'implantation mise sur pied ou non ?

- En quels secteurs, selon quel rythme se fait l'implantation ? Y a-t-il des secteurs où les énoncés, mesures, etc. sont inapplicables ? Pour quelles raisons (contraintes selon les niveaux de pouvoir et les groupes d'acteurs) ?

- Y a-t-il des personnes responsables de l'implantation ou cette responsabilité est-elle diffuse ?

- Quels sont les champs de résistance ?

- Y a-t-il a priori des modèles d'action et des valeurs prônées par la politique qui sont inapplicables ?

- Quels sont les groupes d'acteurs les plus proches des valeurs de la politique d'éducation des adultes et qui ont cherché 5 la faire démarrer ? Et l'inverse ?

[35]

- Y a-t-il des champs où l'informateur intervient dans sa pratique et qui ne sont pas couverts par l'énoncé de politique mais qui supposent des stratégies en concordance avec la politique (e.g. réintégration des décrocheurs) ?

3^e point : comment l'informateur perçoit-il les principales dimensions de la politique.

Que sont l'essence, les avantages et les difficultés des aspects suivants :

1. Redéfinition des formations initiales (dans les programmes de formation).

2. Reconnaissance des acquis expérientiels.

3. Formation sur mesure.

4. Remise en question de la structure des programmes pour éliminer les contraintes académiques.

5. Pratiques pédagogiques individualisées et conduites responsabilisantes.

6. Évaluation des critères de classification des acquis expérientiels.

7. Démocratisation : comment se retrouver avec des ressources éducatives qui n'appartiennent pas aux définitions officielles.

8. Participation : comment évaluer les activités des groupes communautaires.

9. Appartenance régionale : comment identifie-t-il les groupes régionaux appelés à" participer â des tables et leur stratégie.

R. Fournier et P. Galipeau
6 mars 1985

[36]

[37]

Annexe D

REPRÉSENTATION DU MODÈLE ANOVEP
EN SYSTÈME À BOUCLE ET EN TEMPS RÉEL

Source : R. Fournier, DEP, 1985.

[38]

[39]

BIBLIOGRAPHIE

BICE, T.W., EICHHORN, R.L. et KLEIN, D.A., "Evaluation of Public Health Programs", in GUTTENTAG, M. et STRUENING, E.L., Handbook of Evaluation Research, Sage Publications, 1975, p. 605-620.

BRITAN, G.M., "Expérimental and contextual models of program évaluation", Evaluation and Program Planning, vol. 1, no 3, 1978, 225-234.

CANEVET, Guy, Le calcul scientifique, PUF, 1969, coll. "Que sais-je" ?

COOK, T.D. et REICHART, C.S., Qualitative and Quantitative Methods in Evaluation Research, Sage, 1979.

CROZIER, M. et FRIEDBERG, E., L'acteur et le système, Seuil, 1977.

DESAULNIERS, P.-L. et OEZIMER, K., Analyse et évaluation de programmes publics, ENAP, 1982 et 1983.

FOURNIER, R., et al., Administration locale et politique de l'habitation, Conseil canadien de l'habitation, 1980.

FOURNIER, R., L'éducation populaire à travers la vie associative : I, L'outil d'analyse, MEQ, 1983.

____, L'État interventionniste : l'évaluation qualitative, Université du Québec, Communications, Études, no 19, 1984.

FOX, K.A., Social Indicators and Social Theory, J. Wiley and Sons, 1974.

FREEMAN, H.E. et SHERWOOD, C.C., "Research in Large-Scale Intervention Programs", Journal of Social Issues, 1965, 21, 1, p. 11-27.

[40]

GAUTHIER, B., Métaévaluation en affaires sociales : analyse de cent cas de recherches évaluatives, Secrétariat à la coordination de la recherche et Conseil québécois de la recherche sociale, 1982.

L'utilisation de la mesure de la satisfaction de la clientèle en évaluation de programmes, Société canadienne d'hypothèques et de logement, 1985.

GRANT, J. et GRANT, J.D., "Evaluation of New Career Programs" in GUTTENTAG, M. et STRUENING, E.L., Handbook of Evaluation Research, Sage Publications, 1975, p. 621-657.

GOUVERNEMENT DU CANADA, Principes pour 1'évaluation des programmes par les ministères et organismes fédéraux, Ministre des approvisionnements et services, 1981.

GUTTENTAG, M., "Subjectivity and its Use in Evaluation Research", Evaluation, 1:2/1973, p. 60-65.

HETMAN, F., Le langage de la prévision, S.É.D.É.I.S., 1969.

JONES, C.O., An Introduction to the Study of Public Policy, Brooks/Cole Publishing Company, 1984.

LEVIN, H.M., "Cost-Effectiveness Analysis in Evaluation Research" in : GUTTENTAG, M. et STRUENING, E.L., Handbook of Evaluation Research, Sage Publications, 1975, p. 89-125.

LEVINSON, P., "Evaluation of Social Welfare Programs", Welfare in Review, vol. 4, no 10, 1966, p. 5-12.

MILLER, J.G., "Living Systems", Behavioral Science, 1965, 10, 193-237, 357-359.

PATTON, M.Q., Qualitative Evaluation Methods, Sage Publications, 1980.

[41]

PEDHAZUR, E.J., Multiple Regression in Behavioral Research. Explanation and Prediction, Holt, Rinehart et Winston, 1982.

PYUN, J.B., "L'évaluation des programmes publics d'habitation au sein des administrations locales" in FOURNIER, R. et al., Administration locale et politique de l'habitation, Conseil canadien de 1"habitation, 1980.

RIBICH, T.I. et MURPHY, J.L., "The Economic Returns to Increased Educational Spending" in : GLASS, G.U., éd., Evaluation Studies Review Annual, vol. 1, Sage Publications, 1976.

RIVERIN, A., et al., Le management des affaires publiques, Gaétan Morin, 1984.

ROSSI, P.H. et FREEMAN, H.E., Evaluation. A Systematic Approach, Sage Publications, 1982.

ROSENBERG, J., "Cost-Benefit Analysis : A Methodological Exposition" in : GUTTENTAG, M. et STRUENING, E.L., Handbook of Evaluation Research, Sage Publications, 1975, p. 55-88.

ROKEACH, M., The Open and Closed Mind, Basic Books, 1960.

SCHULBERG, H.C. et BAKER, F., "Program Evaluation Models and the Implementation of Research Findings", American Journal of Public Health, vol. 58, no 7, July 1968.

SCHUMPETER, J., Capitalisme, socialisme et démocratie, Payot, 1961. URL.

SCRIVEN, M., "The Methodology of Evaluation", in TYLER, GAGNÉ et SCRIVEN, Perspectives of Curriculum Evaluation, 1967.

STONE, R., "Transition and Admission Models in Social Indicator in LAND, K.C. et SPILERMAN, S., Social Indicator Models, Russel Sage Foundation, 1975.

[42]

SZANIASWKI, K., "Analyse formelle et concepts évaluatifs", Revue internationale de sciences sociales, 27, no 3, 1975.

VON BERTALANFFY, L., Théorie générale des systèmes, Dunod, 1973.

VON SCHOENBERG, B., Les points de vue des clients et des citoyens : leur place dans l’évaluation de programmes, MAS, Québec, 1985.

WEBB, E.J., CAMPBELL, D.T., SCHWARTZ, R.D., SECHREST, L. et GROVE, J.B., Nonreactive Measures in the Social Sciences, Houghton Mifflin,

WEISS, C.H. et BUCUVALAS, M.J., "Truth Tests and Utility Tests", American Sociological Review, 45, April 1980, 2, p. 302-313.