Evaluation du programme NORIA -...

56
30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – [email protected] www.planetepublique.fr Evaluation du programme NORIA Rapport final Janvier 2018

Transcript of Evaluation du programme NORIA -...

Page 1: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – [email protected]

www.planetepublique.fr

Evaluation du programme NORIA

Rapport final

Janvier 2018

Page 2: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – [email protected]

www.planetepublique.fr

Auteurs du rapport

- François Mouterde, directeur associé

- Léon-Paul Schwab, consultant confirmé

- Justine Eude, consultante confirmée

Avertissement

Le présent rapport relève de la seule responsabilité des consultants de Planète Publique et ne

saurait engager ni l’Assemblée Parlementaire de la Francophonie, ni l’Organisation

Internationale de la Francophonie.

Page 3: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

3

Evaluation du programme NORIA – Rapport final

Sommaire

ELEMENTS DE CADRAGE ........................................................................................................................... 7

1 PRESENTATION DU DISPOSITIF .................................................................................................. 8

1.1 CONTEXTE GENERAL .............................................................................................................................. 8

1.1 ANALYSE DE LA LOGIQUE D’ACTION ..................................................................................................... 9

1.2 SOCIOGRAMME D’ACTEURS .................................................................................................................. 10

1.3 DESCRIPTIF DES MODALITES DE DEPLOIEMENT .................................................................................... 11

1.4 ELEMENTS DE BILAN FINANCIER .......................................................................................................... 12

2 OBJECTIFS DE L’EVALUATION ET METHODOLOGIE ......................................................... 14

2.1 OBJECTIFS .............................................................................................................................................. 14

2.2 REFERENTIEL DE L’EVALUATION .......................................................................................................... 14

2.3 METHODOLOGIE ................................................................................................................................... 16

REPONSES AUX QUESTIONS EVALUATIVES..................................................................................... 17

1 QUESTION 1 : PERTINENCE ET STRATEGIE ............................................................................ 18

1.1 LES ACTIONS DU PROGRAMME CORRESPONDENT-ELLES BIEN AUX BESOINS ACTUELS DES PARLEMENTS

BENEFICIAIRES ? ............................................................................................................................................. 18

1.2 L’ARTICULATION ENTRE LES TROIS « PILIERS » DU PROGRAMME ET LEURS POIDS BUDGETAIRES

RESPECTIFS CORRESPOND-IL BIEN AUX BESOINS ? ......................................................................................... 20

1.3 LE PROGRAMME EST-IL SUFFISAMMENT CIBLE POUR PERMETTRE UN IMPACT SIGNIFICATIF POUR

CHACUN DES BENEFICIAIRES ? ....................................................................................................................... 22

1.4 LE TRAVAIL D’EVALUATION DES BESOINS PERMET-IL UNE BONNE ADAPTATION DES ACTIONS AUX

CONTEXTES NATIONAUX ? ............................................................................................................................. 23

1.5 CONCLUSIONS DE LA QUESTION 1 ....................................................................................................... 24

Page 4: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

4

Evaluation du programme NORIA – Rapport final

2 QUESTION 2 : COHERENCE EXTERNE ....................................................................................... 25

2.1 LA STRATEGIE D’INTERVENTION DU PROGRAMME NORIA APPARAIT-ELLE PERTINENTE AU REGARD

DES « AVANTAGES COMPARATIFS » DE L’APF PAR RAPPORT A CEUX DES AGENCES DE DEVELOPPEMENT ET

DES BAILLEURS DE FONDS INTERNATIONAUX ? ............................................................................................. 25

2.2 DANS CHAQUE PAYS, LE PROGRAMME D’ACTION PREVU EST-IL CONÇU EN FONCTION DES

INTERVENTIONS EXISTANTES OU FUTURES DES AUTRES ACTEURS DU DEVELOPPEMENT ? QUELLES SONT LES

MODALITES DE CONCERTATION ENTRE L’APF ET CES AUTRES ACTEURS DU DEVELOPPEMENT ? ............... 26

2.3 CONCLUSIONS DE LA QUESTION 2 ....................................................................................................... 27

LE PROGRAMME EST-IL CONÇU ET DEPLOYE EN ARTICULATION AVEC LES INTERVENTIONS DES AUTRES

ACTEURS DU DEVELOPPEMENT ? ................................................................................................................... 27

3 QUESTION 3 : MISE EN ŒUVRE ET SUIVI ................................................................................ 28

3.1 LES MODALITES D’ATTRIBUTION ET DE CONVENTIONNEMENT AVEC LES PARLEMENTS BENEFICIAIRES

PERMETTENT-ELLES L’ATTEINTE DES OBJECTIFS DU PROGRAMME ? ............................................................. 28

3.2 LES FRAIS DE FONCTIONNEMENT DU PROGRAMME SONT-ILS ADEQUATS ? ........................................ 29

3.3 LES PROCEDURES D’APPEL D’OFFRE SONT-ELLES OPTIMALES ? ........................................................... 32

3.4 LES MODALITES DE SUIVI DES REALISATIONS DURANT LES 4 ANS DE MISE EN ŒUVRE SONT-ELLES

ADAPTEES ? .................................................................................................................................................... 32

3.5 CONCLUSIONS DE LA QUESTION 3........................................................................................................ 33

LES MODALITES DE MISE EN ŒUVRE ET DE SUIVI SONT-ELLES OPTIMALES ? ................................................ 33

4 QUESTION 4 : EFFICACITE ET IMPACTS ................................................................................... 34

4.1 LES ACTIONS D’ACCOMPAGNEMENT POUR L’APPROPRIATION DES OUTILS (MATERIELS ET LOGICIELS)

SONT-ELLES SUFFISANTES ?............................................................................................................................ 34

4.2 LES CONDITIONS DU BON FONCTIONNEMENT DES EQUIPEMENTS DEPLOYES SONT-ELLES EN PLACE AU

MOMENT DE LA FIN DU PROGRAMME (CONTRATS DE MAINTENANCE, ANIMATION DES SITES WEB…) ? .... 35

4.3 QUELLE EST LA PERCEPTION DES FONCTIONNAIRES ET PARLEMENTAIRES QUANT A L’APPORT DES

OUTILS ET A LEUR UTILISATION EFFECTIVE ? ................................................................................................. 36

4.4 QUELLES SONT LES MODALITES DE SUIVI DES REALISATIONS « POST-CONVENTION » (FORMELLE OU

INFORMELLE) ? ............................................................................................................................................... 37

4.5 LE DISPOSITIF DE SUIVI ET D’EVALUATION DU DISPOSITIF NORIA PERMET-IL DE SUIVRE

EFFICACEMENT L’IMPACT DU PROGRAMME ET D’EN RENDRE COMPTE AUPRES DE L’APF ET DE L’OIF ? ... 38

4.6 CONCLUSIONS DE LA QUESTION 4........................................................................................................ 39

LES PARTICIPANTS S’APPROPRIENT-ILS LES ACTIONS DU PROGRAMME ? ..................................................... 39

Page 5: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

5

Evaluation du programme NORIA – Rapport final

RECOMMANDATIONS .............................................................................................................................. 40

1 FICHES RECOMMANDATIONS ................................................................................................... 41

1.1 SYNTHESE DES CONCLUSIONS .............................................................................................................. 41

1.2 DETAIL DES FICHES RECOMMANDATIONS ........................................................................................... 42

2 SCENARIOS D’EVOLUTION .......................................................................................................... 49

2.1 PRESENTATION DE LA LOGIQUE DE CONSTRUCTION DES SCENARIOS ................................................. 49

2.2 LE SCENARIO OPTIMISE : L’OPERATEUR (A) ......................................................................................... 50

2.3 LE SCENARIO PARTENARIAL EN SUPPORT : LE COORDONNATEUR (B) ................................................ 50

2.4 LE SCENARIO D’ACCOMPAGNEMENT PERENNISANT : LE FORMATEUR (C) ......................................... 51

2.5 LE SCENARIO AUTONOME CIBLE : L’INNOVATEUR (D) ........................................................................ 51

ANNEXE 1 : LISTE DES ENTRETIENS REALISES ................................................................................ 53

Page 6: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

6

Evaluation du programme NORIA – Rapport final

Sigles

AFS Appui à la formation et stages

APF Assemblée Parlementaire de la Francophonie

APF Appui à la promotion de la Francophonie

MSI Modernisation des Systèmes d'Information

OIF Organisation Internationale de la Francophonie

PARDOC Programme d'appui à l'organisation des services documentaires

PFI Promotion de la Francophonie

Page 7: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

7

Evaluation du programme NORIA – Rapport final

ELEMENTS DE CADRAGE

Page 8: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

8

Evaluation du programme NORIA – Rapport final

1 Présentation du dispositif

1.1 Contexte général

L’Assemblée Parlementaire de la Francophonie a pour objectif de promouvoir la solidarité

entre les peuples francophones et de faire entendre leurs « intérêts et aspirations » auprès

des instances internationales de la Francophonie. Ses instances permettent d’animer des

échanges entre parlementaires francophones et de construire des positions communes

présentées à la Conférence ministérielle de la Francophonie et aux sommets des chefs

d’Etats et de gouvernements de la Francophonie.

Outre ce rôle premier, l’APF mène également différentes actions de coopération au bénéfice

de ses sections membres. Elle organise ainsi une série de séminaires et de formations

destinés aux parlementaires et aux fonctionnaires des parlements. L’APF mène également

des actions en direction des jeunes, notamment à travers l’animation du Parlement

francophone des jeunes.

Le programme NORIA occupe une place particulière dans le portfolio d’actions de

coopération de l’APF, dans la mesure où c’est le seul qui comprend des

réalisations techniques, pérennes, alors que les séminaires et évènements sont par nature

éphémères.

Le programme NORIA succède au projet PARDOC, mis en place de 1990 à 2002, visant à

renforcer les services de documentation des assemblées membres de l’APF. En 2002, et

après deux ans de missions de faisabilité, le projet NORIA a été créé. Le programme NORIA

conserve de PARDOC une focalisation autour des problématiques de traitement de

l’information, tout en élargissant la focale. Il se donne pour objectif général « d’améliorer la

qualité et la visibilité du travail parlementaire grâce aux technologies de l’information et de

la communication. »

A cette fin, le programme est structuré en 3 volets d’action :

▪ l’appui à la modernisation des systèmes d’information des parlements, avec

des interventions portant aussi bien sur le matériel que les logiciels ou encore

la communication web ;

▪ la promotion de l’information francophone dans les parlements où son usage

est limité, à travers des cours de français, des dotations documentaires ou

encore des appuis à la traduction ;

▪ des séminaires visant à mettre en réseaux les parlementaires des pays

bénéficiaires et à les sensibiliser à la communication numérique.

Page 9: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

9

Evaluation du programme NORIA – Rapport final

2015Les programmes de l’APF sont regroupés

dans un seul protocole d’accord avec l’OIF

Programme « Noria»Programme « Pardoc »

1990

Création du programme PARDOC dédié aux services

de documentation des assemblées membres de

l’APF.

2002Création du programme

NORIA, avec une subvention dédiée de

l’OIF

2003Mise à disposition par le Sénat d’un informaticien

Du programme Pardoc à Noria

2007Mise en place d’une

subvention du Sénat de 80 000 euros en remplacement de

l’informaticien mis à disposition

2000 Lancement des mission

de faisabilité du programme NORIA

2017Evaluation du programme

NORIA

1.1 Analyse de la logique d’action

Le programme NORIA avait été conçu initialement avec les objectifs suivants :

« - renforcer les capacités des parlements dans le domaine de l’information

en les aidant en particulier à mieux la gérer et mieux traiter celle qu’ils

produisent et détiennent, ainsi qu’à mieux la rechercher, la recueillir et la

diffuser ;

- affermir la présence de l’information parlementaire francophone et

l’amélioration de sa diffusion, dans les parlements de pays où l’usage du

français est modéré, mais demeure un enjeu important. »

Le diagramme logique d’impact ci-dessous propose une analyse de la logique d’action du

programme, en détaillant la chaine de cause à effet entre les réalisations et les impacts visés.

Financement d’équipements TIC

(matériel/logiciel)

Accompagnement à l’utilisation des

équipements TIC

Facilitation du travail

parlementaire

Renforcement de la communication et du lien

avec les citoyensPromotion de la

francophonie dans les parlements où le

français n’est pas langue de travail

Séminaire de formation à la communication

numérique

Renforcement de l’usage du français dans les

parlements

Visibilité de la langue française

auprès des citoyens

Renforcement des liens entre les parlements

francophones

Renforcement de la

gouvernance démocratique

Amélioration de la gestion de l’information au sein

des parlements (archivage, recherche,

documentation…)

Visibilité de l’APF et entretien des liens entre

sections

Accompagnement et suivi

VOLET INSTITUTIONNEL

VOLET SOCIAL

VOLET INTERNATIONAL

Réalisations Résultats Impacts

Page 10: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

10

Evaluation du programme NORIA – Rapport final

Le diagramme fait apparaitre une cohérence forte entre les finalités du programme NORIA (à

droite sur le diagramme) et le projet francophone en général. L’action en faveur du

renforcement de la gouvernance démocratique fait écho notamment à la Mission B de l’OIF

(Promouvoir la paix, la démocratie et les droits de l’Homme). Les actions de diffusion de

l’information francophone contribuent à la promotion de la langue française (en lien avec la

Mission A de l’OIF). Par ailleurs, à travers ces actions de coopération, le programme porte

également une dimension politique, visant le resserrement des liens entre les peuples ayant

le français en partage, par la voix de leurs parlementaires.

A un horizon de moyen terme, le programme NORIA vise à faciliter le travail parlementaire

et à améliorer sa visibilité. Les systèmes d’information constituent la porte d’entrée de l’APF

pour travailler tant sur les problématiques de fonctionnement interne aux Parlements

(communication interne, gestion de l’information…) que dans le rapport avec l’extérieur, et

notamment la relation avec les citoyens. Par ailleurs, les différentes actions visent également

à soutenir, de manière plus ou moins directe, la place de la langue française dans les

parlements. C’est évidemment clair dans le cas des actions de promotion de la francophonie

auprès des parlements où le français n’est pas la langue première. Mais de manière plus

générale, en travaillant sur la question du traitement de l’information et de la

communication, le programme soutient bien l’usage du français comme langue de travail au

sein des institutions parlementaires.

1.2 Sociogramme d’acteurs

Le schéma suivant fait apparaitre les différents types d’acteurs intervenant dans la mise en

œuvre de NORIA. On distingue classiquement les décideurs / financeurs du programme, les

opérateurs / partenaires et les bénéficiaires. Dans la première catégorie se trouvent bien

évidemment le bureau de l’APF, ainsi que le président de la Commission des Affaires

Parlementaires, qui suit le dispositif. L’OIF et le Sénat français sont les financeurs du

programme.

Le diagramme montre par ailleurs que l’APF mobilise plusieurs acteurs externes pour le

déploiement de ses actions. Pour l’action de modernisation des systèmes d’information,

l’APF cherche à travailler autant que possible avec des prestataires locaux, tant pour les

installations d’équipements que pour les formations techniques. L’Alliance française est un

prestataire récurrent pour la délivrance des cours de français dans le cadre des actions de

promotion de la francophonie. Les intervenants mobilisés pour les séminaires de formation

proviennent d’horizons plus variés : journalistes, spécialistes de la communication,

consultants… Il convient de noter toutefois qu’outre la gestion du programme, l’équipe

projet de l’APF intervient également sur les aspects techniques, tant au moment de

l’évaluation des besoins que pour le suivi des actions mises en œuvre.

Enfin, les bénéficiaires sont les parlementaires et les fonctionnaires parlementaires des

sections membres de l’APF.

Page 11: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

11

Evaluation du programme NORIA – Rapport final

Sociogramme des acteurs de NORIA

Décideurs et financeurs

Opérateurs et partenaires

Bénéficiaires

Parlementaires

Fonctionnaires parlementaires

Bureau APF

OIF

Alliance Française

Prestataires Informatiques

Formateurs communication

numérique

Equipe projet

Sénat Français

Agences de développement nationales

Bailleurs internationaux

1.3 Descriptif des modalités de déploiement

Les appuis de l’APF dans le cadre des deux premiers volets (modernisation des systèmes

d’information et promotion de la francophonie) sont déployés sur des périodes de 4 ans.

Les parlements souhaitant bénéficier du programme doivent soumettre un dossier de

candidature, présentant les besoins, les projets souhaités ainsi que les projets

complémentaires (potentiellement financés par d’autres bailleurs).

Ces dossiers sont instruits par le Bureau de l’APF chaque année. Une fois la sélection

effectuée, une convention de partenariat est mise en place entre l’APF et les parlements

bénéficiaires. Cette convention précise succinctement les actions prévues dans le cadre de

l’appui.

L’équipe projet de l’APF mène au moment du lancement du programme une mission

d’évaluation des besoins permettant de préciser les réalisations à mener. Cette analyse se

fait en concertation étroite avec les équipes des parlements bénéficiaires, de façon à ce que

les actions correspondent bien à leurs besoins et soient adaptées aux contextes nationaux.

L’équipe projet mène ensuite chaque année une mission de suivi, permettant d’évaluer la

progression des réalisations, et d’envisager des ajustements éventuels dans le déploiement

du programme.

A l’issue des 4 ans de mise en œuvre, une évaluation finale commune (APF/Parlement)

permet d’apprécier les apports du programme pour les bénéficiaires visés. Il n’est pas prévu

à ce jour de suivi après les 4 années de mise en œuvre.

Page 12: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

12

Evaluation du programme NORIA – Rapport final

1.4 Eléments de bilan financier

Note méthodologique

L’analyse se fonde sur les documents de comptabilité que l’APF remet à ses deux bailleurs, l’OIF et

le Sénat Français.

Les montants présentés sont les dépenses consacrées aux opérations. Ils incluent le financement

des équipements, les formations, ainsi que les frais de missions. Les salaires et charges, ainsi que

les frais d’administration n’y sont en revanche pas intégrés.

Les montants indiqués additionnent les dépenses affectées au titre de la subvention OIF et celles

au titre de la subvention Sénat.

Les catégories comptables ont évolué en 2015. Par simplification, nous gardons ici la présentation

faite depuis 2015. Avant 2015, les dépenses classées au titre de « l’appui généralisé » sont

assimilées aux dépenses pour la « MSI », « l’appui spécifique » au « PFI » et « l’appui réseau » aux

« formations et séminaires ».

Depuis 2010, les montants engagés dans les actions au titre des 3 volets du programme

NORIA étaient d’un montant annuel moyen de 232 000 euros. Le montant a connu une

légère baisse depuis 2010 (2,1% annuel). Les dépenses de l’année 2011 apparaissent

exceptionnellement hautes, mais semblent « compensées » par des montants faibles en

2012. Le montant moyen sur ces deux années, de 246 000 euros, reste proche de la moyenne

sur la période.

187 K€

293 K€

86 K€

129 K€

190 K€

147 K€ 154 K€

17 K€

37 K€

22 K€

41 K€

8 K€

23 K€ 23 K€

52 K€

23 K€

30 K€

62 K€ 15 K€42 K€ 41 K€

256 K€

353 K€

138 K€

233 K€214 K€ 211 K€ 218 K€

- €

50 K€

100 K€

150 K€

200 K€

250 K€

300 K€

350 K€

400 K€

2010 2011 2012 2013 2014 2015 2016

Evolution des dépenses d'opérations (hors salaires et frais administratifs)

AFS

APF

MSI

Source : données APF, exploitation Planète Publique

Page 13: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

13

Evaluation du programme NORIA – Rapport final

Le premier volet, « Modernisation des systèmes d’information », apparait logiquement

comme le premier poste (73%), le financement d’équipements informatiques mobilisant des

montants importants.

MSI73%

APF11%

AFS16%

Répartition des dépenses (2010-2016)

Source : données APF, exploitation Planète Publique

Les données comptables permettent également d’analyser le type de dépenses effectuées.

Cette répartition recoupe en partie la répartition selon les volets d’actions. Les dépenses

pour la mise en place d’équipement (matériel ou logiciel) apparaissent sans surprise comme

les premières dépenses, représentant un budget annuel moyen de 112 000 euros. Il apparait

également que les frais de missions représentent en moyenne 19 % du budget consacré aux

opérations.

Autre; 17 K€ ; 7%

Equipement (matériel,

logiciel); 112 K€ ; 48%

Frais de missions; 43 K€

; 19%

Formations/séminaires; 60 K€

; 26%

Répartition par type de dépense (moyenne annuelle)

Source : données APF, exploitation Planète Publique

Le programme est financé dans le cadre de la subvention de 830 000 euros annuels que

reçoit l’APF de la part de l’OIF pour ses actions de coopération, ainsi qu’au travers d’une

subvention de 80 000 euros du Sénat français destinée principalement au recrutement d’un

informaticien ainsi qu’à ses frais de mission.

Le programme est mis en œuvre par une équipe de 3 personnes, une directrice à temps

plein, une assistante de gestion et un informaticien, tous deux à temps partiel.

Page 14: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

14

Evaluation du programme NORIA – Rapport final

2 Objectifs de l’évaluation et méthodologie

2.1 Objectifs

Le programme NORIA étant mis en œuvre depuis 2002, l’évaluation vient marquer un point

d’étape, avec pour objectif général d’identifier les potentielles pistes d’amélioration de ce

dispositif. Les enjeux de cette évaluation sont multiples :

▪ dans une logique rétrospective, il s’agit d’abord de tirer un bilan des actions

mises en œuvre, de réinterroger les objectifs fixés au regard des besoins des

bénéficiaires ;

▪ dans une logique managériale, l’évaluation doit analyser les possibilités

d’optimisation des modalités de mise en œuvre du programme ;

▪ dans une logique plus prospective, l’évaluation doit porter un regard sur les

impacts à plus long-terme du programme NORIA, en interrogeant plus

particulièrement l’appropriation des actions par les bénéficiaires.

2.2 Référentiel de l’évaluation

L’évaluation s’est structurée autour des questionnements suivants :

1. PERTINENCE ET STRATEGIE : Le programme NORIA est-il bien conçu au regard des

besoins des bénéficiaires ?

2. COHERENCE EXTERNE : Le programme est-il conçu et déployé en articulation avec les

interventions des autres acteurs du développement ?

3. MISE EN ŒUVRE ET SUIVI: Les modalités de mise en œuvre et de suivi sont-elles

optimales ?

4. EFFICACITE ET IMPACTS : Les participants s’approprient-ils les actions du

programme ?

Page 15: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

15

Evaluation du programme NORIA – Rapport final

QUESTIONS

EVALUATIVES

DESCRIPTEURS

PERTINENCE STRATEGIE :

Le programme NORIA est-

il bien conçu au regard des

besoins des bénéficiaires ?

Les actions du programme sont correspondent-elles bien aux besoins actuels des

parlements bénéficiaires ?

L’articulation entre les 3 « piliers » du programme et leur poids budgétaire respectif

correspond-il bien aux besoins ?

Le programme est-il suffisamment ciblé pour permettre un impact significatif pour

chacun des bénéficiaires ?

Le travail d’évaluation des besoins permet-il une bonne adaptation des actions aux

contextes nationaux ?

COHERENCE EXTERNE

Le programme est-il conçu

et déployé en articulation

avec les interventions des

autres acteurs du

développement ?

La stratégie d’intervention du programme NORIA apparait-elle pertinente au regard des

« avantages comparatifs » de l’APF par rapport à ceux des agences de développement

et des bailleurs de fonds internationaux ?

Quelles sont les modalités de concertation entre l’APF et ces autres acteurs du

développement ?

Dans chaque pays, le programme d’action prévu est-il conçu en fonction des

interventions existantes ou futures des autres acteurs du développement ?

MISE EN ŒUVRE :

Les modalités de mise en

œuvre et de suivi sont-

elles optimales ?

Les modalités d’attribution et de conventionnement avec les parlements bénéficiaires

permettent-elles l’atteinte des objectifs du programme ?

Les frais de fonctionnement du programme sont-ils adéquats ?

Les procédures d’appel d’offre sont-elles optimales ?

Les modalités de suivi des réalisations durant les 4 ans de mises en œuvre sont-elles

adaptées

EFFICACITE ET IMPACTS

Les participants

s’approprient-ils les

actions du programme ?

Les actions d’accompagnement pour l’appropriation des outils (matériels et logiciels)

sont-elles suffisantes ?

Quelles sont les modalités de suivi des réalisations « post-convention » (formelle ou

informelle) ?

Quel est la perception des fonctionnaires et parlementaires quant à l’apport des outils

et à leur utilisation effective ?

Les conditions du bon fonctionnement des équipements déployés sont-elles en place au

moment de la fin du programme (contrats de maintenance, animation des sites

web…) ?

Le dispositif de suivi et d’évaluation du dispositif NORIA permet-il de suivre

efficacement l’impact du programme et d’en rendre compte auprès de l’APF et de

l’OIF ?

Page 16: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

16

Evaluation du programme NORIA – Rapport final

2.3 Méthodologie

L’évaluation s’est décomposée en 3 phases. La phase de cadrage avait pour objectif de

préciser les attentes par rapport à l’évaluation, et de permettre aux consultants de mieux

connaitre le dispositif, son historique et sa logique d’action. Le travail de cadrage visait à

préciser le questionnement évaluatif ainsi que le protocole d’évaluation.

Lors de la phase de collecte, les consultants ont d’abord conduit un travail d’analyse

documentaire approfondie, à partir de l’ensemble des éléments produits dans le cadre du

dispositif : rapports d’activités, rapports de mission, conventions de partenariats, éléments

financiers, bilan des réalisations par pays… Des entretiens avec les parties-prenantes

(décideurs, partenaires, prestataires…) ainsi qu’avec les bénéficiaires ont ensuite permis

d’alimenter la réponse aux questions évaluatives. Au total, 28 entretiens ont été conduits.

Aucun déplacement de terrain n’a été effectué.

En phase de conclusion et recommandation, sur la base du rapport intermédiaire, un

« atelier recommandation » réunissant l’équipe projet et les décideurs de l’APF, a permis

d’envisager des pistes d’évolutions du dispositif.

La réponse aux questions d’évaluation résulte du croisement des résultats par outil. Le

tableau suivant matérialise que les différents outils ont contribué aux réponses aux

différentes questions.

Q1–Pertinence

et stratégie

Q2-Cohérence

externe

Q3-Mise en

œuvre et suivi

Q4-Efficacité et

impact

Conclusions et

recommandations

Entretiens de cadrage (8) X X X X

Analyse documentaire

générale X X X X

Entretiens parties

prenantes (9) X X X X

Entretiens bénéficiaires

(11) X X X X

Analyse dossiers

bénéficiaires X X

Comité de pilotage et

ateliers Recommandations X

Page 17: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

17

Evaluation du programme NORIA – Rapport final

REPONSES AUX QUESTIONS

EVALUATIVES

Page 18: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

18

Evaluation du programme NORIA – Rapport final

1 Question 1 : PERTINENCE ET STRATEGIE

1.1 Les actions du programme correspondent-elles bien aux

besoins actuels des parlements bénéficiaires ?

1.1.1 Un programme qui a répondu à des besoins importants,

notamment en matière d’apport matériel

Le programme NORIA propose à travers ses trois volets d’apporter des réponses variées à

des besoins relevant des 4 enjeux principaux suivants :

Sur le registre des 2 premiers enjeux (amélioration du fonctionnement de la structure et

amélioration des pratiques de travail visant à l’élaboration des lois), les entretiens conduits

ainsi que l’analyse des dossiers ont dans l’ensemble fait ressortir des besoins très

conséquents au sein de l’ensemble des institutions, sur la période d’évaluation. Ceux-ci

émanaient en premier lieu d’insuffisances matérielles, dans la mesure où la plupart des

institutions manquaient en effet d’ordinateurs ou d’imprimantes pour assurer des

conditions de travail correctes.

Parallèlement, le déficit de solutions techniques et logicielles adaptées a largement été

reconnu par les acteurs interrogés : logiciels d’archivage, antivirus, logiciels de traitement de

données etc., sont autant d’exemples d’insuffisances constatées dans les institutions avant

l’intervention du programme NORIA. Que ce soit d’un point de vue matériel ou logiciel,

l’ensemble de ces besoins sont en outre d’autant plus conséquents qu’ils sont généralement

peu investis par les parlements eux-mêmes : ceux-ci ne font souvent pas l’objet d’un niveau

de priorisation suffisant en interne pour pouvoir disposer d’un budget propre et peu de

moyens leur sont en conséquence dédiés.

En ce qui concerne le renforcement des compétences des fonctionnaires parlementaires, ce

volet est apparu de même aux yeux des acteurs consultés comme répondant à un réel

besoin, notamment en vue de permettre une plus grande autonomie informatique ainsi que

de façon à permettre l’utilisation de nouveaux logiciels.

En matière de transparence et de mise en visibilité de l’action parlementaire, les entretiens

ont également mis en évidence des besoins importants, les acteurs interrogés ayant

considéré que les pratiques allant dans ce sens étaient jusqu’à présent peu investies.

Enfin, l’usage et la connaissance du français restent effectivement limités dans les

parlements au sein desquels la langue française n’occupe pas le statut de langue officielle. A

ce titre, le renforcement de sa place est effectivement considéré comme un enjeu,

notamment au regard de la concurrence existante avec les autres langues.

Page 19: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

19

Evaluation du programme NORIA – Rapport final

1.1.2 Des besoins ayant évolué par rapport au contexte initial de

création de Noria

Mis en œuvre depuis 2002, suite au projet PARDOC, le programme NORIA a pu toucher

depuis son origine un nombre élevé de bénéficiaires. En plus de 10 ans de déploiement,

celui-ci peut en effet être considéré comme étant désormais parvenu à accompagner la

majorité des pays susceptibles d’en bénéficier. Il entamera donc à l’avenir une forme de

renouvellement de son action auprès de structures qui auront pour la plupart déjà été

bénéficiaires par le passé.

A ce titre, le programme a donc apporté à la majorité des pays éligibles une première forme

de réponse aux besoins existants. La quinzaine d’institutions ayant bénéficié de l’appui 1

dispose désormais de matériel nouveau et de compétences nouvelles : suite aux aides

perçues par NORIA par le passé, elles ont ainsi pu connaître des améliorations significatives,

et ont pu répondre à plusieurs de leurs besoins. Cela ne signifie pas que ces structures ne

présentent plus de manques à ce jour sur le sujet, mais la nature de ceux-ci a pu évoluer et

l’intérêt se concentre désormais plutôt sur des besoins immatériels ou sur du matériel

spécifique permettant de poursuivre la dynamique amorcée. Les entretiens conduits ont à ce

titre pu mettre en évidence un renforcement des demandes sur des enjeux nouveaux tels

que l’utilisation du numérique, les droits individuels de la personne ou les réseaux sociaux.

Cela traduit donc a priori un accroissement du besoin d’accompagnement sur l’enjeu dit

« citoyen ».

Alors que certaines institutions ont pu connaître une amélioration de leur situation, d’autres

éprouvent néanmoins encore le besoin d’une intervention de NORIA sur le volet matériel. Il

s’agit notamment de pays n’ayant pas encore bénéficié du programme, de pays qui

connaissent des situations de crise, ou de pays qui ont pu être soumis à des évènements

particuliers réactualisant leur besoin d’origine (incendies, déménagement, etc). Pour ceux-ci,

les solutions matérielles proposées par le programme NORIA apparaissent en conséquence

encore pleinement pertinentes.

Enfin, les entretiens réalisés ont permis de relever la permanence d’un besoin qui n’est plus

couvert par le programme : celui de la mise en réseau et du partage de pratiques entre

parlements de différents pays. En effet, plusieurs de nos interlocuteurs ont pu mentionner

une volonté de pouvoir rencontrer leurs homologues, afin notamment de pouvoir se

comparer et s’inspirer de ce qui peut être fait par ailleurs. Cette logique de comparaison est

perçue comme nécessaire pour susciter l’impulsion de nouvelles actions de modernisation

au sein des parlements. Or, ce besoin n’est plus pourvu par le programme NORIA depuis que

les séminaires (appui 3) sont organisés à l’échelle nationale, et non plus internationale

comme c’était le cas auparavant.

Page 20: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

20

Evaluation du programme NORIA – Rapport final

1.2 L’articulation entre les trois « piliers » du programme et

leurs poids budgétaires respectifs correspond-il bien aux

besoins ?

1.2.1 Un programme qui s’appuie sur de multiples logiques d’action

davantage juxtaposées qu’articulées

Le programme NORIA s’attache à répondre à des enjeux pluriels. Quatre grands enjeux

apparaissent structurants, face auxquels cinq types d’actions sont susceptibles d’être

conduites. Ces éléments sont présentés dans le schéma ci-après, qui met en évidence la

multiplicité des solutions apportées pour atteindre des objectifs variés :

Apport en

documentation

Apport de matériel

technique et

informatique

Apport de solutions

techniques et

logicielles

Formations / cours de

langue / séminaires

Enjeu citoyen

Mise en visibilité et

renforcement des liens

avec les populations

Enjeu parlementaire

Amélioration des

pratiques de travail

visant à l’élaboration

des lois

Enjeu administratif

Amélioration du

fonctionnement de la

structure

Enjeu linguistique

Renforcement de la

place du français

Création / amélioration

des sites internet

A ce jour, le programme NORIA est organisé en 3 volets, qui ne concordent pas avec la

déclinaison ci-dessus, que ce soit sous l’angle du type d’action ou de l’objectif recherché

(enjeu). En effet, les appuis 1 et 3 entrent en concurrence puisque les résultats directs

recherchés par ces deux appuis peuvent être similaires : ceux-ci peuvent aussi bien viser

l’amélioration du fonctionnement interne de l’institution, l’amélioration des pratiques de

travail des parlementaires, ou la mise en visibilité des actions auprès de la population

(enjeux 1, 2 et 4 dans le schéma précédent). Ils ne clarifient pas complètement la logique

d’action dans laquelle ils s’inscrivent et ne permettent en conséquence pas véritablement

d’identifier quel est le résultat attendu des différentes interventions conduites.

Parallèlement, ces appuis ne se distinguent pas non plus complètement par les actions qui

sont susceptibles d’être mobilisées en leur sein. Si l’apport en matériel ne peut se faire que

dans le cadre de l’appui 1, les formations qui y sont proposées génèrent une confusion avec

les séminaires proposés dans le cadre de l’appui 3, qui peuvent également s’apparenter à

une démarche de formation, bien que l’objectif ne soit pas identique.

Seul l’appui 2 s’inscrit dans une logique d’action qui lui est propre : le financement de

formations et l’apport en documentation en vue de renforcer la place du français dans les

parlements. Cependant, ce volet apparaît à l’inverse relativement déconnecté des deux

autres, ne présentant aucune mise en lien avec ceux-ci, et trouve plus difficilement sa place

Page 21: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

21

Evaluation du programme NORIA – Rapport final

dans un programme dont l’objectif général est « d’améliorer la qualité et la visibilité du

travail parlementaire grâce aux technologies de l’information et de la communication ».

En outre, le programme NORIA n’apparaît pas véritablement traiter cet enjeu de

renforcement la langue française, bien que l’objectif soit exprimé comme tel. Proposant une

réponse restreinte (quelques formations au français et la mise à disposition de ressources

documentaires en langue française), il ne semble pas en mesure de produire un impact

significatif sur le sujet. Les formations conduites ont avant tout pour effet de renforcer des

compétences individuelles et donc d’améliorer des parcours professionnels. Elles apportent

de ce fait plus aux individus qu’à la structure dans son ensemble, bien qu’un lien indirect

puisse être établi entre les deux.

Parallèlement, ces aides permettent de renforcer les liens entre ces parlements et l’espace

francophone. Elles induisent effectivement un apport de visibilité de l’APF auprès des

structures bénéficiaires, et de par cette présence auprès des parlements, encouragent leur

implication dans les institutions francophones. En ce sens, elles sont généralement perçues

par les bénéficiaires comme répondant à des besoins importants, mais qui ne sont pas

véritablement ceux du renforcement de la place du français au sein de ces structures.

L’action, relativement marginale au regard de l’ampleur de l’enjeu considéré, peine ainsi

finalement à investir le sujet du développement de la langue française

Ainsi, le programme affiche finalement une cohérence interne limitée entre les 3 volets, et

apparaît globalement manquer d’articulation avec les différentes logiques présentées dans le

précédent schéma. Il génère en conséquence un défaut de clarté quant à l’impact recherché

au sein de chacun des appuis qu’il propose.

1.2.2 Une concentration forte sur l’un des trois piliers interrogeant la

place des deux autres

Le programme NORIA est fortement centré sur l’appui 1 de modernisation des systèmes

d’information des parlements : celui-ci propose des interventions conséquentes à l’inverse

des deux autres appuis qui consistent en des interventions plus légères, voire ponctuelles.

De plus, l’essentiel des financements du programme y sont consacrés (73% ; cf. graphique

supra).

En conséquence, les acteurs interrogés n’identifient pas nécessairement complètement la

décomposition du programme en 3 volets : l’appui 1 concentre l’essentiel des intérêts, voire

est considéré de façon exclusive dans les discussions. Ce déséquilibre a pour conséquence

de nuire à la compréhension du programme, en brouillant sa visibilité d’ensemble. Les volets

2 et 3 du programme apparaissent en effet finalement comme des programmes « annexes »

de NORIA et non comme des composantes du programme en tant que telles.

Page 22: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

22

Evaluation du programme NORIA – Rapport final

1.3 Le programme est-il suffisamment ciblé pour permettre

un impact significatif pour chacun des bénéficiaires ?

1.3.1 Un programme qui parvient à toucher de nombreux

bénéficiaires sans basculer dans une logique de

« saupoudrage »

Depuis 2002, le programme NORIA est parvenu à toucher 46 Etats, soit un nombre non

négligeable sur 15 années de mise en œuvre. Parmi ces 46 bénéficiaires, 20 d’entre eux ont

bénéficié de l’appui 1, 13 de l’appui 2 et 13 de l’appui 3. La frise ci-après, réalisée sur la base

de la documentation disponible, rend compte de cet investissement du programme NORIA

auprès de nombreux bénéficiaires :

Frise chronologique des interventions du programme NORIA

3

Cameroun

Niger

Sénégal

Burkina Faso

Congo

Bénin

Madagascar

Burundi

Gabon

Mauritanie

Togo

Tchad

Arménie

Guinée

Burkina

FasoCôte d’Ivoire

RDC

Mali

Madagascar

Cameroun

Liban

Maroc

Cap Vert

Tunisie

Cambodge

Macédoine

Laos

Nouvelle Ecosse

Bulgarie

Arménie

Grèce

Seychelles

Moldavie

Tunis

Québec

Cameroun

Paris

Dakar

Paris

Québec

Bamako

Cotonou

Libreville

Lomé

Ouagadougou

Bujumbura

201720022006 2009 2014

MSI APF Séminaire

Sources : données APF, exploitation Planète Publique

Si NORIA est parvenu à apporter son aide à de multiples acteurs depuis sa création, ce

programme n’a cependant pas fait preuve d’une logique d’éparpillement. En effet, en

moyenne, seuls 4 Etats ont été suivis simultanément chaque année sur l’appui 1, et les

montants financiers attribués à chaque bénéficiaire sont restés raisonnables : en matière de

Modernisation des Systèmes d’Information, ceux-ci s’élèvent en moyenne à 144 200 €

(médiane à 131 700 €) au total par bénéficiaire pour un suivi de 4 ans. Les ressources

financières étant principalement dédiées à l’apport de matériel et de logiciels ainsi qu’à

l’organisation de formations, ce volume financier apparait finalement cohérent avec le

Page 23: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

23

Evaluation du programme NORIA – Rapport final

dimensionnement des structures bénéficiaires, qui comprennent en règle générale entre 150

et 350 parlementaires.

1.4 Le travail d’évaluation des besoins permet-il une bonne

adaptation des actions aux contextes nationaux ?

1.4.1 Un besoin d’adaptation aux contextes nationaux limité, mais

effectif et nécessaire d’un point de vue technique

Dans l’ensemble, les besoins relevés au cours de l’analyse des dossiers ainsi que des

entretiens auprès des différents parlements se sont révélés relativement homogènes dans

leur nature : manque de matériel, besoin d’accompagnement au changement de pratiques,

besoin de nouvelles solutions logicielles... La volonté d’engager des actions de

modernisation sur ces différentes problématiques est également perceptible de façon

commune. En conséquence, l’APF ne se confronte pas à travers ce programme à des

contextes locaux antinomiques, qui requerraient des capacités d’adaptation très poussées.

En revanche, des nuances peuvent être observées quant aux niveaux d’avancement des Etats

relativement à la modernisation de leur structure. Les manques constatés sont ainsi plus ou

moins conséquents, et dépendent généralement des conditions économiques, sociales, et

politiques des pays. Certains pays en crise notamment, présentent un retard important, en

comparaison avec d’autre pays mieux équipés et dont le personnel a déjà pu bénéficier de

formations poussées. Ainsi, plus que les types de besoins, ce sont plutôt les niveaux de ces

besoins qui sont hétérogènes. En outre, les caractéristiques matérielles de chaque parlement

doivent être prises en considération pour pouvoir développer ce type de programme : selon

le bâtiment ou la présence de certains dispositifs, le déploiement des actions est susceptible

de varier.

Ces besoins d’adaptation sont bien pris en compte par le programme NORIA, qui module

effectivement ses interventions en fonction des différentes situations auxquelles il se voit

confronté. Cette volonté se concrétise par la réalisation d’études de besoins en amont des

missions, lesquelles sont organisées en interaction directe avec les structures bénéficiaires.

Les acteurs interrogés ont globalement approuvé ce système d’adaptation, qui garantit à

leurs yeux une forme de flexibilité du programme et qui assure la pertinence des actions

conduites auprès des bénéficiaires.

1.4.2 Un processus d’adaptation qui rencontre cependant certaines

limites techniques

Malgré la réalisation d’une étude des besoins auprès de chaque bénéficiaire afin de préciser

l’action qui sera conduite durant la durée d’intervention de NORIA, certains éléments

freinent cependant encore la bonne adéquation du programme aux caractéristiques de

chaque institution.

Tout d’abord, le processus d’identification des pré-requis n’apparaît pas totalement

optimal : certains acteurs, et notamment des prestataires, ont à ce titre mentionné une

incapacité à garantir l’exploitation complète des solutions logicielles acquises en raison d’un

manque d’infrastructures sur place. Ils expliquent cette situation par une volonté des

bénéficiaires de maximiser l’apport matériel proposé en actant la validité des pré-requis

nécessaires à leur fonctionnement sans que la complétude de ceux-ci ne soit totalement

Page 24: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

24

Evaluation du programme NORIA – Rapport final

avérée ni vérifiée. Dans la mesure où l’identification des pré-requis repose en partie sur les

dires des bénéficiaires eux-mêmes, ceux-ci ne sont en effet pas toujours pleinement

précisés, ce qui peut nuire au bon déroulement des missions conduites par la suite.

Par ailleurs, le programme propose des durées d’interventions non adaptables en fonction

des situations. Les interventions sont en effet prévues pour une durée de 4 ans, non

négociable, quels que soient les besoins ou conditions de réalisations. En conséquence, il ne

permet pas d’envisager des interventions plus légères, pour des pays qui présenteraient un

niveau de besoin moins important, ou à l’inverse un accompagnement plus lourd, sur une

durée élargie. Cette durée fixe nuit ainsi finalement à la flexibilité du programme. Elle

présente néanmoins l’avantage de garantir une égalité de traitement entre bénéficiaires et de

préserver le programme d’influences déconnectées de critères objectifs.

1.5 Conclusions de la Question 1

Le programme NORIA est-il bien conçu au regard des besoins des bénéficiaires ?

▪ Le programme est pertinent au regard de l’importance des besoins existants,

mais reste à ré-examiner au regard des évolutions des dernières années sur le

numérique

▪ Les missions d’évaluation des besoins permettent d’optimiser le programme qui

s’avère en outre couvert par des financements pertinents et plutôt concentrés

▪ La conception générale du programme manque de cohérence interne entre les 3

actions et s’appuie sur un cadre quadriennal parfois trop rigide

Page 25: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

25

Evaluation du programme NORIA – Rapport final

2 Question 2 : COHERENCE EXTERNE

2.1 La stratégie d’intervention du programme NORIA

apparait-elle pertinente au regard des « avantages

comparatifs » de l’APF par rapport à ceux des agences de

développement et des bailleurs de fonds internationaux ?

2.1.1 Un financement de la modernisation parlementaire exercé par

de nombreux acteurs

Les acteurs positionnés sur le secteur de l’appui à la modernisation des parlements sont

nombreux et de nature variée. Etats, coopérations parlementaires et organisations

internationales interviennent en effet aujourd’hui largement auprès des parlements des pays

en développement et financent principalement l’apport de matériel nouveau : ordinateurs,

imprimantes, tablettes... Proposant des interventions relativement classiques, ces acteurs se

distinguent généralement de l’APF par le volume des moyens financiers consacrés à leurs

interventions. Nombre d’entre eux disposent effectivement à cet effet de moyens

conséquents, qui se traduisent d’ailleurs parfois par l’ouverture de postes dédiés sur place.

L’ensemble de ces acteurs peut être classé selon deux critères principaux : leur caractère

« parlementaire » ou non, et leur positionnement, multilatéral ou bilatéral. La typologie

suivante rend compte de ce classement et permet de mettre en évidence cette multiplicité

des acteurs s’inscrivant dans cette dynamique d’aide à la modernisation :

Acteurs non

parlementaires

Acteurs

parlementaires

Acteurs

multilatéraux

ONG

UE

OIF

APF

UIP

Acteurs

bilatéraux

Chine, Russie,

Turquie,

Québec...

Coopération

parlementaire

belge, suisse...

Dans les faits, la réalité est plus complexe encore, dans la mesure où les acteurs

multilatéraux et bilatéraux s’associent régulièrement pour porter une action commune, sous

la forme de consortium. Cette complexité rend les actions conduites peu visibles et freine

ainsi les capacités de coordination des acteurs entre eux.

2.1.2 L’APF : une institution qui dispose d’atouts pour intervenir

auprès des parlements

Bien que l’APF n’offre que des moyens limités au regard de ceux d’autres bailleurs agissant

sur le même volet, elle dispose en revanche d’atouts comparatifs qui lui permettent

d’occuper une place particulière dans le paysage de l’appui à la modernisation des

parlements.

Page 26: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

26

Evaluation du programme NORIA – Rapport final

Ceux-ci sont d’une part d’ordre institutionnel : en tant qu’institution à la fois parlementaire

et francophone, elle jouit en effet d’un certain prestige et d’une proximité avec ses

bénéficiaires. La structure est à ce titre connue, reconnue et appréciée, et une confiance

préexiste donc de fait entre l’APF et les parlements nationaux. Son caractère parlementaire

lui accorde en outre un avantage pour comprendre et connaître les besoins de ses

bénéficiaires, mais également pour interagir avec « le politique ». Dans la mesure où le

fonctionnement d’un parlement est spécifique, être en mesure de pouvoir appréhender la

double logique politique et technique qui sous-tend l’institution, représente un atout de

taille, reconnu par l’ensemble des bénéficiaires.

Par ailleurs, l’APF a développé dans le cadre de son programme NORIA une stratégie d’action

originale, qui la distingue des autres bailleurs sur le sujet. Disposant de moins de moyens

que les bailleurs de fonds traditionnels, elle propose cependant plus qu’une simple

enveloppe financière. Le suivi et l’accompagnement dont elle fait preuve est perçu comme

une caractéristique particulière de l’APF par les bénéficiaires, en opposition avec les autres

bailleurs de fonds qui se contentent plutôt selon les bénéficiaires interrogés de mettre à

disposition une enveloppe sans établir de coopération forte au-delà de l’apport financier

proposé. Ces acteurs ont également mis en avant la logique participative dans laquelle

s’inscrit le programme NORIA, qui est fondé sur une coopération effective avec l’ensemble

des parties prenantes. Ainsi, l’intérêt de ce programme ne réside pas tant dans le volume

financier mis à disposition mais bien dans sa capacité à générer un accompagnement des

acteurs bénéficiaires dans leur processus de transformation.

2.2 Dans chaque pays, le programme d’action prévu est-il

conçu en fonction des interventions existantes ou futures

des autres acteurs du développement ? Quelles sont les

modalités de concertation entre l’APF et ces autres acteurs

du développement ?

2.2.1 Un effort de mise en cohérence de l’action effectif, mais

complexe à mettre en œuvre

Lors de chacune de ses interventions, l’APF veille à articuler son action avec celle d’autres

bailleurs potentiellement impliqués auprès des mêmes structures. A cet effet, les parlements

bénéficiant du programme NORIA sont donc systématiquement interrogés dès le dossier de

candidature sur les aides extérieures qu’ils perçoivent par ailleurs. Une fois identifiés, les

bailleurs œuvrant auprès des mêmes structures que l’APF sont alors généralement contactés

afin d’éviter toute redondance, témoignant ainsi d’une vigilance effective de l’APF sur ce

point.

Cette mise en cohérence externe repose néanmoins largement sur la coopération avec les

structures bénéficiaires, puisque l’identification d’autres bailleurs dépend entièrement de

leurs indications. A ce sujet, les entretiens réalisés ont pu révéler la possibilité d’adopter

deux types de positionnement différenciés. D’une part certaines institutions présentent la

volonté d’optimiser la mise en cohérence des aides reçues, afin de maximiser l’apport

qualitatif de celles-ci. Ces structures considèrent généralement que la mise en cohérence des

actions dont elles bénéficient relève naturellement de leur responsabilité, elles se

Page 27: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

27

Evaluation du programme NORIA – Rapport final

considèrent elles-mêmes en mesure d’adresser leurs demandes à chaque bailleur de façon à

éviter les redondances. Pour autant, cette conception n’est pas unanime, et d’autres visent

en revanche plutôt la maximisation quantitative des aides. Plusieurs personnes ont en ce

sens témoigné avoir déjà constaté une tendance à la rétention d’information sur le sujet de

façon à pouvoir adresser des requêtes équivalentes à chaque bailleur afin de s’assurer

l’accès à cette requête, quitte à ce que celle-ci soit redondante. De ce fait, cette situation de

dépendance aux bénéficiaires pour la mise en cohérence de l’action ne permet donc pas de

garantir une articulation optimale systématique.

Pour autant, le risque de redondance reste relativement mineur dans l’ensemble. En effet,

étant donné l’ampleur des besoins existants en règle générale au sein des structures aidées,

il reste relativement rare qu’une aide se trouve obsolète ou inutile en raison de l’intervention

opérée par un autre bailleur.

2.3 Conclusions de la Question 2

Le programme est-il conçu et déployé en articulation avec les

interventions des autres acteurs du développement ?

▪ Le programme est conçu et déployé avec un effort effectif de mise en

cohérence avec la situation du bénéficiaire

▪ Lorsque les approches potentielles d’autres acteurs sont formellement

identifiées, elles ne débouchent pas nécessairement sur une stratégie

explicite de complémentarité avec ces derniers

▪ L’identification des autres bailleurs agissant auprès des mêmes structures

que l’APF repose sur les bénéficiaires eux-mêmes et rend de ce fait cette

tâche d’identification complexe, dépendante de ces derniers

Page 28: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

28

Evaluation du programme NORIA – Rapport final

3 Question 3 : MISE EN ŒUVRE ET SUIVI

3.1 Les modalités d’attribution et de conventionnement

avec les parlements bénéficiaires permettent-elles

l’atteinte des objectifs du programme ?

3.1.1 Un cadre de fonctionnement non optimisé, en ce qui concerne

les modalités d’attribution et de conventionnement

Si le programme NORIA s’appuie bien sur une liste de critères établis en ce qui concerne ses

modalités d’attribution, la sélection des bénéficiaires est également en partie influencée par

une nécessité de « roulement » et de répartition dans le temps des différents Etats

bénéficiaires. Elle est en effet animée par un principe de non concentration des aides auprès

de quelques bénéficiaires, de façon à respecter les équilibres géopolitiques et assurer ainsi la

neutralité de l’APF vis-à-vis de ses différentes bénéficiaires. En ce sens, cette attribution ne

repose pas uniquement sur une appréciation objective des besoins prioritaires.

Une fois attribuées, les aides sont en outre précisées au cas par cas. En effet, de façon à

mieux adapter les interventions proposées, NORIA réalise, en coopération avec ses

bénéficiaires, des études de besoins, qui permettent de préciser les opérations qui seront

réalisées dans le cadre de ce programme. Ces besoins sont réactualisés annuellement, lors

de visites de l’équipe de l’APF dans les parlements bénéficiaires. Pragmatiquement, le

programme s’organise donc « chemin faisant », permettant ainsi une grande flexibilité dans

sa mise en œuvre. Si ce processus apparaît pertinent pour assurer l’adaptabilité des aides

aux spécificités des bénéficiaires, il repose néanmoins sur un cadrage stratégique faible : les

réalisations ne sont pas totalement déterminées en amont, lors de la phase de sélection des

bénéficiaires.

Par ailleurs, l’uniformité de la temporalité du programme en 4 ans pose à nouveau question.

Certaines personnes consultées estiment qu’il serait important de s’inscrire dans un plus

long terme, la durée de 4 ans étant jugée trop courte. D’autres souhaitent que l’adéquation

avec les mandats politiques soit assurée afin d’afficher une cohérence du programme avec

les évènements politiques locaux. D’autres encore précisent qu’il serait essentiel de faire

perdurer les aides au-delà de l’échéance d’un mandat politique afin de garantir l’ancrage des

évolutions opérées dans le temps en évitant leur abandon en cas de changement de

majorité.

En raison de ces différentes caractéristiques, les conditions d’attribution et de

conventionnement du programme n’apparaissent pas pleinement structurantes pour assurer

l’optimisation du programme.

3.1.2 Un programme qui fonctionne bien en raison de ses qualités de

déploiement opérationnel

Si les modalités d’attribution et de conventionnement n’apparaissent pas totalement

optimales, le fonctionnement global du programme ne semble cependant pas altéré par ce

manque. Tous les bénéficiaires et partenaires rencontrés se sont en effet largement accordés

Page 29: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

29

Evaluation du programme NORIA – Rapport final

sur le caractère fonctionnel de celui-ci. Sa réussite relève principalement des qualités de

déploiement opérationnel réalisé par l’équipe de NORIA. Le programme a en effet été jugé

dans l’ensemble très suivi et cadré, et apte à surmonter les difficultés rencontrées,

notamment grâce à l’investissement de l’équipe de l’APF et aux qualités relationnelles dont

elle fait preuve.

D’un point de vue plus opérationnel, les bénéficiaires ont également fait part de leur

appréciation du programme tel qu’il est conçu. Celui-ci a en effet été jugé comme

relativement souple et moins lourd que ceux proposés par d’autres bailleurs. Ses qualités

reposent notamment sur la mise à disposition d’interlocuteurs faciles d’accès et bien

identifiés, sur la mise en œuvre d’un accompagnement effectif, ainsi que sur le déploiement

d’un processus de marché simple.

3.2 Les frais de fonctionnement du programme sont-ils

adéquats ?

La question des frais du programme repose sur l’analyse de données sur une échelle de

temps longue (2006 – 2014). Les chiffres mis en avant constituent des moyennes,

permettant de lisser les variations annuelles et ainsi de donner des tendances de fond.

Deux types de ressources sont mobilisés afin d’assurer le fonctionnement du programme

NORIA :

▪ des crédits de fonctionnement, composés de ressources humaines et de frais

généraux : 3 postes (directrice, informaticien et assistante de gestion) sont en effet

nécessaires afin de mettre en œuvre le programme opérationnellement (tâches

majoritaires) et de l’administrer (tâches minoritaires) ;

▪ des crédits d’intervention, qui permettent de financer les équipements apportés, les

opérations de formation, l’appel à des prestataires externes, etc. Ceux-ci permettent

également de financer les missions de terrain qui génèrent des frais de déplacement

(avions, hôtels, etc....).

3.2.1 Un budget articulant étroitement ressources opérationnelles en

régie et crédits d’intervention

Sur la période 2006-2014, le programme

NORIA s’est en moyenne élevé à

455 600 euros annuels. Ce montant est

globalement réparti à part égale entre

les crédits de fonctionnement et les

crédits d’intervention, comme le montre

le graphique ci-contre.

Les crédits de fonctionnement

(« Ressources humaines et frais

généraux », en rouge ci-contre) sont

presque exclusivement consacrés aux

ressources humaines (salaires et

charges), comme en témoigne le graphique ci-après. Source : données APF, exploitation Planète Publique

216 074

239 583

0%

20%

40%

60%

80%

100%

Répartition des frais associés au programme NORIA

(moyennes annuelles de la période 2006-2014)

Ressources humaines et frais généraux Crédits d’intervention

Page 30: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

30

Evaluation du programme NORIA – Rapport final

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

70,0%

80,0%

90,0%

100,0%

Répartition des crédits de fonctionnement du programme NORIA

(moyennes annuelles de la période 2006-2014)

Salaires, charges et avantages Missions réunions statutaires

Réunions professionnelles Fournitures et frais divers

Frais bancaires Frais comptables

Télécommunications Dotations aux amortissements

Les frais du programme NORIA tels qu’ils sont répartis apparaissent cohérents avec le

dimensionnement et les caractéristiques du programme. En effet, il s’agit d’un programme

relativement restreint (en comparaison avec les programmes d’aides proposés par d’autres

bailleurs de fonds), qui accorde une place importante à l’accompagnement et au suivi. En

conséquence, il semble logique que les crédits d’intervention soient plutôt limités, et que les

crédits de fonctionnement soient pour leur part conséquents. Ces derniers sont en effet

essentiellement consacrés aux ressources humaines, qui font partie intégrante de l’action

dans la mesure où le personnel n’assure pas simplement l’administration du programme

mais accompagne et réalise directement et opérationnellement les actions : analyse des

besoins, programmation, appui technique, accompagnement, etc.

Cette analyse est confirmée par l’approche comparative qui peut être conduite avec des

programmes semblables, à savoir les programmes conduits par l’OIF. L’Organisation

Internationale de la Francophonie finance en effet des programmes présentant des

caractéristiques proches de NORIA :

▪ programmes de montant limité : sur la période 2010-2015, le montant moyen

ordonnancé annuellement par programme de l’OIF s’élève à 781 k€ pour l’ensemble

des programmes des 4 missions de la stratégie francophone ; cette moyenne

recouvre un écart allant de 119 k€ pour le programme au montant moyen le plus

faible à 2.039 k€ pour le programme au montant moyen le plus élevé1 ; avec un

1 Source : Evaluation stratégique de la « contribution française à l’Organisation Internationale de la

Francophonie (OIF) » 2010 – 2015, rapport de Planète Publique pour le Ministère des Affaires

Etrangères français, 2017

Source : données APF, exploitation Planète Publique

Page 31: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

31

Evaluation du programme NORIA – Rapport final

montant moyen annuel de 456 k€ annuels sur la période 2006-2014, le programme

NORIA se situe dans cet ordre de grandeur ;

▪ programmes déployés dans les pays francophones ;

▪ programmes concernant des contenus alliant prestations techniques et

intellectuelles.

La comparaison Crédits de personnel / Crédits de programmation fait apparaître les ratios

respectifs suivant pour NORIA et pour l’OIF :

en k€ APF – Moyenne 2006-2014 OIF – Moyenne 2012-2016

Charges de

personnel 216 47% 26 129 51%

Charges de

programmation 239 53% 24 973 49%

Total 455 100% 51 102 100%

Source : Planète Publique à partir données APF et OIF (pour l’OIF, rapports de l’auditeur externe)

Le ratio constaté pour NORIA d’un ordre de grandeur paritaire entre charges de personnel et

charges de programmation, se retrouve plus globalement pour les programmes gérés par

l’OIF.

Il convient de noter par ailleurs que l’équipe dédiée au programme NORIA, a connu une

réduction de son dimensionnement au cours du temps. En effet, si les 3 postes nécessaires

au fonctionnement du programme sont encore bien pourvus, ceux-ci ne sont plus

entièrement dédiés à ce programme et opèrent quelques missions complémentaires. En

outre, par le passé, deux postes supplémentaires complétaient l’équipe : un poste de juriste-

documentaliste et un poste d’assistant parlementaire.

3.2.2 Des crédits de déplacement qui représentent une part limitée à

l’échelle du programme

Les crédits d’intervention, qui s’élèvent en moyenne annuellement à 240 000 euros,

comprennent essentiellement des équipements (48% de ce montant) et des formations et

séminaires (26%).

7%

48%19%

26%

Répartition des crédits d'intervention du programme NORIA

(moyennes annuelles de la période 2010-2016)

Autre

Equipement (matériel,logiciel)

Frais de missions

Formations/séminaires

Page 32: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

32

Evaluation du programme NORIA – Rapport final

Les crédits de déplacement représentent quant à eux 19% des crédits d’intervention, soit une

part limitée de ces montants. S’élevant en moyenne à 43 000 euros annuels, ils doivent

permettre de réaliser 3 à 4 missions de terrains auprès de différentes structures. A l’échelle

du programme, ces montants représentent 9,5% du budget global du programme, soit une

part limitée de celui-ci. Les frais de déplacement apparaissent donc également en cohérence

avec les modalités de conception et de déploiement actuelles du programme.

Ce ratio Crédits de déplacement / Montant global du programme de 9,5% est à nouveau

cohérent avec le ratio comparable pour l’OIF qui s’élève à 13,5%2.

Ainsi, le programme affiche d’un point de vue financier une cohérence d’ensemble. Sans

modifier sa logique et ses caractéristiques actuelles, il offre donc des marges de manœuvre

budgétaire limitées.

3.3 Les procédures d’appel d’offre sont-elles optimales ?

3.3.1 Des procédures d’appel d’offres bien rôdées

Les procédures d’appel d’offre conduites dans le cadre du programme NORIA recherchent

un équilibre entre pilotage centralisé et coopération locale. D’une part, les structures

bénéficiaires sont systématiquement sollicitées pour identifier les prestataires locaux

susceptibles d’intervenir, puis impliquées dans le processus de sélection. Cette démarche a

été perçue positivement par les bénéficiaires qui apprécient pouvoir bénéficier de l’expertise

de l’APF pour les appuyer dans le choix des prestataires.

D’autre part, la qualité de ces procédures relève également d’un suivi et d’un cadrage

important par l’équipe de NORIA, qui s’assure de la qualité des prestations proposées en

amont de leur sélection à travers des prises de contact directes avec les candidats. Les

prestataires interrogés ont ainsi eux-mêmes témoignés d’un cadrage fort des missions

conduites, qui distingue selon eux l’APF des autres bailleurs avec lesquels ils ont pu

travailler. Ils ont à ce titre insisté sur le sérieux des missions conduites par cette structure,

considérant la rigueur du cadrage opéré ainsi que le niveau d’implication dans le suivi, leur

permettant notamment de disposer d’un appui en cas de blocage.

In fine, l’ensemble des bénéficiaires interrogés se sont montrés satisfaits des interventions

opérées par les prestataires sélectionnés, témoignant ainsi d’une capacité fonctionnelle vis-

à-vis des objectifs fixés.

3.4 Les modalités de suivi des réalisations durant les 4 ans

de mise en œuvre sont-elles adaptées ?

3.4.1 Des modalités de suivi adaptées et nécessaires

L’ensemble des acteurs rencontrés ont souligné la qualité du suivi opéré sur les missions

menées : le cadrage fort permis par l’investissement de l’équipe NORIA a été pointé comme

l’un des atouts du programme. En outre, les missions de terrain réalisées annuellement ont

été perçues positivement par les bénéficiaires qui estiment qu’il ne s’agit pas uniquement

2 Source OIF : rapport de l’auditeur externe 2014

Page 33: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

33

Evaluation du programme NORIA – Rapport final

d’un programme permettant de percevoir des aides financières, mais bien d’un programme

au centre duquel l’accompagnement occupe une place cruciale, reposant sur une véritable

présence de l’APF à leurs côtés.

Cette présence est de plus perçue comme nécessaire pour lever certaines difficultés

rencontrées lors du déploiement du programme. Les bénéficiaires ont en effet mentionné

parfois des blocages dans la mise en œuvre des formations notamment, relevant

principalement d’une difficulté à mobiliser les supérieurs hiérarchiques. Dans ces cas, la

capacité de l’équipe à entrer en contact direct avec les parlementaires ou avec les supérieurs

hiérarchiques facilite la mobilisation de ces acteurs lorsque celle-ci est requise.

D’autres difficultés ont pu être évoquées au cours des entretiens, mais elles relevaient

généralement d’éléments contextuels extérieurs au programme, sans rapport avec le travail

de l’APF : évènements politiques (tensions suspendant l’activité parlementaire), aléas

(incendies, déménagement de l’institution) ou contraintes matérielles (bâtiments inadaptés

pour permettre une évolution importante du mode de fonctionnement de la structure).

3.5 Conclusions de la question 3

Les modalités de mise en œuvre et de suivi sont-elles optimales ?

▪ Le programme est bien mis en œuvre, tant en ce qui concerne les appels d’offres

que le suivi et l’interaction avec les bénéficiaires

▪ Le budget de fonctionnement, tourné vers l’opérationnel, présente des marges de

manœuvre limitées

▪ Les modalités d’attribution et de conventionnement sont susceptibles de gagner

en précision pour mieux s’adapter au déploiement dans le temps (déploiement

des travaux sur 4 ans uniquement actuellement, soit une temporalité rigide)

Page 34: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

34

Evaluation du programme NORIA – Rapport final

4 Question 4 : EFFICACITE ET IMPACTS

4.1 Les actions d’accompagnement pour l’appropriation des

outils (matériels et logiciels) sont-elles suffisantes ?

4.1.1 Un besoin de renforcement du volet de formation

Les formations réalisées dans le cadre du programme NORIA sont très appréciées par leurs

bénéficiaires. Qualifiées d’utiles, elles sont en outre perçues comme bien dimensionnées et

comme s’adressant plutôt aux bons acteurs au sein des structures parlementaires. Selon

l’objectif recherché, les formations proposées ciblent en effet selon eux de façon plutôt

pertinente les acteurs en interne, à la fois lorsqu’elles sont concentrées sur une thématique

professionnelle particulière, propre à certains services ou agents (documentalistes,

informaticiens), mais également lorsqu’elles visent à générer un changement de pratiques,

s’adressant alors à un public plus large et transversal.

Ces formations sont en outre jugées indispensables pour assurer l’appropriation du matériel

nouveau, voire pour garantir l’implantation de nouvelles méthodes de travail. Une demande

forte et généralisée en faveur du renforcement de ce volet « formation » a pu être recueillie

au cours des entretiens menés. Les acteurs rencontrés perçoivent en effet à travers ces

formations une « clé » pour produire un impact sur le long terme, et ont à ce titre exprimé le

souhait de voir celles-ci toucher un nombre encore plus important de personnes, ou être

réitérées dans le temps de façon à pouvoir ancrer les savoirs de façon pérenne.

4.1.2 Des processus de formation qui n’apparaissent pas totalement

en mesure d’avoir un impact sur le long terme actuellement

Malgré les enjeux forts perçus autour des formations et l’avis positif qui ressort à leur sujet,

celles-ci n’apparaissent pas tout à fait suffisantes actuellement pour produire des impacts

sur le long terme. En effet, réalisées au sein de structures soumises à une mouvance

importante de leurs ressources humaines, le maintien et l’ancrage des nouveaux savoirs

dans le temps s’avèrent difficile à garantir au vu du nombre de formations généralement

réalisé. Le renouvellement rapide des agents et/ou parlementaires formés tend en effet à

freiner la transformation des pratiques sur le long terme.

Contrairement à l’opinion d’une partie des acteurs qui considèrent que les formations

s’adressent aux acteurs pertinents, d’autres estiment par ailleurs que le ciblage des

bénéficiaires des formations n’est pas nécessairement optimal au regard de la mouvance des

ressources humaines dont font preuve ces structures. En effet, selon une partie des agents

interrogés, ces formations devraient plus spécifiquement viser les fonctionnaires, qui sont

enclin à rester plus d’un mandat contrairement aux parlementaires, dont la présence est par

définition moins acquise dans la durée.

Pour d’autres en revanche, l’enjeu consisterait justement plutôt à sensibiliser de façon plus

accrue les parlementaires au changement de pratiques, de façon à ce qu’ils soient à mêmes

d’impulser eux-mêmes ces évolutions après le départ du programme. Selon ces acteurs, le

souci principal résiderait en effet plutôt dans la difficulté à intégrer les apprentissages en

Page 35: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

35

Evaluation du programme NORIA – Rapport final

interne en raison d’un manque de portage politique. Les destinataires des formations

devraient donc selon eux être prioritairement les parlementaires afin de répondre à cet

enjeu.

Globalement, la pérennité des changements impulsés par les formations conduites peine

donc finalement à être assurée, plaidant ainsi en faveur d’un renforcement de celles-ci dans

la durée.

4.2 Les conditions du bon fonctionnement des équipements

déployés sont-elles en place au moment de la fin du

programme (contrats de maintenance, animation des sites

web…) ?

4.2.1 Des interventions abouties, mais qui se voient parfois limitées

en raison de facteurs extérieurs au programme

Les bénéficiaires considèrent dans l’ensemble que les actions réalisées par NORIA ont bien

été menées à terme : aucun d’entre eux n’a fait état de matériel dysfonctionnel laissé à

l’issue du programme, ou de l’abandon d’une partie des actions prévues en fin de mission.

Les actions envisagées sont ainsi généralement effectivement mises en œuvre, et de façon

satisfaisante aux yeux des institutions en bénéficiant.

L’exploitation du matériel acquis reste cependant parfois limitée en raison de facteurs

externes au programme. Comme mentionné précédemment, les entretiens ont pu faire

remonter des cas où l’infrastructure dont disposait le parlement bénéficiaire ne réunissait

pas les conditions nécessaires au bon fonctionnement des outils (bâtiment limitant,

infrastructure technique insuffisante...). Dans d’autres cas, ce sont les évènements

rencontrés par l’institution bénéficiaire qui ont pu limiter la portée des actions conduites :

activité parlementaire suspendue en raison d’évènements politiques, changement de

bâtiment à l’issue du programme, changement de majorité mettant fin aux avancées

amorcées...

Ainsi, bien que les interventions du programme NORIA aboutissent généralement dans de

bonnes conditions, celles-ci se voient donc parfois limitées pour des raisons qui n’émanent

pas de l’APF.

4.2.2 Une difficulté à faire perdurer la dynamique après le départ du

programme

Comme mentionné précédemment, plusieurs interlocuteurs ont pointé un manque de

portage politique au sein de leur structure vis-à-vis du programme NORIA, qui s’est avéré

constituer un facteur limitant pour assurer le maintien de la dynamique dans le temps. Les

agents rencontrés ont en effet fait part de difficultés à mobiliser les parlementaires pour

investir les fonds nécessaires au renouvellement des infrastructures ou des licences,

indispensables pour garantir le bon fonctionnement des outils dans le temps. Ainsi, la

dynamique tend à s’essouffler suite au départ du programme et les techniciens impliqués

dans les évolutions portées par NORIA ont pu constater une perte globale de réactivité sans

l’appui de l’APF. Dans certains cas, les infrastructures ne disposent d’ailleurs pas elles-

mêmes d’une expertise interne pour résoudre les problèmes informatiques rencontrés et

Page 36: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

36

Evaluation du programme NORIA – Rapport final

animer la gestion des projets numériques. Cette absence d’animateur réseau dédié constitue

alors un facteur fortement limitant pour faire perdurer les transformations amorcées.

Ces constats peuvent néanmoins être nuancés par le témoignage des prestataires, qui ont

pour leur part expliqué qu’ils continuaient généralement à être ponctuellement sollicités en

cas de soucis à l’issue du programme. Cette situation révèle ainsi dans certains cas le

maintien d’une dynamique de progrès au sein des institutions bénéficiaires, lesquelles

cherchent à lever les blocages rencontrés afin de pouvoir continuer à utiliser les outils mis

en place dans le cadre du programme NORIA.

4.3 Quelle est la perception des fonctionnaires et

parlementaires quant à l’apport des outils et à leur

utilisation effective ?

4.3.1 Une appropriation effective du matériel obtenu

Le matériel qui a été distribué dans le cadre du programme NORIA paraît effectivement

utilisé par les agents des parlements bénéficiaires, en particulier lorsqu’il s’agit

d’ordinateurs, d’imprimantes, d’écrans, ou de systèmes de vote. L’appropriation de ce

matériel apparaît aller de soi tant le besoin est important en la matière. Certains ont ainsi

expliqué qu’ils travaillaient auparavant manuellement, sur des supports papiers, et que

l’arrivée d’ordinateurs a naturellement été accueillie positivement et a modifié leurs

pratiques.

En matière d’archivage également, les personnes interrogées ont expliqué avoir désormais la

possibilité de stocker les informations numériquement, ce qui transforme profondément

leurs pratiques. Un gain de temps est de même constaté en ce qui concerne l’enregistrement

des débats lors des séances parlementaires, lequel pouvait prendre plusieurs mois

auparavant, et se fait désormais numériquement. L’installation de systèmes de votes

électroniques dans les assemblées a également été mentionnée comme progrès ayant un

impact direct sur le fonctionnement de celles-ci. Ainsi, les exemples en la matière sont

nombreux, et révèlent une capacité effective à informatiser ou automatiser, grâce au

programme NORIA, des procédures qui nécessitaient auparavant un temps conséquent.

4.3.2 Un effet relativement limité en termes d’impact sur les

comportements et pratiques de travail, au-delà du volet

matériel

En ce qui concerne le volet « organisationnel » en revanche, les évolutions sont plus

nuancées. Une distinction peut être effectuée en fonction du statut des acteurs, selon leur

niveau hiérarchique, et la position de parlementaire ou de technicien. Globalement, les

entretiens réalisés ont pu mettre en évidence une réelle montée en compétence ressentie par

les informaticiens ou documentalistes. Pour ces personnes dont le métier est technique, les

formations opérées apparaissent avoir constitué une véritable plus-value, leur permettant

d’utiliser de nouveaux outils et logiciels que ce soit en matière d’archivage, de gestion, de

messagerie, d’intranet, etc.

La capacité du programme NORIA à faire évoluer les méthodes de travail des parlementaires

et des agents occupant les fonctions stratégiques s’est en revanche révélée plus limitée. Une

Page 37: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

37

Evaluation du programme NORIA – Rapport final

réticence au changement a majoritairement été ressentie par les personnes interrogées, et

des exemples concrets ont pu mettre en évidence les freins constatés quant à

l’appropriation des outils disponibles par ces acteurs. Un informaticien s’est par exemple vu

confronté à la difficulté d’alimenter le site internet créé dans le cadre du programme NORIA

par manque de mobilisation et d’implication des parlementaires à ce sujet. Un autre a pour

sa part évoqué la faible utilisation de la plateforme collaborative créée à destination des

parlementaires, en raison d’une réticence de ces derniers à rendre visible leur travail, voire à

coopérer avec des parlementaires qui ne seraient pas de leur bord politique.

Ces constats ne sont néanmoins pas unanimes, et certains acteurs ont à l’inverse plutôt fait

part d’un sentiment de progression au sein de leur structure, considérant que les actions

conduites ont porté des impacts positifs sur l’évolution des pratiques et des méthodes de

travail. La nature de ces impacts reste cependant généralement peu détaillée, les acteurs

ayant simplement évoqué le sentiment général d’un développement de modalités de travail

plus organisées, et d’une meilleure capacité des acteurs à collaborer entre eux sans que cela

ne se traduise par des exemples concrets.

Ainsi, si les supports de travail créés sont plutôt bien mobilisés et appropriés par les

bénéficiaires des différentes structures, les évolutions de pratiques restent en revanche à

géométrie variable, fonction du niveau d’implication des acteurs en faveur du changement

amorcé.

4.3.3 Un sentiment de renforcement du processus démocratique

dans certains cas

Dans les cas où l’intervention a porté sur la création d’un site internet ou la mise en ligne de

débats, les acteurs interrogés ont par ailleurs valorisé l’apport en termes de visibilité pour le

travail parlementaire que ces actions représentent. Cette visibilité accrue constitue en

particulier à leurs yeux une nouveauté qui amorce une véritable avancée démocratique pour

leur Etat.

4.4 Quelles sont les modalités de suivi des réalisations

« post-convention » (formelle ou informelle) ?

4.4.1 Un suivi post-convention limité pour prendre connaissance des

effets et évolutions à l’issue du programme

Dans le cadre du programme NORIA, un suivi post-convention est bien formalisé à travers

l’envoi de questionnaires aux bénéficiaires à l’issue du programme. Composés d’une dizaine

de questions, ceux-ci interrogent à la fois l’appréciation du déroulement du programme

(cadence, qualité de l’accompagnement, implication du bénéficiaire...) ainsi que ses effets

(niveau d’intégration des nouvelles technologies dans les pratiques, appropriation des

acquis...).

Malgré une formalisation effective de ce suivi, celui-ci s’avère néanmoins limité. Tout

d’abord, ces questionnaires restent tributaires des répondants : ils reposent sur leur bonne

volonté quant à leur renvoi, ainsi que sur leur implication pour constater et relever les

changements apportés par le programme en interne. Le jugement porté dans les réponses

Page 38: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

38

Evaluation du programme NORIA – Rapport final

envoyées dépend de plus a priori uniquement du point de vue d’une seule personne et

s’avère à ce titre potentiellement incomplet. En outre, ils ne permettent pas véritablement de

prendre connaissance des effets du programme en interne : si les répondants sont libres

d’étayer et de détailler leurs réponses, la plupart d’entre eux se contentent généralement de

répondre en une ligne à ces questions, voire simplement de répondre par « oui » ou « non ».

Ainsi, ce procédé, qui reste intéressant de par son faible coût, représente un suivi « a

minima », qui s’apparente plus à un questionnaire de satisfaction qu’à un véritable suivi de

l’appropriation et des évolutions des structures aidées a posteriori.

4.4.2 Un procédé qui n’est pas en mesure de contribuer au maintien

d’une dynamique dans la durée

Le questionnaire proposé représente une action relativement neutre, qui vise uniquement à

faire état de la situation à l’issue des aides apportées. Il ne s’agit pas d’un outil susceptible

d’accompagner les structures dans leur progression, de les motiver à faire perdurer les

évolutions, ou de susciter une dynamique continuelle visant au maintien des avancées

amorcées.

Or il s’agit là d’un enjeu important si l’on considère notamment la tendance à

l’essoufflement précédemment mentionnée qui prédomine généralement suite au départ du

programme NORIA. Certains bénéficiaires interrogés ont d’ailleurs eux-mêmes évoqué le

besoin de renforcer le suivi du programme NORIA dans le temps, notamment à destination

de leur propre structure afin de pouvoir auto-évaluer les progrès effectués, et pouvoir

rendre compte de ceux-ci, ainsi que des blocages sur lesquels travailler à l’avenir. A ce titre,

ces acteurs ont par exemple suggéré de développer un accompagnement à la mise en place

d’un programme précis d’indicateurs à suivre en interne, de façon à disposer de données

permettant de susciter l’engagement continu de leur structure et facilitant en ce sens

également la capacité à rendre compte à l’APF.

4.5 Le dispositif de suivi et d’évaluation du dispositif

NORIA permet-il de suivre efficacement l’impact du

programme et d’en rendre compte auprès de l’APF et de

l’OIF ?

4.5.1 Un suivi effectif du déploiement du programme mais une

vision d’ensemble synthétique insuffisante

Le programme NORIA fait l’objet d’une production riche de documents de suivi visant à

rendre compte des avancées et réalisations. Des rapports sont généralement élaborés pour

chaque bénéficiaire tout au long des missions effectuées, aussi bien concernant l’évaluation

des besoins, les réalisations annuelles, ou le déroulé des missions de suivi. De nombreux

documents sont en conséquence disponibles pour suivre la mise en œuvre du programme au

cas par cas. De plus, les rapports d’activité réalisés permettent également un suivi plus

global, annualisé.

Page 39: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

39

Evaluation du programme NORIA – Rapport final

Pour autant, une difficulté persiste à disposer d’une vision synthétique des réalisations, en

raison notamment d’un manque d’indicateurs harmonisés et compilés dans le temps.

Certains indicateurs sont effectivement disponibles, mais ceux-ci ont pu varier au cours du

temps, ou sont insuffisamment exploités pour la réalisation de synthèses donnant à voir le

programme dans sa globalité. A titre d’exemple, il n’existait pas de frise chronologique

faisant état de l’ensemble des pays bénéficiaires au cours du temps, de même que la

répartition des frais par volet, par bénéficiaire, ou par type d’aides n’est pas exploitée. Ainsi,

un manque de synthèses et de compilation des données transparaît et pèse sur la capacité à

rendre pleinement compte des caractéristiques du programme. Ceci est en particulier rendu

complexe en raison du manque d’uniformisation et de systématisation des modalités de

suivi au cours du temps, étant donné notamment le temps long dans lequel s’est déployé le

programme.

Enfin, la capacité à rendre compte du programme repose actuellement uniquement sur les

rapports, synthèses et documents produits, dans la mesure où les techniciens porteurs du

programme ne sont pas directement impliqués auprès des parlementaires de l’APF pour

rendre compte de leur action. Cette situation apparaît constituer un facteur limitant eu

égard à l’importance du programme au sein de l’APF.

4.6 Conclusions de la question 4

Les participants s’approprient-ils les actions du programme ?

▪ Le matériel apporté est fortement approprié et de façon naturelle par les

bénéficiaires, à condition que celui-ci ne soit pas limité ou impacté par des

évènements extérieurs au programme

▪ L’appropriation est plus difficile concernant les autres registres d’action, lesquels

demandent un investissement conséquent pour garantir une véritable

appropriation

▪ La vision synthétique du programme et le suivi dans la durée restent limités

Page 40: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

40

Evaluation du programme NORIA – Rapport final

RECOMMANDATIONS

Page 41: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

41

Evaluation du programme NORIA – Rapport final

1 Fiches recommandations

1.1 Synthèse des conclusions

Les conclusions de l’évaluation peuvent être synthétisées en 7 grands points transversaux,

qui se déclinent en deux dimensions : la dimension stratégique et la dimension

opérationnelle.

Sous l’angle stratégique, les axes de travail portent à la fois sur les besoins des bénéficiaires,

l’articulation avec les partenariats, et le repositionnement des volets du programme dans

une logique de cohérence interne.

D’un point de vue opérationnel, il s’agit plus spécifiquement de repenser la durée des

interventions, de préciser les modalités d’attribution et de conventionnement, d’optimiser

l’appropriation sur le long terme, ainsi que d’améliorer la capacité à rendre compte des

réalisations et résultats du programme.

L’ensemble de ces conclusions transversales sont résumées dans le schéma suivant et

constituent le support des fiches recommandations présentées ci-après.

NORIA

1. Des besoins à

réexaminer

2. Des partenariats à

articuler

3. Trois volets à

repositionner

La stratégie La mise en oeuvre

4. Une durée de 4

ans à repenser

5. Des modalités

d’attribution et de

conventionnement à

préciser

6. Une appropriation

sur le long terme à

optimiser

7. Une capacité à

rendre compte à

améliorer

Page 42: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

42

Evaluation du programme NORIA – Rapport final

1.2 Détail des fiches recommandations

Chacune des grandes conclusions synthétiques fait l’objet d’une fiche recommandation qui

détaille à la fois les problématiques identifiées et propose un ensemble d’orientations

envisageables pour faire évoluer le programme.

1. Des besoins à réexaminer Dimension stratégique

Le problème : des besoins qui tendent désormais à évoluer

▪ Un programme encore pertinent pour des pays en situation de crise ou des pays très peu pourvus

en matériels mais des besoins moins d’actualité pour d’autres pays devenus plus autonomes sur

ces sujets (intégration de la problématique en interne, et capacité à faire appel à d’autres

donateurs)

▪ Un enjeu de développement du numérique, des réseaux sociaux, ou de l’intranet, dont la nécessité

est croissante au sein des parlements

▪ Des demandes qui se renforcent sur ces enjeux nouveaux : utilisation du numérique, droits

individuels de la personne, code de la presse...

▪ Des besoins de rencontres / partages / mise en réseau entre parlements (logique de comparaison)

qui ne sont plus traités depuis l’organisation des séminaires à l’échelle nationale

Les orientations envisageables

▪ Accentuer l’intervention sur les enjeux « citoyens » à travers des formations, séminaires, et la

création d’outils dédiés (site internet, vidéos...)

▪ Réduire l’intervention sur le volet matériel (abandon ou amoindrissement)

▪ Accentuer l’intervention en faveur du travail collaboratif à travers la création d’intranet et surtout

des formations visant à modifier les pratiques

▪ Proposer des séminaires réguliers inter-parlements et/ou visites de parlementaires au sein de

parlements voisins (sous forme « d’études de cas »)

Page 43: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

43

Evaluation du programme NORIA – Rapport final

2. Des partenariats à articuler Dimension stratégique

Le problème : une identification formelle des approches potentielles d’autres acteurs, mais ne

débouchant pas sur une stratégie explicite de complémentarité avec ces derniers

▪ Un financement de la modernisation parlementaire exercé par de nombreux acteurs

▪ L’APF : une institution qui dispose d’atouts spécifiques pour intervenir auprès des parlements

▪ Une vigilance de l’APF à garantir la cohérence externe de son action

▪ Une mise en cohérence qui repose cependant largement sur la coopération avec la structure

bénéficiaire, dont l’investissement sur le sujet s’avère variable

▪ Une mise en cohérence qui ne relève pas d’une stratégie fixée

Les orientations envisageables

▪ Veiller à la complémentarité des stratégies OIF / APF et à la coordination entre les deux structures

en définissant le rôle dévolu à chacun et les modalités de coopération entre les deux structures

▪ Formaliser les coopérations avec d’autres acteurs : au-delà des interventions réalisées auprès des

bénéficiaires, identifier en amont les bailleurs susceptibles d’agir sur des thématiques similaires,

organiser des rencontres et définir les axes d’action de chacun, voire renforcer les démarches de

co-financement

▪ Informer systématiquement les autres bailleurs partenaires des bénéficiaires sélectionnés et des

opérations prévues

▪ Positionner l’APF dans un rôle de coordonnateur des aides auprès des bénéficiaires (cf scénario B)

Page 44: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

44

Evaluation du programme NORIA – Rapport final

3. Trois volets à repositionner Dimension stratégique

Le problème : une conception générale qui manque de cohérence interne entre les 3 actions et qui

s’appuie sur un cadre quadriennal parfois trop rigide

▪ Un programme qui apporte des réponses multiples pour atteindre des objectifs variés, sans que

ces objectifs ne soient toujours clairement identifiés en amont des interventions et sans que les

appuis proposés ne clarifient toujours la logique dans quelle ils s’inscrivent

▪ Une concentration de fait du programme autour du pilier 1 qui diminue la visibilité d’ensemble

▪ Une cohérence interne limitée :

- Appui 3 : une demande forte sur ce sujet, mais une logique d’action qui entre en tension

avec l’appui 1 et son volet formation, ainsi qu’avec les autres actions de l’APF

- Appui 2 : une action qui relève de l’enjeu de diffusion de la langue française porté par

l’OIF, avec un engagement APF lié au fait qu’il s’agisse de parlementaires

Les orientations envisageables

▪ Renforcer le rôle d’accompagnement de l’APF en focalisant les interventions sur les actions sur

lesquelles elle peut avoir une plus-value (aides non réalisables dans de bonnes conditions par

d’autres bailleurs – logique de mise à disposition de l’expertise)

▪ Redéfinir le rôle des différents volets :

- Un volet exclusivement consacré au matériel, pour les situations de crise ou d’urgence, à

définir au cas par cas (dans une logique de réduction des moyens alloués au matériel)

- Un volet consacré à la diffusion de la langue française (volet 2 maintenu)

- Un volet consacré au renforcement des pratiques (enjeu citoyen et parlementaire,),

concentrant l’ensemble des formations, stages, séminaires nationaux et internationaux

(mise en réseau)

► Décomposer éventuellement ce dernier en sous-volets : enjeu citoyen / enjeu

parlementaire / enjeu de mise en réseau des parlements

Page 45: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

45

Evaluation du programme NORIA – Rapport final

4. Une durée de 4 ans à repenser Dimension opérationnelle

Le problème : une temporalité quadriennale rigide

▪ Une durée unique du programme : 4 ans pour chaque parlement, quels que soient les besoins /

conditions de réalisation

▪ Une impossibilité à opérer des interventions « légères » sur un an pour des pays qui seraient déjà

avancés

▪ Mais une rigidité technique qui préserve des influences politiques, à l’intérieur de cette règle des

4 ans, et qui permet d’inscrire le programme dans une durée suffisamment longue pour

permettre le développement d’actions impactantes, sur la base d’objectifs réalistes à moyen

terme

▪ Des souhaits d’évolution variés : s’inscrire dans le plus long terme, assurer l’adéquation avec les

mandats politiques, perdurer au-delà du mandat politique pour assurer l’ancrage des évolutions

opérées...

Les orientations envisageables

▪ Prévoir des durées fixes différenciées en fonction des volets (selon recomposition des volets)

▪ Prévoir des durées fixes différenciées sur la base de catégories préétablies (type d’aide, niveau

financier investi, caractéristiques des besoins...), au sein même des différents volets

▪ Prévoir une durée fixe de base, négociable au cas par cas selon les conditions de déploiement du

programme (négociation en cours ou à l’issue de l’intervention)

▪ Prévoir la possibilité d’ancrer certaines actions dans le temps d’un mandat

Page 46: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

46

Evaluation du programme NORIA – Rapport final

5. Des modalités d’attribution et de conventionnement à préciser Dimension

opérationnelle

Le problème : des modalités d’attribution qui ne reposent pas sur une stratégie structurée et un

programme qui s’organise pragmatiquement au cas par cas

▪ Une sélection des bénéficiaires en partie influencée par une nécessité de « roulement » et la

volonté de respecter des équilibres géopolitiques

▪ Une adaptation de l’intervention aux besoins qui se fait « chemin faisant » (revue annuelle)

Les orientations envisageables

▪ Formaliser la rotation entre les pays

▪ Conditionner les interventions : en fonction du niveau des montants investis sur le sujet par la

structure, en fonction de la présence d’autres bailleurs...

▪ Préciser la liste de critères permettant de sélectionner les bénéficiaires, hiérarchiser ces critères,

et définir les montants / actions auxquels les parlements sont éligibles en fonction de ceux-ci

▪ Cadrer de façon exhaustive les modalités d’intervention mobilisables au sein de chaque volet, et

les montants attribués par intervention

▪ Dresser de façon exhaustive la feuille de route pour l’ensemble de la durée de l’intervention dès la

réalisation de la mission de terrain

Page 47: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

47

Evaluation du programme NORIA – Rapport final

6. Une appropriation sur le long terme à optimiser Dimension opérationnelle

Le problème : une difficulté à faire perdurer la dynamique après le départ du programme

▪ Une exploitation parfois incomplète des supports de travail créés et des évolutions de pratiques à

géométrie variable (difficultés qui concernent avant tout les parlementaires)

▪ Un manque de portage politique interne qui limite souvent le maintien de la dynamique dans le

temps ; dans certains cas, une absence d’expertise interne pour résoudre les problèmes, animer la

gestion informatique (pas d’animateur réseau dédié)

▪ Un besoin de renforcement du volet de formation : des demandes visant à toucher plus de

personnes, et répéter les formations à destination des mêmes acteurs dans le temps

▪ Des structures soumises à une mouvance importante des ressources humaines

Les orientations envisageables

▪ Renforcer le volet formation, notamment à destination des techniciens (plus de formations,

organisées sur du plus long terme)

▪ Renforcer le portage politique au sein des structures bénéficiaires en conditionnant les aides à la

présence de responsables issues des structures bénéficiaires lors de réunions de suivi /

mobilisant l’ensemble des parlementaires lors de temps forts de formation...

▪ Proposer un accompagnement des points focaux identifiés au sein des parlements bénéficiaires

au-delà des missions conduites / mettre à disposition l’expertise de l’APF sur demande auprès

des parlements ayant déjà bénéficié du programme pour les aider dans leurs propres projets (au-

delà de NORIA)

▪ Définir en amont, par type d’aides proposées, quelques indicateurs à remplir par les bénéficiaires

pour assurer un suivi du niveau d’appropriation

▪ Inciter les parlements bénéficiaires à organiser une présentation des résultats auprès des

parlementaires pour raviver la dynamique à l’issue des missions conduites (un an après par

exemple)

▪ Opérer des actions de suivi des réalisations articulées avec les déplacements organisés à d’autres

occasions (visite sur site ponctuelle par d’autres membres de l’APF pour constater les avancées)

▪ Mobiliser des prestataires locaux pour constater les avancées réalisées en interne

Page 48: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

48

Evaluation du programme NORIA – Rapport final

7. Une capacité à rendre compte à améliorer Dimension opérationnelle

Le problème : un suivi effectif du déploiement du programme mais une vision d’ensemble

synthétique insuffisante

▪ Une production riche de rapports de suivi pour rendre compte du programme

▪ Néanmoins, une difficulté à disposer d’une vision synthétique des réalisations de façon annuelle,

pluriannuelle, et par bénéficiaire

▪ Une capacité à rendre compte qui repose uniquement sur ces rapports

Les orientations envisageables

▪ Structurer le reporting en rassemblant l’ensemble des données jugées nécessaires au suivi

(réalisations, montants, bénéficiaires sélectionnés...) au sein d’un document unique organisé selon

une série de critères permettant une exploitation aisée (bénéficiaires, volets et types d’action

concernés ; année considérée...)

▪ Continuer à produire des suivis qualitatifs synthétiques par bénéficiaire répondant aux demandes

des parlementaires

▪ Formaliser des synthèses annuelles par volet (ou adapter selon les durées d’intervention) et

compiler les données au cours du temps

▪ Renforcer le portage politique à l’APF

- en organisant un système de « parrainage » du programme par un parlementaire ou une

commission, associée au suivi et ponctuellement invitée sur le terrain ;

- en organisant des rencontres régulières entre l’équipe NORIA et les parlementaires pour

rendre compte de l’action

Page 49: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

49

Evaluation du programme NORIA – Rapport final

2 Scénarios d’évolution

2.1 Présentation de la logique de construction des

scénarios

Les pistes d’évolution stratégiques et opérationnelles précédemment présentées constituent

un ensemble de propositions d’évolutions, pas nécessairement compatibles entre elles, mais

offrant une ouverture sur les possibilités existantes. En fonction des choix effectués sur la

base de ces propositions, le programme est susceptible de suivre des directions marquées,

que nous présentons ci-après sous la forme de « scénarios ».

Ces scénarios, au nombre de 4, sont construits sur la base de deux critères discriminants :

- le nombre de bénéficiaires touchés ;

- la nature des interventions, ciblées sur des besoins innovants ou centrées sur du

matériel ;

Le schéma ci-dessous présente ces scénarios et leur positionnement vis-à-vis de ces critères.

Les modalités de chacun d’entre eux sont spécifiées ci-après.

C. Le scénario

d’accompagnement

pérennisant

B. Le scénario partenarial

en support

D. Le scénario autonome

ciblé

A. Le scénario optimisé

Investissement renforcé sur les besoins innovants

Investissement conservé sur les besoins d’origine, plutôt matériels

Concentration des interventions

Elargissement de la couverture d’intervention

L’APF FORMATEUR L’APF INNOVATEUR

L’APF COORDONNATEUR L’APF OPERATEUR

Page 50: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

50

Evaluation du programme NORIA – Rapport final

2.2 Le scénario optimisé : l’opérateur (A)

► Concentration des interventions

► Investissement conservé sur les besoins d’origine, plutôt matériels

Ce scénario « optimisé » repose sur une conservation de la logique stratégique existante du

programme NORIA. L’équilibre actuellement défini entre les 3 volets et le développement

d’actions répondant à une palette de besoins diversifiés (matériels, linguistiques, logistiques,

communicationnels...) serait dans ce cadre préservé. De même, ce scénario propose de

maintenir la logique existante d’articulation partenariale au cas par cas, grâce à des prises

de contact spécifiques en fonction des structures intervenantes identifiées.

L’essentiel des modifications porterait en conséquence plus spécifiquement sur

l’amélioration de la mise en œuvre du programme, avec 4 axes de travail :

- la modification de la durée d’intervention arrêtée à 4 ans ;

- la définition de critères clairs pour l’attribution des aides ;

- le développement d’actions visant à optimiser l’appropriation des avancées par les

bénéficiaires ;

- l’amélioration de la procédure visant à rendre compte des réalisations opérées dans

le cadre du programme.

2.3 Le scénario partenarial en support : le coordonnateur

(B)

► Elargissement de la couverture d’intervention

► Investissement conservé sur les besoins d’origine, plutôt matériels

Ce scénario B place au cœur de sa stratégie un repositionnement de l’APF dans une posture

de coordonnateur des aides à destination des parlements bénéficiaires : il propose à cette

institution de jouer un rôle de soutien et de pilotage sur la thématique de la modernisation

des parlements. Dans ce cadre, l’APF se donnerait pour fonction d’orienter et d’organiser la

mise en cohérence des interventions d’acteurs aux moyens financiers plus conséquents. De

fait, ce scénario comprendrait en conséquence un retrait de l’APF en termes d’apport d’aides

matérielles ou de formations, considérant que ce rôle revient avant tout aux autres bailleurs.

Il s’agirait également de positionner l’APF dans un rôle d’appui aux parlements bénéficiaires

pour identifier les besoins, les prioriser, ainsi que pour faire appel à des aides (démarche

d’ingénierie).

Parallèlement, ce scénario prévoit un investissement accru de l’APF sur le registre de la mise

en réseau des parlements, à travers l’organisation de séminaires favorisant la rencontre

entre ceux-ci.

La mise en œuvre d’un tel scénario suppose néanmoins un portage politique important au

sein de l’APF ainsi qu’une reconnaissance forte de la légitimité de l’APF sur le terrain.

Page 51: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

51

Evaluation du programme NORIA – Rapport final

2.4 Le scénario d’accompagnement pérennisant : le

formateur (C)

► Elargissement de la couverture d’intervention

► Investissement renforcé sur les besoins innovants

Ce scénario « d’accompagnement pérennisant » se centre pour sa part sur la thématique du

changement de pratiques à travers un renforcement du volet formations et séminaires.

L’APF proposerait à ce titre des formations plus nombreuses, plus régulières, et s’inscrivant

dans le long terme en vue d’un changement effectif des pratiques. L’organisation de

séminaires inter-parlements constituerait également une composante importante du

programme.

A l’inverse, l’intervention matérielle serait pour sa part réduite, ciblée sur l’apport ponctuel

de logiciels. Afin de compenser ce retrait, une articulation renforcée avec les autres bailleurs

finançant le matériel informatique serait organisée.

Ce scénario permettrait par ailleurs d’élargir la couverture des interventions et donc de

toucher un nombre de bénéficiaires plus élevés, grâce au déploiement d’interventions plus

ponctuelles bien que s’inscrivant dans le long terme.

2.5 Le scénario autonome ciblé : l’innovateur (D)

► Concentration des interventions

► Investissement renforcé sur les besoins innovants

Le scénario autonome ciblé est avant tout marqué par une concentration des interventions :

- à la fois dans leurs modalités : celles-ci toucheraient un nombre réduit de

bénéficiaires, sur une durée réduite de 1 à 3 ans ;

- mais également sur leurs thématiques : les actions conduites viseraient avant tout à

répondre aux besoins d’innovation des parlements répondant à la fois à des enjeux

de démocratisation (actions relatives à la communication, aux réseaux sociaux, aux

médias, à l’utilisation de vidéos...), mais également à des es enjeux d’amélioration des

pratiques parlementaires (apports logiciels, renforcement du travail collaboratif...).

Mettre en œuvre ce scénario suggérerait un renforcement du volet formation de l’APF, ainsi

qu’un retrait de l’institution sur le volet matériel, en concentrant celui-ci sur des

interventions très limitées.

Proche du scénario C, celui-ci s’en distingue en proposant des actions fortes et ponctuelles,

lorsque le précédent proposait des interventions légères, auprès de nombreux bénéficiaires,

sur le long terme.

Page 52: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

52

Evaluation du programme NORIA – Rapport final

Page 53: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

53

Evaluation du programme NORIA – Rapport final

ANNEXE 1 : LISTE DES ENTRETIENS

REALISES

Page 54: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

54

Evaluation du programme NORIA – Note de Cadrage

APF

▪ Jacques CHAGNON, Président

▪ Michèle ANDRE, Secrétaire Générale Parlementaire par intérim

▪ André TERRASSE, Ancien Secrétaire Général Parlementaire

▪ Robert AUBIN, Président Commission Affaires Parlementaires

▪ Thierry VANEL, Secrétaire Général AdmInistratif

▪ Didier LE BOT, Ancien Secrétaire Général AdmInistratif

▪ Jean-Luc LALA, Ancien Secrétaire Général AdmInistratif

▪ Philippe PEJO, Conseiller Commission Affaires Parlementaires

▪ Mireille EZA, Directrice Programme Noria

▪ Nicolas DEMOUY, Informaticien

▪ Stéphanie KLEIN, Assistante de gestion

OIF

▪ George NAKSEU, Directeur Affaires politiques et gouvernance démocratique

▪ Caroline NOKERMAN, Responsable coordination des réseaux institutionnels

Bénéficiaires appui 1

▪ Amin AHMAD AMIN, Chef de Centre Multimédia - Chargé d'Études (CAB PAN) – Assemblée Nationale du Cameroun

▪ Awanta Maurice BAO, Chef de la Division Documentation et des Archives - Assemblée Nationale du Togo

▪ Edem K. FOLIKPO-AWUTE, Responsable Informatique - Assemblée Nationale du Togo

▪ Marc RAWABUNGU, Secrétaire général – Assemblée nationale du Burundi

▪ Henri DJONGA, Directeur informatique – Sénat de RDC

▪ Jean NGUVULU KOJI, Secrétaire général – Assemblée Nationale de RDC

▪ Tafita NAORY FRIGUE, Secrétaire administratif de section – Assemblée Nationale de Madagascar

▪ Calvin RANDRIAMAHAFANJARY, Inspecteur général (ancien SG) – Assemblée Nationale de Madagascar

▪ Mathias NGADI, Chef du service informatique – Côte d’Ivoire

Bénéficiaires appui 2

▪ Ecaterina GAMURAR, Direction information et analyses – Parlement de Moldavie

▪ Maria ANGELOPOULO, Responsable APF – Parlement de Grèce

Experts et prestataires

▪ Vannina PATRIARCHE, Chef information multimédia Assemblée nationale française

▪ Benadjingar GOLDUM, Institut Africain d'Informatique

▪ Denis MOTTE, DIP Systèmes

▪ Bertrand BISENGIMANA, ASSYST

Page 55: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

55

Evaluation du programme NORIA – Note de Cadrage

Page 56: Evaluation du programme NORIA - apf.francophonie.orgapf.francophonie.org/IMG/pdf/eval_noria_rapport_final.pdf · 30, rue de Fleurus - 75006 Paris – Tél. : 01 80 05 16 05 – contact@planetepublique.fr

56

Evaluation du programme NORIA – Note de Cadrage

30, rue de Fleurus

75 006 PARIS

www.planetepublique.fr

01 80 05 16 05

[email protected]