2. Oppsummering av undersøkelsen
De seks undersøkte prosjektene er ulike både hva angår økonomiske rammer, størrelse, fokus og kompleksitet. Tiltakene kan inndeles i tre hovedkategorier. De tre Verdensbankprosjektene, ett i Laos (EDP) og to i Niger (PEDP og BESP), er omfangsrike tiltak rettet mot å styrke ulike deler av grunnskolesektoren. De to UNESCO-prosjektene i Laos (Lao 11 og 12) har enkelte likhetstrekk ved at begge er små prosjekter rettet mot alfabetisering og uformell opplæring. Det siste UNESCO tiltaket, APPEAL, utgjør en egen kategori. APPEAL er et omfattende alfabetiseringsprogram rettet mot flere land i Asia og stillehavsregionen, inkludert Laos.
Undersøkelsen viser at prosjektene i hovedsak er innrettet i tråd med norske mål og prinsipper for bistand. Til tross for dette viser undersøkelsen svakheter i implementeringsfasen. Dette gjelder særlig for Verdensbankprosjektene. Det er blant annet grunn til å reise spørsmål ved dimensjoneringen av prosjektene i regi av Verdensbanken i forhold til mottakerstatenes kapasitet til å administrere og gjennomføre dem. Undersøkelsen gir også grunn til å etterlyse større bevissthet rundt de utdanningspolitiske sidene ved denne typen bistandsprosjekter.
Undersøkelsen gir videre grunnlag for å sette spørsmålstegn ved om prosjektene vil føre til varige forbedringer i mottakerstatene. Vanskelighetene i gjennomføringen av Verdensbankprosjektene reiser tvil om mottakerstatenes kapasitet til å videreføre og opprettholde tiltakene. Også for de undersøkte UNESCO-prosjektene er spørsmålet om varighet usikkert. For eksempel er flesteparten av de lokale opplæringssentrene opprettet gjennom Lao 11 nå avhengig av ekstern støtte for å opprettholde driften.
Undersøkelsen viser at både usikkerheten rundt mottakerstatens gjennomføringsevne og usikkerheten rundt bærekraft, er vurdert som risikoområder i prosjektplanene fra Verdensbanken. Planene for UNESCO-prosjektene inneholder ikke risikovurderinger, og det er derfor grunn til å reise spørsmål ved om analyse og vurderinger av risikoforhold tillegges tilstrekkelig vekt i prosjektforberedelsene til denne organisasjonen. Samtidig gir undersøkelsen grunn til å rette søkelyset mot enkelte sider ved Utenriksdepartementets saksbehandling ved godkjenningen av prosjektene. For eksempel foretar ikke departementet risikovurderinger i beslutningsnotatene for godkjenning av UNESCO-prosjektene, trass i at UNESCO selv heller ikke gjør slike vurderinger i prosjektplanene. Videre bærer både NORADs forhåndsuttalelser, og senere Utenriksdepartementets beslutningsnotater, preg av å fokusere på de utdanningsfaglige sidene ved prosjektforslagene, spesielt hva angår UNESCO-prosjektene. Det kan her være grunn til å etterlyse mer sektorovergripende vurderinger.
For resultatoppnåelse i betydningen effekter gir undersøkelsen få tydelige svar. Dette henger sammen med at prosjektene i varierende grad er tilrettelagt for slik resultatvurdering. Undersøkelsen viser at ingen av UNESCO-prosjektene har effektmål. Følgelig må resultatvurderingene baseres på vurderinger av de ulike aktivitetene.
Undersøkelsen viser videre at det for samtlige prosjekter er utformet aktivitetsmål for tiltakene. Flesteparten av disse målene er nådd, selv om det særlig for Verdensbankprosjektene har vært forsinkelser og nedjusteringer av enkelte aktivitetsmål underveis. Generelt synes det som om aktivitetene er relevante, ved at de enten direkte eller indirekte er rettet mot klare utdanningsbehov i landene.
Resultatene i forhold til aktivitetsmål, og der det finnes, effektmål, indikerer tilfredsstillende resultatoppnåelse i de undersøkte prosjektene. Likevel er det trekk ved enkeltaktiviteter, særlig for Verdensbankprosjektene, som gir grunn til å reise spørsmål ved resultatene.
I begge land har aktiviteter rundt studier og opprettelse av systemer for oppfølging av læreprosesser blitt forsinket. I undersøkelsen poengteres også det problematiske ved at prosjektene skal administreres parallelt med at utdanningsadministrasjonen skal gjennomføre en rekke tiltak for å styrke egne systemer og ferdigheter. Denne belastningen har kommet til syne ved at resultatene av tiltak for institusjons- og kapasitetsbygging ikke alltid er like vellykkede selv om aktivitetsmålene er nådd. Et eksempel er at for Verdensbankprosjektet i Laos framgår det at ulike nyopprettede informasjonssystemer ikke lar seg integrere og bruke slik som forutsatt.
Undersøkelsen gir grunn til å anta at uklarhetene rundt resultatoppnåelsen kunne vært redusert dersom det i større grad hadde vært utformet effektmål for prosjektene. Dessuten ville større vektlegging av kvalitative resultatdata bidratt til større klarhet om resultatene. For APPEAL-prosjektet i regi av UNESCO synes det å være behov for data som viser hva eventuelle virkninger i forhold til målgruppene består i. For Verdensbankprosjektene i Niger og i Laos er det behov for data som kan belyse eventuelle endringer i undervisningssituasjonen på skolene. Særlig i Niger, der prosjektene også har fått konsekvenser for lærerstyrken, ville slike data vært av betydelig interesse for å belyse prosjektenes utfall.
Undersøkelsen viser også at resultatoppfølgingen, særlig i UNESCO-prosjektene, har et forbedringspotensial. Framdriftsrapportene i disse prosjektene gir kortfattede beskrivelser av aktivitetene og er dessuten lite problematiserende, noe Utenriksdepartementet har tatt opp i den løpende dialogen med organisasjonen. I undersøkelsen pekes det dessuten på svake sider knyttet til de to organisasjonenes evaluering av prosjektene. Verken for Verdensbanken eller UNESCO synes det som evalueringene i særlig grad supplerer den løpende resultatrapporteringen. Videre er evalueringene ledet av de involverte organisasjonene selv. Det er dermed ikke gjort reelle eksterne evalueringer av tiltakene. Riktignok har Norge som medlem sluttet seg til organisasjonenes etablerte ordninger blant annet for rapportering og evaluering. Like fullt er det grunn til å reise spørsmål ved om behovet for uavhengighet og kritisk distanse er sikret.
Når det gjelder Utenriksdepartementets oppfølging av prosjektene, viser undersøkelsen at departementet ikke gjør egne oppsummeringer av resultatene av prosjektene for å styrke læringseffekten. Videre synes departementet å ha vektlagt UNESCO-prosjektene mer enn Verdensbankprosjektene. For prosjektene i regi av UNESCO er blant annet rapporter mottatt og prosjektsystemet oppdatert. I forhold til prosjektene i regi av Verdensbanken synes det som Utenriksdepartementets oppfølging særlig de seneste årene har vært mindre systematisk. For eksempel finnes ikke framdriftsrapportene for de siste årene i departementets arkiv. Tatt i betraktning Verdensbank-prosjektenes omfang og kompleksitet, samt problemene i gjennomføringsfasen, er det grunn til å sette spørsmålstegn ved om Utenriksdepartementet burde ha en bedre oppfølging av disse enn det undersøkelsen viser. Dessuten gir undersøkelsen grunn til å peke på at det fortsatt synes å være behov for at departementet følger opp de to organisasjonenes prosjektforvaltning. Dersom multi-bi-samarbeidet skal være arbeids og kostnadsbesparende i forhold til bilateral bistand, er det viktig at Utenriksdepartementet i samarbeid med de internasjonale organisasjonene sikrer en tilfredsstillende planlegging, risikohåndtering og kontroll.