Til Stortinget

1. Innledning

Multilateral bistand utgjør nær 50 pst. av den totale norske bistanden og forvaltes både av Utenriksdepartementet og NORAD. Bistanden bevilges som generelle tilskudd til de internasjonale organisasjonene, og som multi-bi tilskudd til utvalgte prosjekter og programmer administrert av internasjonale organisasjoner. For 1999 utgjorde den samlede norske multi-bi-støtten i underkant av 1,7 mrd. kroner. Et viktig mål med multi-bi-samarbeidet er at tilskuddene skal kanaliseres til prosjekter og programmer som bidrar til å nå resultater i tråd med norske bistandspolitiske hovedmål og prinsipper. Samarbeidet skal også bidra til å gi økt innsyn i de internasjonale organisasjonenes mål og prioriteringer og dermed påvirke disse i retning av norske mål og prioriteringer for bistanden. I Innst. S. nr. 120 (1997-1998) til Riksrevisjonens undersøkelse av norsk bistand via UNICEF (Dokument nr. 3:12 (1996-1997)), peker kontroll- og konstitusjonskomiteen på at slike undersøkelser er nødvendige bidrag for å kontrollere at norske bistandspolitiske mål blir nådd.

Undersøkelsen omfatter seks utdanningsprosjekter med støtte fra Utenriksdepartementets multi-bi-bevilgninger: Tre prosjekter i regi av Verdensbanken og tre i regi av UNESCO. Formålet med undersøkelsen har vært å vurdere resultatene av bistandsprosjektene, hvordan norske mål og prinsipper for bistanden er ivaretatt, og UDs rolle ved initiering, planlegging og oppfølging av prosjektene.

Norsk deltakelse i bilateralt og multilateralt bistandssamarbeid har felles overordnede målsettinger, prinsipper og prioriteringer, jf. St.meld. nr. 19 (1995-1996) og Innst. S. nr. 229 (1995-1996). I tillegg kommer føringer for kvalitetssikring av bistanden, der betydningen av risikovurderinger, resultatoppfølging og uavhengig evaluering er vektlagt. For Verdensbanken og UNESCO foreligger det i tillegg særskilte samarbeidsavtaler.

2. Oppsummering av undersøkelsen

De seks undersøkte prosjektene er ulike både hva angår økonomiske rammer, størrelse, fokus og kompleksitet. Tiltakene kan inndeles i tre hovedkategorier. De tre Verdensbankprosjektene, ett i Laos (EDP) og to i Niger (PEDP og BESP), er omfangsrike tiltak rettet mot å styrke ulike deler av grunnskolesektoren. De to UNESCO-prosjektene i Laos (Lao 11 og 12) har enkelte likhetstrekk ved at begge er små prosjekter rettet mot alfabetisering og uformell opplæring. Det siste UNESCO tiltaket, APPEAL, utgjør en egen kategori. APPEAL er et omfattende alfabetiseringsprogram rettet mot flere land i Asia og stillehavsregionen, inkludert Laos.

2.1 Norske mål og prinsipper for bistanden

Undersøkelsen viser at prosjektene i hovedsak er innrettet i tråd med norske mål og prinsipper for bistand. Til tross for dette viser undersøkelsen svakheter i implementeringsfasen. Dette gjelder særlig for Verdensbankprosjektene. Det er blant annet grunn til å reise spørsmål ved dimensjoneringen av prosjektene i regi av Verdensbanken i forhold til mottakerstatenes kapasitet til å administrere og gjennomføre dem. Undersøkelsen gir også grunn til å etterlyse større bevissthet rundt de utdanningspolitiske sidene ved denne typen bistandsprosjekter.

Undersøkelsen gir videre grunnlag for å sette spørsmålstegn ved om prosjektene vil føre til varige forbedringer i mottakerstatene. Vanskelighetene i gjennomføringen av Verdensbankprosjektene reiser tvil om mottakerstatenes kapasitet til å videreføre og opprettholde tiltakene. Også for de undersøkte UNESCO-prosjektene er spørsmålet om varighet usikkert. For eksempel er flesteparten av de lokale opplæringssentrene opprettet gjennom Lao 11 nå avhengig av ekstern støtte for å opprettholde driften.

Undersøkelsen viser at både usikkerheten rundt mottakerstatens gjennomføringsevne og usikkerheten rundt bærekraft, er vurdert som risikoområder i prosjektplanene fra Verdensbanken. Planene for UNESCO-prosjektene inneholder ikke risikovurderinger, og det er derfor grunn til å reise spørsmål ved om analyse og vurderinger av risikoforhold tillegges tilstrekkelig vekt i prosjektforberedelsene til denne organisasjonen. Samtidig gir undersøkelsen grunn til å rette søkelyset mot enkelte sider ved Utenriksdepartementets saksbehandling ved godkjenningen av prosjektene. For eksempel foretar ikke departementet risikovurderinger i beslutningsnotatene for godkjenning av UNESCO-prosjektene, trass i at UNESCO selv heller ikke gjør slike vurderinger i prosjektplanene. Videre bærer både NORADs forhåndsuttalelser, og senere Utenriksdepartementets beslutningsnotater, preg av å fokusere på de utdanningsfaglige sidene ved prosjektforslagene, spesielt hva angår UNESCO-prosjektene. Det kan her være grunn til å etterlyse mer sektorovergripende vurderinger.

2.2 Resultater og oppfølging av prosjektene

For resultatoppnåelse i betydningen effekter gir undersøkelsen få tydelige svar. Dette henger sammen med at prosjektene i varierende grad er tilrettelagt for slik resultatvurdering. Undersøkelsen viser at ingen av UNESCO-prosjektene har effektmål. Følgelig må resultatvurderingene baseres på vurderinger av de ulike aktivitetene.

Undersøkelsen viser videre at det for samtlige prosjekter er utformet aktivitetsmål for tiltakene. Flesteparten av disse målene er nådd, selv om det særlig for Verdensbankprosjektene har vært forsinkelser og nedjusteringer av enkelte aktivitetsmål underveis. Generelt synes det som om aktivitetene er relevante, ved at de enten direkte eller indirekte er rettet mot klare utdanningsbehov i landene.

Resultatene i forhold til aktivitetsmål, og der det finnes, effektmål, indikerer tilfredsstillende resultatoppnåelse i de undersøkte prosjektene. Likevel er det trekk ved enkeltaktiviteter, særlig for Verdensbankprosjektene, som gir grunn til å reise spørsmål ved resultatene.

I begge land har aktiviteter rundt studier og opprettelse av systemer for oppfølging av læreprosesser blitt forsinket. I undersøkelsen poengteres også det problematiske ved at prosjektene skal administreres parallelt med at utdanningsadministrasjonen skal gjennomføre en rekke tiltak for å styrke egne systemer og ferdigheter. Denne belastningen har kommet til syne ved at resultatene av tiltak for institusjons- og kapasitetsbygging ikke alltid er like vellykkede selv om aktivitetsmålene er nådd. Et eksempel er at for Verdensbankprosjektet i Laos framgår det at ulike nyopprettede informasjonssystemer ikke lar seg integrere og bruke slik som forutsatt.

Undersøkelsen gir grunn til å anta at uklarhetene rundt resultatoppnåelsen kunne vært redusert dersom det i større grad hadde vært utformet effektmål for prosjektene. Dessuten ville større vektlegging av kvalitative resultatdata bidratt til større klarhet om resultatene. For APPEAL-prosjektet i regi av UNESCO synes det å være behov for data som viser hva eventuelle virkninger i forhold til målgruppene består i. For Verdensbankprosjektene i Niger og i Laos er det behov for data som kan belyse eventuelle endringer i undervisningssituasjonen på skolene. Særlig i Niger, der prosjektene også har fått konsekvenser for lærerstyrken, ville slike data vært av betydelig interesse for å belyse prosjektenes utfall.

Undersøkelsen viser også at resultatoppfølgingen, særlig i UNESCO-prosjektene, har et forbedringspotensial. Framdriftsrapportene i disse prosjektene gir kortfattede beskrivelser av aktivitetene og er dessuten lite problematiserende, noe Utenriksdepartementet har tatt opp i den løpende dialogen med organisasjonen. I undersøkelsen pekes det dessuten på svake sider knyttet til de to organisasjonenes evaluering av prosjektene. Verken for Verdensbanken eller UNESCO synes det som evalueringene i særlig grad supplerer den løpende resultatrapporteringen. Videre er evalueringene ledet av de involverte organisasjonene selv. Det er dermed ikke gjort reelle eksterne evalueringer av tiltakene. Riktignok har Norge som medlem sluttet seg til organisasjonenes etablerte ordninger blant annet for rapportering og evaluering. Like fullt er det grunn til å reise spørsmål ved om behovet for uavhengighet og kritisk distanse er sikret.

Når det gjelder Utenriksdepartementets oppfølging av prosjektene, viser undersøkelsen at departementet ikke gjør egne oppsummeringer av resultatene av prosjektene for å styrke læringseffekten. Videre synes departementet å ha vektlagt UNESCO-prosjektene mer enn Verdensbankprosjektene. For prosjektene i regi av UNESCO er blant annet rapporter mottatt og prosjektsystemet oppdatert. I forhold til prosjektene i regi av Verdensbanken synes det som Utenriksdepartementets oppfølging særlig de seneste årene har vært mindre systematisk. For eksempel finnes ikke framdriftsrapportene for de siste årene i departementets arkiv. Tatt i betraktning Verdensbank-prosjektenes omfang og kompleksitet, samt problemene i gjennomføringsfasen, er det grunn til å sette spørsmålstegn ved om Utenriksdepartementet burde ha en bedre oppfølging av disse enn det undersøkelsen viser. Dessuten gir undersøkelsen grunn til å peke på at det fortsatt synes å være behov for at departementet følger opp de to organisasjonenes prosjektforvaltning. Dersom multi-bi-samarbeidet skal være arbeids og kostnadsbesparende i forhold til bilateral bistand, er det viktig at Utenriksdepartementet i samarbeid med de internasjonale organisasjonene sikrer en tilfredsstillende planlegging, risikohåndtering og kontroll.

3. Utenriksdepartementets kommentarer

I Utenriksdepartementets svarbrev av 25. april 2001 til Riksrevisjonen blir det bl. a. understreket at et viktig formål med multi-bi-bistanden er å sikre innsyn i operasjonene til de multilaterale organisasjonene og å kunne påvirke organisasjonenes politikk. Dette gjøres blant annet ved at øremerkede og generelle midler sees i sammenheng, og at man benytter erfaringene fra prosjektarbeidet i organisasjonens styrende organer. Et sentralt poeng for Utenriksdepartementet er at multi-bi bistand skal innebære en arbeidsbesparelse i forhold til ordinær bilateral bistand. Følgelig er det den multilaterale organisasjonen som er ansvarlig for oppfølging og resultatet av bistandstiltaket. Norge har som medlemsland sluttet seg til organisasjonens systemer for styring, rapportering, evaluering, kontroll og revisjon, og Norge prøver å medvirke til at disse ordningene skal være best mulig. Dette gjelder også spørsmålet om uavhengige/eksterne evalueringer.

Utenriksdepartementet påpeker at Norge er opptatt av mottakerstatens gjennomføringskapasitet, og tar dette spørsmålet opp i de multilaterale organisasjonenes styrende organer og på samrådsmøtene. Departementet sier seg enig i at størrelsen på Verdensbankens prosjekt i Niger kan ha blitt undervurdert som risikofaktor, og i at UNESCOs risikovurderinger er mangelfulle. Det siste har Utenriksdepartementet søkt å bidra til en bedring av i lengre tid. Departementet sier seg også helt enig i at sektorovergripende vurderinger av prosjekter er nødvendig, og dette er noe Utenriksdepartementet i større grad enn tidligere har tatt opp i organisasjonenes styrende organer og i bilaterale møter.

Det blir framhevet i svaret fra Utenriksdepartementet at de til en viss grad har prioritert en tettere oppfølging av UNESCO enn av Verdensbanken, noe som skyldes den generelle tillit Verdensbanken nyter i forhold til UNESCO. Departementet er enig i at det bør legges vekt på mer kvalitative resultatdata, men påpeker samtidig at det for organisasjonene ikke alltid er enkelt å formulere etterprøvbare mål hva angår effekter og resultater. Departementet er også enig i at framdriftsrapportene fra UNESCO ikke er tilstrekkelig analytiske og innrettet mot resultatrapportering. Dette er noe departementet har tatt opp med organisasjonen. Videre sier Utenriksdepartementet seg enig med Riksrevisjon i at en sterkere vekt på resultatoppfølging i dialogen med organisasjonene kan styrke denne. Vedrørende undersøkelsens konstatering av at departementet ikke oppsummerer resultatene av prosjektene for å styrke egen læring, anfører Utenriksdepartementet at det har benyttet rapportene fra prosjektene som grunnlag for diskusjon på samrådsmøtene for å oppnå en læringseffekt hos de multilaterale organisasjonene.

4. Riksrevisjonens bemerkninger

Undersøkelsen viser at prosjektplanene i hovedsak er innrettet i tråd med sentrale norske mål og prinsipper for bistanden. Flesteparten av aktivitetsmålene i prosjektene er nådd, selv om enkelte av aktivitetsmålene for Verdensbankprosjektene er nedjustert underveis. Riksrevisjonen konstaterer at midlene brukes til det formålet de var planlagt for.

For Verdensbankprosjektene viser undersøkelsen at det i gjennomføringsfasen har oppstått ulike problemer. Dette vurderes å ha sammenheng med at det er et misforhold mellom prosjektenes størrelse og de lokale myndighetenes kapasitet til å gjennomføre prosjektene. I tillegg gir undersøkelsen grunn til å anta at størrelsen på Verdensbankprosjektene kan svekke muligheten for varige virkninger av tiltakene. Etter Riksrevisjonens vurdering burde Utenriksdepartementet involvert seg mer i planleggingen av Verdensbankprosjektene enn det undersøkelsen viser.

Også for de langt mindre omfattende UNESCO-prosjektene viser undersøkelsen at det er usikkerhet rundt spørsmålet om varige virkninger. Etter Riksrevisjonens vurdering er det en svakhet ved planene for de undersøkte UNESCO-prosjektene når disse ikke inneholder risikovurderinger. Riksrevisjonen har merket seg at departementet generelt har forsøkt å bidra til å bedre både organisasjonens systemer for prosjektplanlegging og oppfølging. Riksrevisjonen vil peke på at Utenriksdepartementet bør sørge for at det er gjennomført kvalitetssikring og supplerende vurderinger dersom det er mangler ved prosjektdokumentasjonen, jf. Innst. S. nr. 229 (1995-1996) til St.meld. nr. 19 (1995-1996).

Både for Verdensbankprosjektene og for UNESCO-prosjektene viser undersøkelsen at evalueringene av prosjektene i liten grad supplerer den løpende resultatrapporteringen. Evalueringene er ledet av de involverte organisasjonene selv, og det er ikke gjort reelt uavhengige og eksterne evalueringer av prosjektene. Riksrevisjonen er på det rene med at de internasjonale organisasjonene har sine egne ordninger for prosjektforvaltning som medlemslandene har sluttet seg til. Like fullt gir undersøkelsen grunn til å reise spørsmål ved om UNESCOs og Verdensbankens evalueringer gir et godt nok grunnlag for å vurdere prosjektenes resultater. I Innst. S. nr. 229 (1995-1996) til St.meld. nr. 19 (1995-1996) vektlegges behovet for kritiske og uavhengige evalueringer, og etter Riksrevisjonens vurdering ville slike evalueringer bidra til å sikre både den nødvendige kritiske distansen og mer utfyllende resultatinformasjon. Bedre kunnskap om prosjektene vil dessuten kunne bidra til å styrke grunnlaget for departementets arbeid med å påvirke de internasjonale organisasjonene, slik at deres bistandspolitikk samsvarer best mulig med norske bistandspolitiske føringer. Følgelig ser Riksrevisjonen behovet for at departementet bidrar til at de internasjonale organisasjonene initierer uavhengige evalueringer av tiltakene.

I beslutningsnotatene står de utdanningsfaglige sidene ved prosjektene i fokus, og det er lagt mindre vekt på å vurdere de politiske forholdene i landene.

Riksrevisjonen er innforstått med at multi-bi-samarbeidet skal være arbeidsbesparende for giverlandet og bygge på tillit til organisasjonene. Etter Riksrevisjonens vurdering er det likevel grunn til å peke på at departementet ved godkjenningen av prosjektene skal sikre at relevante bistandspolitiske hensyn inngår i plan- og beslutningsgrunnlaget.

5. Utenriksdepartementets svar

Bistandsministeren har i brev av 11. juni 2001 svart:

"…

Øremerkede bidrag gjennom multilaterale kanaler er en verdifull kanal for norsk utviklingssamarbeid. Departementet er opptatt av best mulig resultater av denne typen samarbeid. Den foreliggende forvaltningsrevisjon er et relevant og nyttig bidrag i arbeidet med å forbedre resultatene av de øremerkede midler. Man er for øvrig i ferd med å se på hvordan departementet kan gå over til færre og mer målrettede tiltak for å støtte prioriterte tema gjennom de multilaterale organisasjonene, og vil avsette kapasitet til dette.

Som tidligere påpekt er et hovedformål med multi-bi samarbeidet å påvirke de multilaterale organisasjonenes politikk og prioriteringer. Gjennom bedre innsyn i organisasjonene på områder som risikovurderinger før prosjektet settes i gang, resultatrapportering underveis og evalueringer når prosjektet er avsluttet ønsker en videre å bidra til at de blir enda bedre.

Den informasjon man får gjennom multi-bi arbeidet brukes i den løpende dialog mellom Utenriksdepartementet og organisasjonen. Innsikten fra samarbeidet gir også bakgrunn for Norges arbeid i organisasjonenes styrende organer. Slik tar Riksrevisjonens rapport opp problemstillinger som er nyttige for departementets videre arbeid.

Det er et prioriteringsspørsmål hvor mye vekt man skal legge på det enkelte prosjekt, i forhold til å utnytte innsikten fra prosjektarbeidet til å forbedre organisasjonens arbeid generelt. En grunn til at departementet har lagt størst vekt på det siste er at organisasjonene totalt sett forvalter svært store midler. Norges generelle bidrag bare til Verdensbanken er betydelig større enn summen av alle multi-bi tiltakene. Departementet vil også understreke at det er den multilaterale organisasjon som er ansvarlig for gjennomføringen av prosjektene.

Riksrevisjonen anbefaler at departementet bidrar til at de internasjonale organisasjonene initierer uavhengige evalueringer. Departementet legger stor vekt på å forbedre de multilaterale organisasjonens evalueringer både av enkelttiltak og på høyere nivå. Organisasjonenes evalueringssystemer varierer noe, men et fellestrekk er at de har egne evalueringsenheter. Selv om disse enhetenes styrke kan variere noe har de en uavhengig status i forhold til de avdelinger som gjennomfører prosjektene. Spesielt Verdensbankens evalueringsenhet har en sterk og uavhengig rolle. Evalueringsenhetene hyrer opp uavhengige konsulenter, men i enkelte tilfelle kan fagavdelingene være med i evalueringsteamene. Organisasjonenes evalueringspraksis er tema på samrådsmøtene med Verdensbanken og UNESCO og tas naturlig nok også opp i organisasjonenes styrende organer. Departementet har notert seg Riksrevisjonens anbefaling og vil, sammen med andre givere, fortsette arbeidet med å bedre organisasjonenes evalueringssystemer. Departementet vil i denne sammenheng også påpeke at FNs inspektørkorps (Joint Inspection Unit - JIU) har som mandat å medvirke til at organisasjonene i FN-systemet gjør best mulig bruk av sine ressurser. Rapportene fra FNs inspektørkorps behandles i organisasjonenes styrende organer samt i FNs Generalforsamling og omfatter organisasjonenes evalueringspraksis.

Når de gjelder de programmer og prosjekter som man har sett på i forvaltningsrevisjonen merker departementet seg Riksrevisjonens uttalelse om at midlene brukes til det formål de var planlagt for. Videre at resultatene i forhold til aktivitetsmål og der det finnes, effektmål, indikerer tilfredsstillende resultater.

Departementet er enig i at man kan bli enda bedre til kritisk å vurdere organisasjonenes prosjektdokumenter for å se om disse inneholder de gode risikovurderinger, og om nødvendig få innhentet tilleggsinformasjon og vurderinger. Likeledes er man enig i at man i vurderingen av fremtidige utdanningsprosjekter bør se enda nøyere på alle utviklingspolitiske aspekter, herunder spørsmål tilknyttet menneskerettigheter og demokrati i mottakerlandene. Departementet viser også til Riksrevisjonens merknad om at man har hatt en nyttig dialog med UNESCO om disse spørsmål på basis av det konkrete multi-bi prosjektet."

6. Riksrevisjonens uttalelse

På bakgrunn av departementets svar legger Riksrevisjonen til grunn at Utenriksdepartementet er enig i de funn og vurderinger som tas opp i saken, og at departementet vil bruke informasjonen fra Riksrevisjonens rapport til ytterligere å forbedre forvaltningen av midler bevilget til multilaterale organisasjoner og multi-bi bistand. Saken sendes Stortinget.

7. Komiteens merknader

Komiteen, medlemmene fra Arbeiderpartiet, Berit Brørby, Kjell Engebretsen og Jørgen Kosmo, fra Høyre, André Dahl og Martin Engeset, fra Fremskrittspartiet, Carl I. Hagen og Henrik Rød, fra Sosialistisk Venstreparti, Siri Hall Arnøy og lederen Ågot Valle, og fra Kristelig Folkeparti, Modulf Aukan, viser til Riksrevisjonens undersøkelse av seks utdanningsprosjekter med støtte fra Utenriksdepartementets multi-bi-bevilgninger. Tre av de undersøkte prosjekter er i regi av Verdensbanken og tre av UNESCO. Prosjektene retter seg mot fattige stater og skal bidra til å styrke grunnutdanning (Verdensbankprosjektene) og bekjempe alfabetisering/uformell opplæring (UNESCO-prosjektene).

Komiteen har merket seg at undersøkelsen viser at prosjektene i hovedsak er innrettet i tråd med norske mål og prinsipper for bistand. I tillegg ligger mottakerlandenes planer og strategier til grunn for bistandstiltakene.

Komiteen registrerer at undersøkelsen har avdekket svakheter i implementeringsfasen og da særlig for prosjektene i regi av Verdensbanken. Vanskelighetene vurderes å ha sammenheng med at det er et misforhold mellom prosjektenes størrelse og omfang og de lokale myndigheters kapasitet til å gjennomføre prosjektene.

Komiteen anser det også alvorlig at undersøkelsen gir grunnlag for å stille spørsmål ved om prosjektene vil føre til varige forbedringer i mottakerlandene.

Komiteen viser til at usikkerhet rundt mottakerstatenes gjennomføringsevne så vel som bærekraft er vurdert som risikoområder i prosjektplanene fra Verdensbanken, mens tilsvarende risikoanalyse ikke er gjennomført for UNESCO-prosjektene.

Komiteen har videre merket seg at undersøkelsen i liten grad avdekker resultatoppnåelse i betydningen effekt og legger til grunn at det på dette området er et betydelig forbedringspotensiale.

Komiteen konstaterer at de to organisasjonene selv står for evalueringen av prosjektene og vil understreke betydningen av uavhengighet og distanse i forhold til prosjektene når evalueringer gjennomføres. Komiteen har merket seg at Utenriksdepartementet vil fortsette arbeidet med å bedre organisasjonenes evalueringssystemer.

Komiteen viser til at en betydelig andel av norsk bistand kanaliseres som multi-bi tilskudd, og at det bør stilles like høye krav til kvalitetssikring og måloppnåelse for forvaltningen av disse midlene som for den øvrige bistanden. Komiteen ber Regjeringen om å vurdere om det vil være mulig å stille krav knyttet til blant annet fastsettelse av effektmål og uavhengige evalueringer, utover det som er organisasjonenes prosedyrer som betingelse for norske multi-bi tilskudd.

Komiteen har forståelse for Utenriksdepartementets anførsel om at multi-bi bistand skal innebære en arbeidsbesparelse i forhold til ordinær bilateral bistand, men vil understreke departementets ansvar for å bidra til at kontrollordningene i organisasjonene virker etter sin hensikt.

Komiteen har merket seg at departementet er i ferd med å se på hvordan departementet kan gå over til færre og mer målrettede tiltak for å støtte prioriterte tema gjennom de multilaterale organisasjonene.

8. Komiteens tilråding

Komiteen viser til dokumentet og det som står foran og rår Stortinget til å gjøre slikt

vedtak:

Dokument nr. 3:10 (2000-2001) - Riksrevisjonens undersøkelse vedrørende multi-bi tilskudd til utdanningstiltak i regi av UNESCO og Verdensbanken - vedlegges protokollen.

Oslo, i kontroll- og konstitusjonskomiteen, den 30. april 2002