|
Rapport: Handleiding beleidsevaluatie. Deel 1: Evaluatiedesign
en -management (2007)
De Peuter Bart, De Smedt Joris & Bouckaert Geert
Depotnummer: D/2006/10106/013
Korte samenvatting
Net als in het buitenland stellen we in België en Vlaanderen een
stijgende interesse voor en vraag naar beleidsevaluatie vast. Die versterkte
aandacht voor beleidsevaluatie kadert in een algemeen streven naar een
meer ‘evidence-based policy’, ofwel een geïnformeerd
en onderbouwd beleid. In welke mate maakt de overheid daadwerkelijk het
verschil ten behoeve van de samenleving? Evaluatie levert een unieke bijdrage
tot het antwoord.
Een belangrijke uitdaging ligt in het afstemmen van vraag en aanbod van
beleidsevaluatie. Een strategische hefboom daarbij is de opbouw van een
slagvaardige evaluatiecapaciteit binnen de overheid. Zulke interne evaluatiecapaciteit
is noodzakelijk om beleidsevaluaties goed voor te bereiden, om ze op een
kwaliteitsvolle wijze hetzij zelf uit te voeren hetzij op te volgen indien
ze worden uitbesteed, en om ze optimaal te kunnen gebruiken ter ondersteuning
en onderbouwing van beleidsbeslissingen.
Deze handleiding vormt de output van een tweejarig onderzoeksproject
binnen het Steunpunt Bestuurlijke Organisatie Vlaanderen, uitgevoerd door
het Instituut voor de Overheid (K.U.Leuven).
De opzet van deze handleiding is een bijdrage te leveren tot de ontwikkeling
en versterking van de evaluatiecapaciteit in de overheid en meer bepaald
de expertise inzake het evaluatieproces en -instrumentarium.
Deel 1 gaat in op de kenmerken van beleidsevaluatie in een overheidscontext,
de evolutie als theorie- en praktijkveld, de motieven en de plaats van
evaluatie in de beleidscyclus. Het gidst de lezer doorheen de stappen
van het evaluatieproces en langs de verschillende types van beleidsevaluatie.
Ook wordt aandacht besteed aan het management van evaluaties, de kwaliteitsdimensie
en de verdere ontwikkeling en professionalisering van een interne evaluatiecapaciteit.
Inhoudstafel
1. Inleiding
1.1 Aanleiding en opzet
1.2 Doelpubliek
1.3 Opbouw van de handleiding
2. Beleidsevaluatie en monitoring in een overheidscontext
2.1 Evaluatie bij de overheid: ontstaan, ontwikkeling en trends
2.1.1 Ontstaan
2.1.2 Beleidsevaluatie als praktijkveld: de mijlpalen
2.1.3 Beleidsevaluatie als theorieveld: stromingen, kenmerken en tendensen
2.1.4 Recente trends in evaluatie
2.2 Definities van beleidsevaluatie
2.3 Motieven om beleid te evalueren
2.4 Positionering van evaluatie in de beleidscyclus en typologieën
van beleidsevaluatie
2.4.1 Evaluatietypes vanuit de beleidscyclus
2.4.2 Evaluatietypes op basis van de inhoudelijke focus
2.4.3 Evaluatietypes op basis van het evaluatiecriterium
2.4.4 Interne en externe evaluatie
2.4.5 Besluit in verband met evaluatietypologieën
2.5 Het evaluatieproces
2.6 Bijzondere vraagstukken
2.6.1 Capaciteitsopbouw
2.6.2 Evaluatie van domeinoverschrijdend beleid
2.6.3 Evaluatie van interbestuurlijk beleid
Literatuur
3. Evaluatie in België en Vlaanderen
3.1 Impulsen
3.2 Enkele trends en uitdagingen
Literatuur
4. Ontwerpen en plannen van een evaluatie
4.0 Leeswijzer
4.1 Het bepalen van de scope van een evaluatie
4.1.1 Definiëren van het evaluandum
4.1.2 Het antwoord op de vraag: “Wat willen we weten over het
evaluandum?”
4.1.3 identificeren van stakeholders
4.1.4 Opstellen en selecteren van de evaluatievragen en –criteria
4.2 Het plannen van de uitvoering van de evaluatie
4.2.1 Inleiding: enkele begrippen en kernprincipes
4.2.2 Planning van de gegevensverzameling
4.2.3 Het instrumentarium voor analyse en beoordeling
4.3 Uitbesteding van een evaluatie
4.3.1 Opmaak van een bestek voor een evaluatieopdracht
4.3.2 Selectie van de uitvoerder van de evaluatieopdracht
Literatuur
5. Evaluatietypes
5.1 Typologieën en dwarsverbanden
5.2 De rol van beleidstheorie voor evaluatie
5.3 Naar een conceptueel raamwerk van beleidstheorie
5.3.1 Het veranderingsmodel
5.3.2 Het implementatiemodel
5.3.3 Het conceptueel raamwerk
5.4 Ex ante evaluatie
5.4.1 Inleiding
5.4.2 Relevantie van het beleid
5.4.2.1 Opzet en vraagstelling
5.4.2.2 Meerwaarde
5.4.2.3 Aanpak en technieken
5.4.2.4 Voorbeelden
5.4.2.5 Kritieke slaagfactoren
5.4.3 Interne logica van het beleid of de beleidstheorie
5.4.3.1 Opzet en vraagstelling
5.4.3.2 Meerwaarde
5.4.3.3 Aanpak en technieken
5.4.3.4 Kritieke slaagfactoren
5.4.4 Coherentie en consistentie van beleid
5.4.4.1 Opzet en vraagstelling
5.4.4.2 Meerwaarde
5.4.4.3 Aanpak en technieken
5.4.4.4 Voorbeeld
5.4.4.5 Kritieke slaagfactoren
5.4.5 Implementatie van het beleid
5.4.5.1 Opzet en vraagstelling
5.4.5.2 Meerwaarde
5.4.5.3 Aanpak en technieken
5.4.5.4 Voorbeeld
5.4.5.5 Kritieke slaagfactoren
5.4.6 Verwachte effecten en impact
5.4.6.1 Opzet en vraagstelling
5.4.6.2 Meerwaarde
5.4.6.3 Aanpak en technieken
5.4.6.4 Voorbeeld: multimodaal verkeersmodel
5.4.6.5 Kritieke slaagfactoren
5.4.7 Kosten en baten en kosteneffectiviteit
5.4.7.1 Opzet en vraagstelling
5.4.7.2 Meerwaarde
5.4.7.3 Aanpak en technieken
5.4.7.4 Kritieke slaagfactoren
5.4.8 Afwegen van beleidsalternatieven
5.4.8.1 Opzet en vraagstelling
5.4.8.2 Meerwaarde
5.4.8.3 Aanpak en technieken
5.4.8.4 Kritieke slaagfactoren
5.5 Ex post evaluatie
5.5.1 Inleiding
5.5.2 Doelbereiking
5.5.2.1 Opzet en vraagstellingen
5.5.2.2 Meerwaarde
5.5.2.3 Strategieën en technieken
5.5.3 Beleidseffectiviteit: inleiding
5.5.3.1 Opzet en vraagstellingen
5.5.3.2 Meerwaarde
5.5.3.3 Strategieën en technieken
5.5.4 Experimenteel design
5.5.4 1 Evaluatiekader: “policy on” vs. “policy
off”
5.5.4.2 Vergelijkingsbasis
5.5.4.3 Meten en vergelijken
5.5.4.4 Randvoorwaarden
5.5.4.5 Beperkingen op het hanteren van het experimenteel design
5.5.5 Quasi-experimenteel design
5.5.5.1 Evaluatiekader: “policy on” vs. “policy
off”
5.5.5.2 Het bias probleem
5.5.5.4 Randvoorwaarden en beperkingen
5.5.6 Alternatief of kwalitatief design
Literatuur
6. Evaluatiemanagement en –capaciteit
6.1 Verantwoordelijkheden en budget
6.2 De status van de evaluator
6.3 Opvolging van de evaluatie
6.3.1 Communicatie tussen de evaluator en de stakeholders
6.3.2 Stuurgroepformule
6.4 Rapportering en feedback
6.4.1 Algemene aandachtspunten
6.4.2 Resultaten, conclusies en aanbevelingen
6.4.2.1 Resultaten
6.4.2.2 Conclusies
6.4.2.3 Aanbevelingen
6.4.3 Het evaluatierapport
6.5 Kwaliteitsbewaking en meta-evaluatie
Literatuur
7 Ontwikkeling en professionalisering van evaluatiecapaciteit
7.1 Ontwikkeling van institutionele capaciteit
7.2 Groeimodel voor de inbedding van een evaluatiecapaciteit op maat
Bronnen
|
