|
Rapport: Handleiding beleidsevaluatie. Deel 2: Monitoring
van beleid (2007)
De Peuter Bart, De Smedt Joris, Van Dooren Wouter & Bouckaert Geert
Depotnummer: D/2006/10106/014
Korte samenvatting
Net als in het buitenland stellen we in België en Vlaanderen een
stijgende interesse voor en vraag naar beleidsevaluatie vast. Die versterkte
aandacht voor beleidsevaluatie kadert in een algemeen streven naar een
meer ‘evidence-based policy’, ofwel een geïnformeerd
en onderbouwd beleid. In welke mate maakt de overheid daadwerkelijk het
verschil ten behoeve van de samenleving? Evaluatie levert een unieke bijdrage
tot het antwoord.
Een belangrijke uitdaging ligt in het afstemmen van vraag en aanbod van
beleidsevaluatie. Een strategische hefboom daarbij is de opbouw van een
slagvaardige evaluatiecapaciteit binnen de overheid. Zulke interne evaluatiecapaciteit
is noodzakelijk om beleidsevaluaties goed voor te bereiden, om ze op een
kwaliteitsvolle wijze hetzij zelf uit te voeren hetzij op te volgen indien
ze worden uitbesteed, en om ze optimaal te kunnen gebruiken ter ondersteuning
en onderbouwing van beleidsbeslissingen.
Deze handleiding vormt de output van een tweejarig onderzoeksproject
binnen het Steunpunt Bestuurlijke Organisatie Vlaanderen, uitgevoerd door
het Instituut voor de Overheid (K.U.Leuven).
De opzet van deze handleiding is een bijdrage te leveren tot de ontwikkeling
en versterking van de evaluatiecapaciteit in de overheid en meer bepaald
de expertise inzake het evaluatieproces en -instrumentarium.
Deel 2 gaat in op monitoring van beleid, als een potentieel belangrijke
informatiebron voor evaluaties. We verkennen de onderlinge relatie tussen
monitoring en evaluatie, hun gelijkenissen en verschilpunten. Verder presenteren
we een algemeen stappenplan om een monitoringsysteem te ontwikkelen en
te introduceren. We gaan uitgebreid in op het meten van beleid en beleidsresultaten,
het werken met indicatoren. Daarnaast schetsen we een scenario waarbij
de scope van bestaande meetsystemen ter ondersteuning van het overheidsmanagement
kan worden uitgebreid naar een breder beleidsperspectief.
Inhoudstafel
1. Inleiding
2. Monitoring en beleidsevaluatie
2.1 Monitoring
2.1.1 Inleiding: terminologie en definities
2.1.1.1 Monitoring: een terminologische keuze
2.1.1.2 Definities
2.1.2 Motieven voor monitoring in het kader van beheer en beleid
2.1.3 Alternatief of component voor evalueren?
2.2 Monitoring en beleidsevaluatie
2.2.1 Een tandem
2.2.2 Verschillen
2.2.3 Meten en evalueren van efficiëntie en effectiviteit
2.2.3.1 Efficiëntie
2.2.3.2 Effectiviteit
2.2.4 Uitdagingen
3. Monitoring: een algemeen stappenplan
3.1 Het vertrekpunt: uitgeklaarde motieven en duidelijke beleidsdoelstellingen
3.2 Het bepalen van de scope: wat meten we wel, en wat niet?
3.2.1 Welke uitsnede van de organisatie zal gemeten worden?
3.2.2 Welke uitsnede van de beleidsdoelstellingen en –context
zal gemeten worden?
3.3 Selecteren en opstellen van indicatoren: hoe meten we en wat willen
we meten?
3.4 Ontwikkelen van normen: wat is een goed meetresultaat?
3.4.1 Soorten normen
3.4.2 Waar komen normen vandaan?
3.5 Meten
3.5.1 Betrouwbaarheid van het meetinstrument
3.5.2 Types van validiteit
3.5.2.1 Validiteit van statistische conclusies
3.5.2.2 Interne validiteit
3.5.2.3 Constructvaliditeit
3.5.2.4 Externe validiteit
3.5.3 Sensitiviteit van indicatoren
3.5.4 Meetproblemen
3.5.4.1 “Meten is niet nodig” – Pangloss stelling
3.5.4.2 “Meten is onmogelijk”
3.5.4.3 “Performance en publieke sector gaan niet samen”
3.5.4.4 Convex / concaaf
3.5.4.5 Output of effect stijgen abnormaal door het meten
3.5.4.6 Output of effect dalen abnormaal door het meten
3.5.4.7 Meer registraties door het meten
3.5.4.8 Geen duidelijk onderscheid tussen output en effect
3.5.4.9 Inflatie van indicatoren
3.5.4.10 Korte termijnfocus
3.5.4.11 Het waanbeeld
3.5.4.12 De focus wordt verlegd door het meten
3.6 Rapporteren
4. Invoering, beheer en gebruik van een monitoringsysteem: enkele kritieke
succesfactoren
4.1 Het implementatieproces
4.2 Het beheer
4.3 Gebruik
5. Uitbouwscenario voor monitoring: van een beheers- naar een beleidsperspectief
5.1 Van output naar effect
5.2 Monitoren van effecten
5.2.1 Moeilijker te meten?
5.2.2 Gedifferentieerde effecten
5.2.3 De rol van omgevingsfactoren
5.2.4 Effectenketting
5.2.5 Wat met neveneffecten?
5.2.6 Kwalitatieve informatie als complement
6. Besluit
Bronnen
|
