Lijst van vragen en antwoorden over kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting - Beleidsdoorlichting Volksgezondheid, Welzijn en Sport - Hoofdinhoud

Deze lijst van vragen en antwoorden i is onder nr. 36 toegevoegd aan dossier 32772 - Beleidsdoorlichting Volksgezondheid, Welzijn en Sport.

Officiële titel	Beleidsdoorlichting Volksgezondheid, Welzijn en Sport; Lijst van vragen en antwoorden; Lijst van vragen en antwoorden over kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting
Document­datum	18-12-2019
Publicatie­datum	18-12-2019
Nummer	KST3277236
Kenmerk	32772, nr. 36
Commissie(s)	Volksgezondheid, Welzijn en Sport (VWS)
Externe link	origineel bericht
Originele document in PDF

Tweede Kamer der Staten-Generaal

Vergaderjaar 2019-

2020

32 772

Beleidsdoorlichting Volksgezondheid, Welzijn en Sport

Nr. 36

LIJST VAN VRAGEN EN ANTWOORDEN

Vastgesteld 19 december 2019

De vaste commissie voor Volksgezondheid, Welzijn en Sport heeft een aantal vragen voorgelegd aan de Minister van Volksgezondheid, Welzijn en Sport over de brief van 7 juni 2019 inzake kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting (Kamerstuk 32 772, nr. 35).

De Minister heeft deze vragen beantwoord bij brief van 18 december 2019. Vragen en antwoorden zijn hierna afgedrukt.

De voorzitter van de commissie,

Lodders

De adjunct-griffier van de commissie,

Bakker

kst-32772-36 ISSN 0921 - 7371 's-Gravenhage 2019

Algemene vragen over beleidsdoorlichting - pilot lerend evalueren - proces doorlichting

1

Waarom is deze beleidsdoorlichting - in tegenstelling tot de acht andere meest recent verschenen beleidsdoorlichtingen - niet betrokken in de aan de Kamer gestuurde startevaluatie die als nulmeting dient voor de pilot Lerend evalueren?

Antwoord:

De beleidsdoorlichting was nog niet afgerond tijdens de uitvoering van de startevaluatie.

2

Kunt u alsnog ook voor deze beleidsdoorlichting aangeven of de elf gehanteerde assumpties van de pilot van toepassing zijn?

Antwoord:

Ja, zie onderstaand overzicht.

+: assumptie is van toepassing

-: assumptie is niet van toepassing, 0: onvoldoende informatie beschikbaar om te kunnen beoordelen.

4

Trekt u uit deze beleidsdoorlichting en uit het totstandkomingsproces van deze beleidsdoorlichting nog lessen die relevant kunnen zijn voor de pilot en het opzetten en organiseren van toekomstig evaluatieonderzoek? Zo ja, welke?

20

Welke leerpunten worden uit deze beleidsdoorlichtingen meegenomen voor toekomstig evaluatieonderzoek?

Antwoord vragen 4 en 20:

Deze beleidsdoorlichting was de laatste beleidsdoorlichting «oude stijl». De beleidsdoorlichting had beperkte toegevoegde waarde ten opzichte van de aparte evaluaties van ZonMw en het Nivel. Voor VWS was dit mede de aanleiding van het initiatief voor de pilot Lerend evalueren. De pilot onderzoekt hoe de kwaliteit van de evaluatiepraktijk en het leervermogen van de organisatie kan worden verbeterd.

19

Waarom is ervoor gekozen dezelfde persoon zowel de rol van voorzitter van de begeleidingscommissie als van onafhankelijk deskundige te laten vervullen?

61

Waarom heeft u ervoor gekozen om de taken van de voorzitter van de begeleidingscommissie en van de onafhankelijk deskundige bij één dezelfde persoon te beleggen? Gebeurt dit bij andere beleidsdoorlich-tingen ook? Is dit een werkwijze die bij evaluatieonderzoeken in het kader van de pilot Lerend Evalueren ook zal worden gevolgd? Zo ja, bij welke? Zo nee, waarom niet?

Antwoord op vragen 19 en 61:

Voor de beleidsdoorlichting van artikel 4.3 was al onafhankelijk evaluatieonderzoek verricht dat heeft geresulteerd in twee rapporten, te weten de Evaluatie ZonMw 2010-2015 van Bosman & Vos¹ en de Self-evaluation Nivel 2010-2015², beoordeeld door een onafhankelijke commissie.

Daarom was het verantwoord om bij de beleidsdoorlichting de rol van voorzitter van de begeleidingscommissie en van onafhankelijk deskundige door dezelfde persoon te laten vervullen. Inmiddels worden er geen beleidsdoorlichtingen meer op deze manier uitgevoerd.

60

Wat is de reden dat de evaluatie 2010-2015 van ZonMw door een extern bureau is uitgevoerd en de evaluatie 2010-2015 van Nivel een zelfevaluatie betreft, uitgevoerd door de geëvalueerde?

Antwoord:

Zoals in de aankondigingsbrief³ van de beleidsdoorlichting is opgenomen, zou deze evaluatie een syntheseonderzoek betreffen van de onderzoeken die reeds werden uitgevoerd naar ZonMw en Nivel. De evaluatie van ZonMw stond reeds gepland in het kader van de verplichte vijfjaarlijkse evaluatie volgens de Kaderwet zbo's. Zoals gebruikelijk bij Kaderwetevalu-aties bij zbo's is deze evaluatie door een extern bureau uitgevoerd. Voor het Nivel betrof het een organisatiebrede audit die in het najaar van 2016 zou worden afgerond. Deze audit is beoordeeld door een onafhankelijke commissie, om zo alsnog een onafhankelijk oordeel over het Nivel te verkrijgen.

Vragen over de vertraging en actualiteit van de beleidsdoorlichting

3

Onderschrijft u het oordeel van de onafhankelijke deskundige dat het proces bij deze beleidsdoorlichting niet optimaal is verlopen, ondanks het degelijk voorwerk dat was verricht?

Antwoord:

Ja. In de antwoorden bij onderstaande vragen licht ik dit nader toe.

5

Waarop was de inschatting gebaseerd toen uw ambtsvoorganger in de brief van 23 september 2016 de Kamer meldde deze beleidsdoorlichting voor het einde van 2017 met een kabinetsreactie aan de Kamer te zullen sturen?

Antwoord:

Zoals in de door u aangehaalde brief staat, was destijds het uitgangspunt dat de beleidsdoorlichting van artikel 4.3 een syntheseonderzoek zou zijn, dat zou steunen op de reeds eerder uitgevoerde of lopende (deel)onderzoeken naar de doelmatigheid en de doeltreffendheid van ZonMw en het Nivel, en dat aanvullend onderzoek ten behoeve van de huidige doorlichting dan ook niet noodzakelijk zou zijn. Voor het Nivel betrof het een organisatiebrede audit die in het najaar van 2016 zou worden afgerond. Voor ZonMw betrof het de periodieke evaluatie conform de bepaling in de Kaderwet zelfstandige bestuursorganen (ZBO's). De beleidsdoorlichting van artikel 4.3 zou vervolgens bestaan uit het beantwoorden van de 15 vragen uit de Regeling Periodiek Evaluatieonderzoek⁴ (RPE), op basis van de reeds opgestelde rapporten. Op basis van dit uitgangspunt was de inschatting dat dit proces voor het einde van 2017 zou kunnen worden afgerond.

6

Kunt u de opgelopen vertraging van anderhalf jaar nader verklaren?

7

Wat is de reden dat het proces in 2.018 maanden stil heeft gelegen, zoals de onafhankelijk deskundige schrijft?

8

Wat is de reden dat na verschijning van de beleidsdoorlichting en het oordeel van de onafhankelijk deskundige in november 2018, het ruim een half jaar duurde alvorens er een kabinetsreactie was?

9

Is de tekst van de beleidsdoorlichting nog aangepast nadat de onafhankelijk deskundige zijn oordeel heeft uitgebracht in november 2018? Zo ja, op welke punten is het rapport nog gewijzigd?

10

Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting langer heeft geduurd nog nieuw onderzoek gedaan of zijn er extra data verzameld?

11

In hoeverre zijn in de beleidsdoorlichting nog inzichten en conclusies verwerkt die recenter zijn dan 2015?

15

Wat is de reden voor de ontstane vertraging bij het komen tot een beleidsdoorlichting (een vertraging van anderhalf jaar) en vervolgens de kabinetsreactie (een half jaar)?

27

Kunt u toelichten waarom de beleidsdoorlichting en de kabinetsreactie vertraging hebben opgelopen?

Antwoord op vragen 6 t/m 11, 15 en 27:

Voor de opgelopen vertraging zijn twee hoofdredenen. Ten eerste zijn door ziekte en vacatures mensen uitgevallen en waren vervangers niet direct beschikbaar om het werk over te nemen. Ten tweede was, zoals in het antwoord bij vraag 5 aangegeven, aanvankelijk het uitgangspunt dat de beleidsdoorlichting een syntheseonderzoek zou zijn, dat zou steunen op de reeds eerder uitgevoerde of lopende (deel)onderzoeken naar de doelmatigheid en de doeltreffendheid van ZonMw en het Nivel, en dat aanvullend onderzoek ten behoeve van de huidige doorlichting dan ook niet noodzakelijk zou zijn. De onafhankelijke voorzitter van de begeleidingscommissie was op sommige onderwerpen (doeltreffendheid, doelmatigheid en de 20% besparingsoptie) echter van mening dat deze onderwerpen uitgebreider behandeld dienden te worden dan in de onderzoeksrapporten tot dan toe het geval was. Dit vereiste een nadere exercitie die veel tijd in beslag heeft genomen, omdat dit om nieuw (intern) onderzoek en extra dataverzameling vroeg.

Nadat de beleidsdoorlichting is afgerond, heeft de onafhankelijk deskundige een oordeel geveld over (het proces van) de beleidsdoorlichting. Hierna is het rapport niet meer aangepast.

Nieuwe informatie vanaf 2016 wordt meegenomen in volgende evaluaties. In de kabinetsreactie⁵ zijn echter wel inzichten en conclusies verwerkt die recenter zijn dan 2015, aangezien hierin de meer recente ontwikkelingen bij VWS en ZonMw zijn genoemd als het gaat om de opvolging van de beleidsdoorlichting.

Deze beleidsdoorlichting laat zien dat het van belang is om tijdig en vooraf te kijken hoe verschillende verplichtingen tot evaluaties (enerzijds de verplichte beleidsdoorlichting, anderzijds de verplichte 5-jaarlijkse evaluatie) goed op elkaar kunnen worden afgestemd. Dit wordt uitgewerkt in de rijksbrede operatie Inzicht in Kwaliteit in de ontwikkellijn Verbeteren strategische evaluatie en onderzoeksplanning⁶.

16

Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit dat de onderzoeksperiode 2010-2015 was? Hoe is er in de tussentijd gewerkt aan de aanbevelingen uit de evaluaties van ZonMw en het Nivel?

34

Kunt u aangeven of de resultaten van de beleidsdoorlichting nog te vertalen zijn naar het heden of dat deze inmiddels achterhaald zijn?

Antwoord op vragen 16 en 34:

De beleidsdoorlichting heeft betrekking op de periode 2012-2015. Zoals toegelicht bij de antwoorden op vragen 3, 5 t/m 8, 15 en 27 hebben de beleidsdoorlichting en de kabinetsreactie hierop door onvoorziene omstandigheden vertraging opgelopen. Aangezien ZonMw veelal werkt met langlopende, meerjarige programma's, zullen de resultaten niet meteen achterhaald zijn.

ZonMw is na het verschijnen van de evaluatie in 2017 actief aan de slag gegaan met de verschillende aanbevelingen uit de evaluatie. Begin 2019 heeft ZonMw een rapportage⁷ uitgebracht over de implementatie van de aanbevelingen uit de evaluatie. Hierin staat per aanbeveling van zowel het onderzoeksbureau als de evaluatiecommissie beschreven hoe deze worden geïmplementeerd en wat de stand van zaken is. Hieruit blijkt dat ZonMw de implementatie van de aanbevelingen serieus en voortvarend oppakt.

Vragen over de reikwijdte van de beleidsdoorlichting 10

Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting langer heeft geduurd nog nieuw onderzoek gedaan of zijn er extra data verzameld?

26

Wordt de constatering van uw ambtsvoorganger, zoals gedaan in het schriftelijk overleg over de opzet van deze beleidsdoorlichting, nog steeds onderschreven⁸; namelijk dat het niet nodig wordt geacht om ook het jaar 2016 mee te nemen om betrouwbare uitspraken te doen?

29

Kunt u aangeven of er na de afronding van de beleidsdoorlichting nog nieuw/aanvullend onderzoek is gedaan en zijn er extra data verzameld sindsdien?

Antwoord op vragen 10, 26 en 29:

In de periode dat de uitvoering van deze beleidsdoorlichting langer heeft geduurd is aanvullend onderzoek gedaan ten behoeve van de 20%-besparingsvariant. Dit was ook een van de redenen dat het langer duurde voordat de beleidsdoorlichting was afgerond. De periode vanaf 2016 zal worden meegenomen in volgende evaluaties. De conclusie van mijn ambtsvoorganger wordt derhalve gedeeld. In de afrondende fase van de beleidsdoorlichting heeft ZonMw een zelfevaluatie uitgevoerd naar de implementatie van de aanbevelingen uit de evaluatie. De resultaten van deze ZonMw-zelfevaluatie⁹ zijn gelijktijdig met de kabinetsreactie op de beleidsdoorlichting naar uw Kamer gestuurd.

17

Waarom is reikwijdte van de doorlichting beperkt; namelijk uitsluitend betreffende ZonMw en Nivel? Zijn/worden de andere uitgaven/onderdelen van artikelonderdeel 4.3, waaronder het jaar van de transparantie en het CIBG, geëvalueerd, zo ja hoe? Wordt de Kamer hierover geïnformeerd?

24

Op welke wijze en door wie wordt «het jaar van de transparantie» geëvalueerd? Hoe en wanneer wordt de Kamer over de uitkomsten daarvan geïnformeerd?

25

Op welke wijze en door wie wordt het CIBG geëvalueerd? Hoe en wanneer wordt de Kamer over de uitkomsten daarvan geïnformeerd?

35

Kunt u aangeven of de overige onderdelen van artikel 4.3, zijnde het jaar van de transparantie en het CIBG, ook nog geëvalueerd gaan worden? Zo ja, hoe en wanneer wordt de Kamer daarover geïnformeerd?

Antwoord op vragen 17, 24, 25 en 35:

Zoals destijds in de aankondigingsbrief¹⁰ over deze beleidsdoorlichting is aangegeven, is het Jaar van de transparantie pas in de loop van 2015 gestart, waardoor de beleidsdoorlichting over de jaren 2010-2015 te vroeg kwam om hierover uitspraken te kunnen doen. Het CIBG is een agentschap en wordt om de vijf jaar onder de Regeling agentschappen geëvalueerd.

Op 5 juli 2019 heb ik u het evaluatierapport van Zorginstituut Nederland over het Jaar van de transparantie en de daarmee samenhangende subsidieregeling Transparantie (2016-2019), als onderdeel van de Voortgangsrapportage Uitkomstgerichte zorg 2018-2022, toegestuurd¹¹.

De doorlichting van het CIBG vindt op dit moment plaats en zal naar verwachting eind van dit jaar worden afgerond. De doorlichting wordt, in lijn met de Regeling agentschappen, uitgevoerd door het Ministerie van VWS en het Ministerie van Financiën. Het rapport over de doorlichting zal worden gepubliceerd op de website https://www.rijksoverheid.nl/ onderwerpen/rijksoverheid/agentschappen

Vragen over de 20%-besparingsvariant

28

Bent u van plan om alsnog te onderzoeken wat de maatschappelijke impact zal zijn van een 20% besparingsvariant bij ZonMw en Nivel?

30

Waarom is niet voldaan aan de 20% besparingsvariant door ZonMw?

63

Kunt u de concrete gevolgen van de in de beleidsdoorlichting gepresenteerde 20% besparingsvarianten voor ZonMw in beeld brengen en een scherper beeld schetsen van de maatschappelijke impact hiervan?

Antwoord op vragen 28, 30 en 63:

In de beleidsdoorlichting zijn verschillende besparingsvarianten beschreven: een evenredige besparing van 20% op alle onderdelen van de financiering («kaasschaaf»), en daarnaast een aantal besparingsstrate-gieën die beleidsmatige keuzes vereisen.

De budgetten die op artikel 4.3 staan gereserveerd voor ZonMw zijn grotendeels beleidsbudgetten afkomstig van andere beleidsartikelen op de begroting, zoals preventie of langdurige zorg. Artikel 4.3 betreft dan ook geen beleidsartikel, maar een «technisch» artikel, een instrument vanuit waar budgetten worden overgeheveld naar ZonMw. Het doel van een beleidsdoorlichting is om het gevoerde beleid en alle ingezette instrumenten te evalueren. ZonMw en Nivel zijn in deze beleidsevaluatie de onderzochte instrumenten. Een verdere uitwerking van de besparings-opties inclusief de maatschappelijke impact hiervan, vergt een dusdanig breed onderzoek over nagenoeg het gehele beleidsterrein van VWS dat dit voorbij gaat aan de scope van artikel 4.3. Bovendien worden de overige beleidsartikelen op de begroting afzonderlijk doorgelicht. In ben daarom niet van plan om in dit kader nader te laten onderzoeken wat de maatschappelijke impact zal zijn van een 20% besparingsvariant bij ZonMw.

39

Kunt u een besparing op de middelen voor ZonMw van 20% kwantificeren, gezien de impact op kennisontwikkeling fors is wanneer ZonMw 20% moet bezuinigen? Is dat meer dan de € 220 miljoen aan netto-opbrengsten zoals bovenaan de derde pagina is beschreven?

Antwoord:

Zoals op pagina 33 van de beleidsdoorlichting valt te lezen, zou een besparing van 20% op het ZonMw-budget vanuit VWS, neerkomen op een besparing van 29,6 miljoen euro, gebaseerd op het totaalbudget voor ZonMw van 148 miljoen euro uit de ontwerpbegroting VWS van 2018 (de toen meest recent beschikbare cijfers). Voor 2019 zou een besparing van 20% op het ZonMw-budget vanuit VWS neerkomen op 38,2 miljoen euro, uitgaande van een totaalbudget vanuit VWS in 2019 van 191,1 miljoen euro (kasuitgaven voor 2019 op 1-1-2019). Voor 2020 zou het gaan om circa 59,5 miljoen euro, uitgaande van een bijdrage van VWS aan ZonMw van 297,6 miljoen euro zoals begroot in de VWS-begroting voor 2020.

De «netto opbrengsten» waar op pagina 3 van de kabinetsreactie naar wordt verwezen, heeft echter enkel betrekking op de geschatte opbrengsten van het ZonMw-programma DoelmatigheidsOnderzoek over de periode 2006-2017, zoals gebleken uit het externe evaluatieonderzoek. Dit is slechts één van de ZonMw-programma's. (Uit de tabel op pagina 37 van de beleidsdoorlichting is op te maken dat het cluster doelmatigheidsonderzoek van ZonMw, in 2018 circa 7,6% van het totale programmabudget van ZonMw uitmaakte.) Een vergelijking tussen een besparing op het totale ZonMw-budget met de opbrengsten uit één specifiek programma, gaat dus mank.

Vragen over de bijdrage van VWS aan ZonMw 12

Kunt u een geactualiseerd totaaloverzicht geven van 2012 tot heden van zowel de jaarlijkse bijdrage van het Ministerie van Volksgezondheid, Welzijn en Sport (VWS) aan ZonMw als de totale uitgaven van ZonMw, onderverdeeld naar kasuitgaven en naar programmaruimte?

21

Wat verklaart de sterk wisselende jaarlijkse bijdrage vanuit VWS aan ZonMw? Kunt u een helder en actueel beeld geven van de uitgaven en de programmaruimte?

42

Kunt u toelichten in hoeverre de begrote bedragen voor ZonMw ten opzichte van de periode waar de beleidsdoorlichting betrekking op heeft zijn verhoogd, verlaagd of gelijk zijn gebleven?

66

Wat is de reden dat zowel de bijdrage van VWS als de totale uitgaven van ZonMw in de onderzochte periode zo fluctueren? Wat verklaart bijvoorbeeld de daling in de VWS-bijdrage van ruim 30% in twee jaar tijd (van € 119 miljoen in 2012 naar € 82 miljoen in 2014)?

Antwoord op vraag 12, 21, 42 en 66:

De sterk wisselende jaarlijkse bijdrage vanuit VWS aan ZonMw wordt verklaard doordat VWS er beleidsmatig voor kiest om het instrument bijdrage aan ZBO ZonMw meer c.q. minder in te zetten om de in de begroting van VWS aangegeven beleidsprioriteiten te realiseren. Dit resulteert in een toe- c.q. afname van additioneel gefinancierde programma's. Een geactualiseerd totaaloverzicht van 2012 tot heden van de jaarlijkse bijdrage van het Ministerie van VWS aan ZonMw, onderverdeeld naar kasuitgaven en naar programmaruimte vindt u onderstaand.

• * 

  bedragen x € 1 mln.

** Stand per 1 januari 2019

Vragen over de totstandkoming van de verdeling van middelen over clusters/ programma's

22

Hoe komt de verdeling van middelen over de verschillende onderwerpen precies tot stand?

41

Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de jaarlijkse bijdrage aan ZonMw en Nivel?

43

Kunt u toelichten waarom de «Programmagelden vanuit additionele middelen» significant lager zijn in 2013 dan in 2012? Wat is de hoogte van deze middelen in de jaren na 2015 tot nu?

56

Kunnen de bedragen in miljoenen alsnog worden gegeven en toegelicht -zoals in de kop wordt gesuggereerd - van de tabel op pagina 37 met betrekking tot de veertien programmaclusters van ZonMw?

57

Hoe wordt bepaald op welk terrein welke inzet wordt gepleegd (zoals voor mei 2018 is weergegeven in de tabel op pagina 37)? Kunt u deze tabel (met als opschrift bedragen in miljoenen euro's) niet alleen in procenten maar ook in de aangekondigde euro's presenteren?

58

Hoe is bijvoorbeeld bepaald dat 1,5% van de programmagelden zich richt op gehandicapten en chronisch zieken en het tienvoudige (17,7%) op de geestelijke gezondheidszorg (ggz)?

Antwoord op vragen 22, 41, 43 en 56 t/m 58:

In de begroting van VWS worden de beleidsprioriteiten aangegeven en welke middelen daarvoor (meerjarig) beschikbaar zijn. Beleidsmatig wordt dan gekeken welke instrumenten (o.a. subsidies, opdrachten, bijdrage aan agentschappen, bijdragen aan ZBO's) hiervoor het best ingezet kunnen worden. De mate waarin het instrument bijdrage aan ZBO ZonMw wordt ingezet om de beleidsprioriteit te realiseren verklaart de verdeling van middelen over de verschillende onderwerpen.

De tabel op pagina 37 van de Beleidsdoorlichting is gebaseerd op de lopende programma's van alle financiers van ZonMw (VWS, NWO en derden) en geeft dus niet alleen een beeld van de VWS-bijdrage.

Hieronder vindt u voor VWS de uitgaven per cluster voor 2019 en de meerjarige programmaruimte (standen per 1 januari 2019; exclusief bijdrage aan de basisorganisatie van ca. € 4 miljoen).

Cluster    Kasuitgaven*    Meerjarige programmar- uimte*

Doelmatigheidsonderzoek Fundamenteel onderzoek Geestelijke gezondheid Gehandicapten en Chronisch zieken Geneesmiddelen Gezondheidsbescherming Jeugd

Kwaliteit van zorg

Life Sciences & Health

Ouderen

Palliatieve Zorg

Preventie

Sport

Translationeel Onderzoek Overig

• * 

  bedragen x € 1 mln.

32

Kunt u aangeven hoe hoog de uitgaven zijn geweest in het kader van begrotingsartikel 4.3 in de periode 2012-2015?

Antwoord:

• * 

  bedragen x € 1 mln.

** de huidige indeling van de VWS-begroting bestaat sinds 2013.

33

Op welk deel van deze uitgaven heeft de evaluatie betrekking?

Antwoord: De beleidsdoorlichting van artikel 4.3 omvat de periode 2012 tot en met 2015 en bevat de onderdelen ZonMw, het Nivel, Jaar van de transparantie, en het CIBG (toelating nieuwe zorgaanbieders, landelijk register zorgaanbieders en het Jaardocument Maatschappelijke Verantwoording).

In deze beleidsdoorlichting zijn de bijdragen aan ZonMw en het Nivel beschouwd als het beleidsinstrument dat wordt doorgelicht. Jaar van de transparantie en het CIBG zijn niet meegenomen. Het instrument Jaar van de transparantie loopt in 2019 af en de evaluatie zal plaatsvinden na afloop van de regeling. De verschillende activiteiten van het CIBG zijn niet meegenomen omdat het CIBG dit jaar in brede zin zal worden doorgelicht. Zie ook het antwoord op vraag 17.

44

Kunt u de uitspraak op de achtste pagina van de beleidsdoorlichting: «de in het totaal in enig jaar beschikbaar gestelde meerjarige programmar-uimte kan een veelvoud zijn van de kasuitgaven in dat jaar», nader toelichten?

Antwoord:

De programma's die door ZonMw worden uitgevoerd hebben doorgaans een looptijd van meerdere jaren. VWS kent de middelen voor de uitvoering van de programma's ook meerjarig toe en bevoorschot ZonMw jaarlijks op basis van een liquiditeitsprognose die door ZonMw is opgesteld. Dat de meerjarig toegekende programmaruimte een veelvoud kan zijn van de kasuitgaven in dat jaar, blijkt uit de tabel bij vraag 22/41/43 & 56 t/m 58, waarin zowel de kasuitgaven als de meerjarige programmaruimte voor 2019 zijn weergegeven.

55

Hoe is de verdeling tot stand gekomen in de veertien programmaclusters van ZonMw zoals deze op pagina 37 in een tabel is opgenomen?

Antwoord:

De onderverdeling in thematische programmaclusters volgt uit het Beleidsplan ZonMw 2016-2020.¹²

Vragen over doeltreffendheid en doelmatigheid

14

Hoe bepaalt het Ministerie van VWS jaarlijks de omvang van de bijdrage aan ZonMw en hoe wordt hierbij de doelmatigheid en doeltreffendheid van de bedrijfsvoering, respectievelijk van de programma's zelf getoetst?

Antwoord:

De omvang van de bijdrage aan ZonMw is het totaal van de bijdrage aan de afzonderlijke programma's en een beperkte vaste bijdrage aan de organisatiekosten, en dus afhankelijk van welke programma's er in het betreffende jaar lopen. Zie ook de antwoorden op de vragen over de totstandkoming van middelen en de verdeling over clusters / programma's. De toetsing van de doelmatigheid en doeltreffendheid van ZonMw en haar programma's wordt aan de hand van de onderstaande vragen nader toegelicht.

18

Hoe oordeelt u over het feit dat de voorzitter van de begeleidingscommissie (die ook optrad als onafhankelijke deskundige) de doeltreffendheid en doelmatigheid van het beleid van ZonMw onvoldoende onderbouwd acht?

36

Wat moet ZonMw aanpassen zodat haar doeltreffendheid wordt onderbouwd en voldoet aan de voorwaarden van de onafhankelijk deskundige?

59

Kunt u aangeven welke verbeteringen er bij ZonMw zijn doorgevoerd op het gebied van doelmatigheid en doeltreffendheid naar aanleiding van de uitkomsten van de beleidsdoorlichting?

62

Kunt u reageren op het oordeel van de onafhankelijk deskundige dat de conclusie dat ZonMw een doelmatige organisatie is en dat daarmee het beleid ook doeltreffend en doelmatig is, onvoldoende onderbouwd is?

64

Onderschrijft u het oordeel van de onafhankelijk deskundige dat voor ZonMw en Nivel een goed onderbouwde conclusie over de doelmatigheid ontbreekt?

Antwoord op vragen 18, 36, 59, 62 en 64:

De onafhankelijk deskundige heeft in zijn rol als onafhankelijk deskundige ook een oordeel gegeven over de beleidsdoorlichting en het evaluatieonderzoek van Bosman & Vos bij ZonMw, waarin wordt geconcludeerd dat ZonMw een doeltreffende en doelmatige organisatie is die zowel nationaal als internationaal één van de koplopers is in het financieren en stimuleren van onderzoek en innovatie in de zorg. De onafhankelijk deskundige geeft in zijn oordeel aan deze conclusie onvoldoende onderbouwd te vinden, omdat de doeltreffendheid beperkt (weinig kwantificeerbaar) wordt gerelateerd aan de (maatschappelijke) impact van de programma's van ZonMw. Ik begrijp de conclusie van de onafhankelijk deskundige, maar deel deze niet geheel. De beoordeling van de maatschappelijke impact van de programma's van ZonMw gebeurt onder meer via evaluaties. Deze hebben doorgaans een kwalitatieve opzet. Een kwantitatieve aanpak op programmaniveau komt weinig voor, omdat het de ervaring is dat het lastig is om bij onderzoeks- en ontwikkelpro-gramma's vooraf kwantificeerbare, specifieke en vooral betekenisvolle resultaatindicatoren te definiëren. Ik neem het oordeel van de onafhankelijk deskundige echter serieus. Er worden acties genomen door ZonMw en VWS om nog meer (meetbaar) inzicht te krijgen in, en te sturen op, de maatschappelijke impact van de programma's van ZonMw. Waar mogelijk wordt in evaluaties van langlopende programma's de maatschappelijke impact gekwantificeerd, zoals in de externe evaluatie van het Doelmatigheidsonderzoek (zie vraag 40). Ook de evaluatie van «20 jaar preventie» toont aan wat door langjarig programmeren gerealiseerd kan worden.¹³

65

Hoe beoordeelt u op dit moment zelf de doelmatigheid van beide organisaties, respectievelijk de doelmatigheid van de door u verstrekte programmagelden?

Antwoord:

In het evaluatieonderzoek van Bosman & Vos bij ZonMw waarop de doorlichting voor een belangrijk deel is gebaseerd, is geconcludeerd dat ZonMw een doeltreffende en doelmatige organisatie is. Gezien het feit dat er de laatste jaren bij ZonMw extra aandacht uitgaat naar het verder vergroten van doelmatigheid en impact, staat de conclusie dat ZonMw een doelmatige organisatie is wat mij betreft nog steeds overeind.

Wat betreft het Nivel is in de evaluatie geconcludeerd dat de middelen over het geheel genomen doelmatig zijn ingezet en besteed. Niettemin zal in navolging van de aanbeveling van de onafhankelijk deskundige, bij volgende evaluaties extra aandacht worden gegeven aan de onderbouwing van de doelmatigheid. Zo zal het Nivel in aanloop naar de volgende evaluatie conform het SEP nadenken hoe het zijn doelmatigheid nog beter kan onderbouwen en dit als gespreksonderwerp met de internationale beoordelingscommissie meenemen. (Zie ook vraag 71/72 onder het kopje Nivel.)

47

Kunt u aangeven hoe u aankijkt tegen het feit dat meer dan 50% van de ZonMw-programma's hun doel niet geheel bereiken en meer dan 75% hun doel grotendeels bereiken?

Antwoord:

In de tabel op pagina 13 van de beleidsdoorlichting waar in deze vraag impliciet naar wordt verwezen, staat dat in het grootste deel (circa 90%) van de beschikbare programma-evaluaties wordt geconstateerd dat het programma het doel grotendeels of geheel heeft bereikt, en in een klein deel (ca 10% van de programma-evaluaties) deels (rond 50% van de doelstelling).

Conclusies uit de evaluaties over doeltreffendheid (bron: Beleidsdoorlichting)

Niet bereikt

3

13

12

Deels bereikt (rond 50% van de doelstelling) Grotendeels bereikt (meer dan 75%)

Geheel bereikt

Ik deel derhalve de conclusie uit het evaluatieonderzoek van Bosman & Vos dat ZonMw een doeltreffende organisatie is. Overigens neemt dit niet weg dat ZonMw alsnog veel aandacht schenkt aan het vergroten van de (maatschappelijke) impact van de verschillende programma's en het beter meetbaar maken van deze impact.

48

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot grote programma's?

51

Onderschrijft u de constatering op pagina vijftien van de beleidsdoorlichting dat grotere programma's doelmatiger zijn? Zo ja, welke actie heeft u hierop ondernomen? Zo nee, waarom niet?

Antwoord op vragen 48 en 51:

Ik onderschrijf de constatering uit de evaluatie van ZonMw dat grotere programma's doorgaans meer mogelijkheden bieden om (cyclisch) in te spelen op nieuwe vraagstukken uit de praktijk, een manier zijn om versnippering en inefficiëntie tegen te gaan en doorgaans meer mogelijkheden bieden om flexibiliteit in te bouwen, bijvoorbeeld door een bredere thematische insteek en meer mogelijkheden om de toepassing van kennis mee te programmeren. Verder kan het streven naar minder, maar grotere programma's een manier zijn om versnippering en inefficiëntie tegen te gaan.

Zoals ook uit het evaluatierapport en de rapportage van ZonMw over de implementatie van aanbevelingen blijkt, wordt er door VWS en ZonMw de afgelopen jaren meer gewerkt met grotere, meer langlopende programma's. Door ZonMw wordt er actief gestuurd op samenhang tussen programma's door te werken vanuit 14 inhoudelijke clusters. Eén van de huidige beleidslijnen van ZonMw is «grote duurzame programma-clusters». In een cluster worden met elkaar samenhangende opdrachten uitgevoerd.

Grote en duurzame programma's zijn niet in beton gegoten. ZonMw biedt opdrachtgevers in langlopende programma's altijd de mogelijkheid om prioriteiten bij te stellen. Denk hierbij bijvoorbeeld aan het actualiteitenbudget binnen programma's als preventie en jeugd. Ook de jaarlijkse opdrachtbrief en tussentijdse programma-evaluaties bieden hiervoor mogelijkheden. Op deze wijze wordt duurzaamheid met wendbaarheid gecombineerd.

54

Kunt u aangeven waarom in deze evaluatie niet is vastgesteld of de veronderstelde voordelen van grotere programma's zich ook feitelijk hebben voorgedaan? Bent u van plan om dit alsnog te onderzoeken?

Antwoord:

De ontwikkeling naar de grotere programmaclusters is door ZonMw in gang gezet met de start van het beleidsplan «Kennis maken op maat, samen met betrokken partners (2016-2020)» en kon dus nog geen onderdeel zijn van de evaluatie die hier voorligt. Sinds 2017 verantwoordt ZonMw op het niveau van de programmaclusters in de jaarlijkse verantwoordingscyclus.

Vragen over de maatschappelijke impact en opbrengsten activiteiten van ZonMw

23

Hoe wordt bij ZonMw en [Nivel]¹⁴ op dit moment gemeten, gemonitord en beoordeeld wat de maatschappelijk impact is van hun activiteiten? Op welke wijze wordt actie genomen door ZonMw en VWS om meer te sturen op de maatschappelijke impact van de programma's?

68

Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van ZonMw en [Nivel] op dit moment worden gemeten en beoordeeld?

50

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot inzicht in impact?

Antwoord op vraag 23, 68 en 50:

Meten, monitoren en beoordelen van maatschappelijke impact Het meten en beoordelen van de maatschappelijke impact van ZonMw gebeurt via de afzonderlijke programma's (en de opdrachten daarbinnen). Bij de inzet van een nieuw programma worden prestatie-indicatoren geformuleerd. Bij de monitoring wordt hier gebruik van gemaakt.

Evaluatie van de programma's vindt plaats binnen alle programmakaders. Beoordeling van de maatschappelijke impact gebeurt via evaluaties. Deze hebben doorgaans een kwalitatieve opzet: een combinatie van deskresearch, interviews, casestudies en vragenlijsten. Een kwantitatieve aanpak op programmaniveau komt weinig voor, omdat het de ervaring is dat het lastig is om bij onderzoeks- en ontwikkelprogramma's vooraf kwantificeerbare, specifieke en vooral betekenisvolle resultaatindicatoren te definiëren.

Opvolging vergroten impact ZonMw

Binnen het beleidsplan van ZonMw is impact versterken een van de hoofdlijnen. ZonMw heeft binnen de interne projecten Realiseren van impact en Aantonen van impact een systematiek ontwikkeld met daarbij passende theorieën en modellen. Hierbij ontstaat vergelijkbaarheid en eenduidigheid. De projecten bouwen voort op trajecten van afgelopen jaren. Door veelvuldig contact met «impactspecialisten», zowel op nationaal als internationaal niveau, zorgt ZonMw ervoor dat de ontwikkelde systematiek aansluit bij de huidige (wetenschappelijke) kennis en praktijk wat betreft impact-analyse.

In 2019 hebben alle ZonMw programmamedewerkers een verplichte training impact versterken gevolgd op basis van de laatste inzichten en ontwikkelingen. Deze training wordt ondersteund met praktische werkwijzers die beschikbaar zijn op intranet. Het nieuwe beleidsplan van ZonMw dat in maart 2020 wordt gepubliceerd heeft het versterken van maatschappelijke impact als basis.

Opvolging VWS vergroten impact

De aanbevelingen gericht aan VWS ten behoeve van het vergroten van de maatschappelijke impact worden primair opgevolgd tussen programma-houders en ZonMw. Daarnaast maakt VWS gebruik van een kenniscoördi-natorenoverleg. Hierin gaat het om hoe algemeen binnen VWS met kennis en kennisinstituten wordt samengewerkt (wat is ieders rol en hoe werken we met elkaar samen?). Sturing op en het vergroten van maatschappelijke impact is hierin onderwerp van gesprek. Daarnaast komt dit onderwerp ook naar voren tijdens overleggen tussen VWS en ZonMw, op verschillende ambtelijke niveaus. Een van de verbeterpunten uit de evaluatie van ZonMw rondom vergroting impact was de (financiële) ruimte die ZonMw heeft. Hiertoe heeft VWS onlangs het strategisch budget voor ZonMw verhoogd, zodat ZonMw meer armslag heeft bij het vergroten van maatschappelijke impact en beter kan inspelen op maatschappelijke ontwikkelingen.

53

Onderschrijft u de constatering op pagina achttien van de beleidsdoor-lichting dat er wellicht meer mogelijkheden ontstaan voor ZonMw om de maatschappelijke impact op de lange termijn inzichtelijk te maken door in thematische clusters te werken? Zo ja, welke actie heeft u hierop ondernomen? Zo nee, waarom niet? Wat is gedaan met de aanbeveling van de onafhankelijk deskundige om meer in te zetten op impactanalyses?

Antwoord:

Ja, ik onderschrijf deze constatering. ZonMw werkt inmiddels vanuit 14 programmaclusters. Voor elk programmacluster zijn de missie en visie vastgelegd in een clusterplan met een uitgewerkt toekomstperspectief. Dit draagt eraan bij dat er meer meetbare (vooral maatschappelijke) impact met de programma's wordt bereikt. In de volgende versie van de clusterplannen zal door ZonMw de verbinding tussen de clusters onderling en met de beleidslijnen verder worden geconcretiseerd. Daarnaast vraagt ZonMw van elk cluster een stakeholder-analyse; welke partijen heeft het cluster nodig om samen zoveel mogelijk impact op de dagelijkse praktijk te hebben en hoe wordt die samenwerking gerealiseerd. De clusterindeling heeft de voortdurende aandacht van ZonMw om ervoor te zorgen dat deze blijft passen bij de altijd veranderende opdrachtenportefeuille.

Wat betreft de aanbeveling om meer in te zetten op impact-analyses kan ik aangeven dat ZonMw in de interne projecten Realiseren van impact en Aantonen van impact een systematiek ontwikkelt voor het meten van impact, met daarbij passende theorieën en modellen. Hierdoor ontstaat vergelijkbaarheid en eenduidigheid. Door veelvuldig contact met «impactspecialisten», zowel op nationaal als internationaal niveau, zorgt ZonMw ervoor dat de ontwikkelde systematiek aansluit bij de huidige (wetenschappelijke) kennis en praktijk wat betreft impact-analyse.

40

Kunt u toelichten wat de opbrengsten zijn van de programma's van ZonMw, welke bijdragen aan het betaalbaar houden van kwalitatief hoogwaardige zorg en ondersteuning?

Antwoord:

In 2018 is het ZonMw-programma DoelmatigheidsOnderzoek geëvalueerd over de periode 2006-2017¹⁵. Uit de evaluatie, uitgevoerd door SiRM (Strategies in Regulated Markets), blijkt dat het programma ruim 7.500 levensjaren in volledige gezondheid heeft opgeleverd. De behaalde geschatte netto opbrengsten zijn € 1,1 miljard (op een totale investering in het programma van € 154 miljoen in de periode 2006-2017). Het betreft de gezondheidswinst en monetaire opbrengsten van 24 door SiRM geselecteerde high-potential projecten, gesubsidieerd door het programma DoelmatigheidsOnderzoek. € 480 miljoen van de netto opbrengsten zijn kostenbesparingen, waarvan € 280 miljoen op zorgkosten en de overige € 200 miljoen op maatschappelijke kosten. Circa 30% van de onderzoeksresultaten is in een richtlijn terechtgekomen en driekwart van de onderzoeken leidde tot een publicatie waarvan circa 90% in internationale tijdschriften, vooral in tijdschriften die tot de top 25% van hun vakgebied behoren.¹⁶

Eerder (in 2013) is door Zorgmarktadvies een notitie uitgebracht over kostenbesparingen door onderzoek en innovatie in de zorg waaruit blijkt dat de kostenbesparing van vijf projecten van het Nationaal Programma Ouderenzorg (NPO) elk op zich voldoende is om de kosten van het gehele NPO (€ 74,7 mln.) ruimschoots terug te verdienen. Ook andere ZonMw-programma's leveren aanzienlijke kostenbesparingen op. Zes projecten uit zes andere ZonMw programma's (Sport, bewegen en gezondheid, Preventie 2, Zichtbare schakel, Zorg voor beter, Kwaliteitsverbeteringspro-gramma paramedische zorg, Alledaagse ziekten) leveren een totale kostenbesparing op van circa € 381 mln.¹⁷

Vragen over de betrokkenheid van de opdrachtgever en doelgroepen

45

Kunt u toelichten hoe het komt dat de opdrachtgever minder betrokken is bij de eindfase van programma-opdrachten?

Antwoord:

In de beleidsevaluatie van ZonMw heeft het onderzoeksbureau geconstateerd dat de betrokkenheid van het ministerie in de geëvalueerde periode soms afnam in de eindfase. Inmiddels constateert ZonMw in haar rapportage over de implementatie van de aanbevelingen uit de evaluatie, dat de betrokkenheid van ministeries groter is dan voorheen, juist ook bij de afronding, vanwege het feit dat het merendeel van de huidige programma's maatschappelijk van aard is. ZonMw en het Ministerie van VWS werken eraan om de inzet van VWS ook bij de afronding van een programma te versterken. Zo is ZonMw nauw betrokken bij de versterking van de kennisfunctie binnen VWS. Twee collega's zijn parttime gedetacheerd bij VWS onder leiding van de Chief Science Officer (CSO) van VWS. In samenspraak met de CSO wordt gewerkt aan een training voor goed opdrachtgever- en opdrachtnemerschap, de ontwikkeling van de kennisplatforms voor o.a. juiste zorg op de juiste plek en preventie, tips en tops voor opdrachtverlening voor beleidsmedewerkers en meer (diverse) communicatie over kennis binnen VWS.

49

Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot meer interactie met doelgroepen?

52

Onderschrijft u de constatering op pagina vijftien dat het betrekken van doelgroepen en een toekomstvisie de doeltreffendheid vergroot? Zo ja, welke actie heeft u hierop ondernomen? Zo nee, waarom niet?

Antwoord vragen 49 en 52:

Ik onderschrijf de conclusie/constatering uit de beleidsdoorlichting dat er met het oog op doeltreffendheid van de ZonMw-programma's, nog ruimte ligt in verdere doorontwikkeling van «hoe» doelgroepen door ZonMw betrokken worden. In het betrekken van doelgroepen bij de programmering en financiering van onderzoek en ontwikkeling is ZonMw nationaal en internationaal al een van de voorlopers. Het perspectief van cliënten/patiënten en burgers krijgt daarnaast steeds meer een plek in programma's en projecten. Zoals in de rapportage over de implementatie van de aanbevelingen van de evaluatie staat, betrekt ZonMw de diverse doelgroepen op dit moment in alle fasen van de programmering. Daarnaast worden programmacommissies evenwichtiger samengesteld en er wordt meer gewerkt in samenwerkingsverbanden zoals academische werkplaatsen, consortia en netwerken. In deze samenwerkingsverbanden komen onderzoek, praktijk, beleid en in toenemende mate ook onderwijs samen. Daarnaast worden doelgroepen op meer structurele basis betrokken bij bijvoorbeeld de Academische Werkplaatsen Transformatie Jeugd en Netwerken Ouderen en Dementie. Op deze manier ontstaat de gewenste interactie tussen de onderzoekscyclus, het kwaliteitsbeleid van professionals en instellingen, het onderwijscurriculum en de praktijk. In toenemende mate worden vanuit het gebruikers/ cliëntenperspectief kennisagenda's ontwikkeld, zoals onlangs met de Patiëntenfederatie en de GGZ-patiëntenorganisatie.

Vragen over het evalueren van programma's van ZonMw

13

Wat is de reden dat er voor slechts 30 van de 86 programma's die tussen 2010 en 2015 hebben gelopen evaluaties beschikbaar waren? Worden programma's van ZonMw inmiddels wel allemaal geëvalueerd?

46

Kunt u toelichten hoe het komt dat er relatief weinig evaluaties van het kader Wetenschap & Innovatie zijn ten opzichte van het aantal evaluaties bij de andere kaders?

Antwoord vragen 13, 46:

Conform afspraak tussen ZonMw en VWS wordt elk programma dat ZonMw uitvoert in opdracht van VWS, geëvalueerd. Voor de evaluatie uitgevoerd door Bosman & Vos is ZonMw gevraagd een overzicht te geven van alle programma's in de periode 2010-2015, al dan niet afgerond. Dit betrof dus ook programma's die in die periode nog lopend waren en derhalve (nog) niet geëvalueerd waren.

Voor het programmakader Wetenschap & Innovatie voert ZonMw met name programma's uit in opdracht van NWO. Deze programma's worden niet standaard geëvalueerd. Vaak betreft het doorlopende programma's als de open competitie en de vernieuwingsimpuls.

Overige vragen over ZonMw

31

Ook de Nederlandse Organisatie voor toegepast-natuurwetenschappelijk onderzoek (TNO) heeft veel kennis op het terrein van gezondheid. Op welke wijze werken deze instituten samen? Kunt u dat ook aangeven in bedragen?

Antwoord:

TNO voert als onderzoeksinstituut projecten uit binnen verschillende ZonMw-programma's, in de meeste gevallen samen met andere partijen. De rol van ZonMw verschilt met die van TNO: ZonMw laat als zelfstandige intermediaire organisatie in opdracht van VWS en NWO op programmatische wijze projecten, experimenten en onderzoek uitvoeren. TNO kan als onderzoeksinstituut meedingen naar subsidies die ZonMw via de verschillende programma's verleent. De bijdrage aan TNO voor de gehonoreerde trajecten is in het onderstaande opgenomen:

Bijdrage ZonMw aan TNO voor de gehonoreerde trajecten over de periode 2012-2019

37

Waar bestaat de bijdrage van ZonMw uit, die op de derde pagina staat, die zij heeft geleverd aan standpunten van het Zorginstituut over het basispakket?

38

Is te kwantificeren of hierdoor het basispakket is uitgebreid of juist versmald?

Antwoord vragen 37 en 38:

Het gaat hierbij met name om onderzoeksresultaten uit het langlopende ZonMw-programma DoelmatigheidsOnderzoek, die onder andere door het Zorginstituut zijn gebruikt bij beslissingen over het basispakket. Dit onderzoeksprogramma is gericht op wetenschappelijke onderbouwing van een doelmatigere zorgpraktijk en -beleid. Het gaat hierbij om vragen als: Welke innovatieve of bestaande zorg is het meest effectief voor de behandeling van patiënten? Welke innovaties dragen bij aan kwalitatief hoogstaande zorg en/of kostenbeheersing voor de maatschappij? De resultaten van dit programma dragen bij aan een zorgvuldige, objectieve en evidence-based afweging ten behoeve van een optimale inzet van beperkte financiële middelen. Zoals eerder bij vraag 40 staat aangegeven, hebben de geschatte netto opbrengsten van het langlopende programma DoelmatigheidsOnderzoek, de programma-investeringen over de periode 2006-2017 ruimschoots overtroffen.

Vragen over het NIVEL

16

Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit dat de onderzoeksperiode 2010-2015 was? Hoe is er in de tussentijd gewerkt aan de aanbevelingen uit de evaluaties van ZonMw en het Nivel?

Antwoord:

Het Nivel heeft de aanbevelingen van de internationale beoordelingscommissie verwerkt in zijn strategisch beleid. Voor de evaluatie van het strategisch beleid hanteert het Nivel het Standard Evaluation Protocol (SEP) van de Koninklijke Nederlandse Akademie van Wetenschappen (KNAW), de Vereniging van Universiteiten (VSNU) en de Nederlandse Organisatie voor Wetenschappelijk Onderzoek (NWO). Het SEP schrijft een mid-term assessment (een tussentijdse interne evaluatie) na 3 jaar voor. Het Nivel heeft in 2019 een mid-term assessment over de periode 2016-2018 uitgevoerd en neemt de aanbevelingen hieruit mee. In 2022 laat het Nivel zijn strategisch beleid weer conform het SEP door een internationale beoordelingscommissie beoordelen.

23

Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en beoordeeld wat de maatschappelijk impact is van hun activiteiten? Op welke wijze wordt actie genomen door ZonMw en VWS om meer te sturen op de maatschappelijke impact van de programma's?

68

Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van ZonMw en Nivel op dit moment worden gemeten en beoordeeld?

70

Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en beoordeeld wat de maatschappelijk impact is van hun activiteiten?

Antwoord op vragen 23, 68 en 70:

Voor het meten, monitoren en beoordelen van zijn maatschappelijke impact sluit het Nivel zich aan bij de instrumenten die door het SEP worden aangereikt. Hierbij richt het Nivel zich onder andere op de kennisproductie, de kennisverspreiding, het gebruik en de toepassing van de onderzoeksgegevens en onderzoeksresultaten door anderen en de samenwerking met maatschappelijke actoren. Door middel van narratives wordt in de toekomst inzichtelijk gemaakt welke effecten het onderzoek van het Nivel op het gezondheidszorgbeleid heeft. Met een narrative (een verhaal) wordt de maatschappelijke relevantie, impact of toegevoegde waarde en hoe dit is bereikt beschreven.

41

Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de jaarlijkse bijdrage aan ZonMw en Nivel?

Antwoord:

De bijdrage aan het Nivel wordt gebaseerd op het Onderzoeksprogramma van het Nivel¹⁸, dat is gebaseerd op de meerjarenafspraken die met VWS worden gemaakt. Voor het ontwikkelen en beheren van databases, panels en monitors wordt jaarlijks subsidie voor een tiental (p*q) onderbouwde activiteiten een (subsidie)bijdrage aan VWS gevraagd. De subsidie wordt jaarlijks (gedurende het uitvoeringsjaar) bijgesteld met de zogenaamde overheidsbijdrage in de arbeidskostenontwikkeling (OVA).

Zie voor ZonMw het eerdere antwoord op vraag 41.

67

Kunt u aangeven welke verbeteringen er bij het Nivel zijn doorgevoerd sinds 2015 naar aanleiding van de zelfevaluatie en beleidsdoorlichting?

69

Welke verbeteringen zijn er op het ministerie, respectievelijk bij Nivel, sinds 2015 nog doorgevoerd naar aanleiding van de verschenen zelfevaluatie en beleidsdoorlichting?

Antwoord op vragen 67 en 69:

De aanbevelingen van de beoordelingscommissie waren gericht op de zichtbaarheid en de focus van het Nivel, het ontwikkelen van nieuwe producten en diensten, het verder vergroten van de interactie met stakeholders en het stimuleren van publiceren over vernieuwende methoden en concepten in het wetenschappelijk domein. Het Nivel heeft deze aanbevelingen verwerkt in zijn strategisch beleid (zie ook het antwoord op vraag 16) en in het onderzoeksprogramma voor de periode 2018-2021, dat is te vinden op de vernieuwde website¹⁹. Zo heeft het Nivel zijn communicatiestrategie verbeterd, waarin de nadruk wordt gelegd op zijn missie en zijn unieke positie. De focus van wat het Nivel doet ligt op onderzoek met maatschappelijke impact naar de kwaliteit en effectiviteit van de gezondheidszorg, en het eraan gerelateerde sociale domein. Het Nivel vormt hierbij een verbindende schakel vormt tussen beleid en wetenschap. Verder heeft het Nivel beleid ontwikkeld om zijn medewerkers te ondersteunen en te stimuleren in het ontwikkelen van nieuwe producten en diensten, het verder vergroten van de interactie met stakeholders en te publiceren over vernieuwende methoden en concepten in het wetenschappelijk domein. De resultaten die uit dit beleid zijn voortgevloeid zijn te vinden op de website van het Nivel.²⁰

71

Onderschrijft u het oordeel van de onafhankelijk deskundige dat er met wat goede wil en wat creativiteit bij Nivel meer mogelijk moet zijn om de doelmatigheid te beoordelen?

72

Is de suggestie van de onafhankelijk deskundige overgenomen om een vergelijking te maken met de prestaties en de kosten die andere onderzoeksinstituten maken die eveneens grote databestanden beheren?

Antwoord op vragen 71 en 72:

Het zo doelmatig mogelijk inrichten van de activiteiten die het Nivel uitvoert komt geregeld aan de orde in gesprekken tussen VWS en Nivel, die plaatsvinden in het kader van de meerjarenafspraak en de jaarlijkse subsidietoekenning. Naar aanleiding van de aanbevelingen van de onafhankelijk deskundige zal bij volgende evaluaties extra aandacht worden gegeven aan de onderbouwing van doelmatigheid. Het Nivel zal in aanloop naar de volgende evaluatie conform het SEP nadenken hoe het zijn doelmatigheid nog beter kan onderbouwen en dit als gespreksonderwerp met de internationale beoordelingscommissie meenemen.

Tweede Kamer, vergaderjaar 2019-2020, 32 772, nr. 36 20

¹

   Bijlage bij Kamerstuk 30 850, nr. 44

²

   Bijlage bij Kamerstuk 32 772, nr. 35

³

   Kamerstuk 32 772, nr. 18

⁴

Regeling van 15 augustus 2014 houdende regels voor periodiek evaluatieonderzoek (Regeling Periodiek Evaluatieonderzoek), Stcrt. 2014, nr. 27142.

⁵

   Kamerstuk 32 772, nr. 35

⁶

   Kamerstuk 31 865, nr. 156

⁷

   ZonMw-zelfevaluatie Implementatie aanbevelingen. ZonMw, 2018. Deze rapportage is samen met de beleidsdoorlichting en kabinetsreactie aan de Kamer gestuurd.

⁸

   Kamerstuk 32 772, nr. 23

⁹

   Bijlage bij Kamerstuk 32 772, nr. 35

¹⁰

   Kamerstuk 32 772, nr. 18

¹¹

Evaluatie van de subsidieregeling Transparantie door het Zorginstituut - Bijlage bij Kamerstuk 31 476, nr. 28. https://www.rijksoverheid.nl/documenten/rapporten/2019/07/05/rapport-subsidieregeling-transparantie

¹²

https://www.zonmw.nl/fileadmin/zonmw/documenten/Corporate/Over_ZonMw/ ZonMw_beleidsplan2016-2020_2.pdf

¹³

https://publicaties.zonmw.nl/fileadmin/zonmw/documenten/Preventie/20_jaar_preventie/ 20_jaar_preventie_ZonMw_LR_CH.pdf

¹⁴

Vragen over Nivel zijn separaat beantwoord in laatste cluster.

¹⁵

Kamerstuk 29 248, nr. 313.

¹⁶

   https://www.zonmw.nl/nl/onderzoek-resultaten/doelmatigheidsonderzoek/evaluatie/

¹⁷

   https://www.zonmw.nl/uploads/tx_vipublicaties/ Notitie_Kostenbesparingen_door_onderzoek_en_innovatie_in_de_zorg_02.pdf

¹⁸

https://www.nivel.nl/sites/default/files/pdf/Nivel_Brochure_Onderzoeksprogramma.pdf

¹⁹

   https://www.nivel.nl/sites/default/files/pdf/Nivel_Brochure_Onderzoeksprogramma.pdf

²⁰

   zie bijvoorbeeld: https://www.nivel.nl/nl/producten-en-diensten, https://www.nivel.nl/nl/ nivelverbindt,

https://www.nivel.nl/nl/project/vervolg-ontwikkeling-serious-game-

huisartspraktijkmanagement