Promotie: ‘Evaluaties duurzaamheidsprojecten moeten en kunnen scherper’

Irrelevante vragen, teveel criteria en te beperkte gezichtspunten. Volgens onderzoeker Frans Sijtsma gaat er veel mis bij de evaluatie van grote duurzaamheids­projecten. “Het is onmogelijk om het helemaal goed te doen, maar het moet scherper. En het kan scherper.”

Voorbeeld: de kokkelvisserij in de Waddenzee. Die is vier jaar lang geëvalueerd en naar aanleiding daarvan afgeschaft. “Het was visserij voor de internationale handel. Alleen Spanjaarden eten kokkels. Maar het rapport ging uitsluitend over Nederland.” Een onderzoek op mondiale schaal had tot andere conclusies kunnen leiden, denkt Sijtsma.

Wereldschaal

Sijtsma: “In die periode kwamen zestien illegale Chinezen om bij handmatige kokkelvisserij in Engeland, en de Nederlanders proberen nu hun visserij te verleggen naar o.a. de kust van Mauretanië, met ook een mooi natuurgebied. De Nederlandse kokkelvisserij was een hele nette sector, met hele nette boten, die allemaal werden gemonitord. Je moet verder kijken: als de Spanjaarden kokkels blijven eten, komen ze wel ergens anders vandaan.”

Bij de evaluatie van duurzaamheid – de beoordeling van de effecten op economische ontwikkeling, extreme armoede en achteruitgang van het milieu – wordt te vaak gekeken op lokaal niveau. Het is één van Sijtsma’s kritiekpunten op de gangbare analysemethodes. “Natuurlijk, het is onmogelijk om het helemaal goed te doen. Het liefst wil je alle gevolgen meenemen. Dat kan niet. Alles hangt met elkaar samen; handel met China, uitstoot van CO₂ op wereldschaal. Maar het moet scherper. En het kan scherper.”

Eenvoud en begrijpelijkheid

In zijn proefschrift Project evaluation, sustainability and accountability introduceert Sijtsma een nieuwe analysemethode voor duurzaamheidsprojecten. Hij combineert daarin de twee belangrijkste bestaande methodes: de kosten-baten analyse (KBA) en de multi-criteria analyse (MCA).Twee nuttige en theoretisch goed onderbouwde methodes, die bij ingewikkelde materie als duurzaamheid echter tekort schieten. “Kosten-baten analyse waardeert het liefst op geld, daarbij presteren ze het om uitstoot van CO₂, landschapsvervui­ling en zelfs verkeersslachtoffers uit te drukken in geld. Daar snapt dan al gauw niemand meer iets van. De multi-criteria analyse is een prachtige techniek die overal rekening mee wil houden, maar daarbij krijg je vaak een hele waslijst aan criteria, die onoverzichtelijk is en vaak zaken dubbel telt.” Volgens Sijtsma leidt een goede combinatie van de sterke kanten van de twee tot eenvoud en begrijpelijkheid. “De kracht van de kosten-baten analyse is de strenge causaliteit, de precieze analyse van wat oorzaak en gevolg is. De multi-criteria analyse kijkt verder dan alleen in economische termen. Een goede evaluatie moet zich beperken tot de belangrijkste criteria die, vooraf en in goed overleg, worden gesteld. Gegevens moeten gewoon gepresen­teerd worden in de natuurlijke maten (CO₂ uitstoot in kiloton, reistijd in uren) zodat iedereen weet waar het om gaat.”

Openheid

Analisten moeten niet altijd maar willen zeggen wat de ‘beste keus’ is, vindt Sijtsma. Ze moeten besluitvorming ondersteunen met heldere gegevens. Een ondubbelzinnige beste keus is in veel gevallen, zeker als je het hebt over duurzaamheid, niet haalbaar. “Als je te ver gaat in je evaluatie, overspeel je je hand. Dat zag je bijvoorbeeld bij de rapporten over de Zuiderzeelijn. De RUG vond dat het uitkon, het onderzoeksbureau Ecorys vond van niet. Ze waren het oneens over de omvang en waardering van een deel van de effecten. Waarom zeggen ze niet: tot zover weten we het, de rest is omstreden? Ook opdrachtgevers willen vaak een duidelijke uitkomst, ook als die er niet is, en zijn misschien wel minder geïnteres­seerd in de manier waarop die tot stand is gekomen.” Sijtsma pleit voor een evaluatie waarbij iedereen kan zien en begrijpen wat er precies gemeten is. Het is gemakkelijk dingen ingewikkeld te maken, stelt hij. “De kunst is de analyse eenvoudig te houden. Maar misschien wil niet iedereen zoveel openheid en hebben partijen er soms belang bij dat een evaluatie niet al te scherp is.”

Curriculum vitae

Frans J. Sijtsma studeerde economie in Groningen en is sinds 1992 verbonden aan de RUG. Hij heeft vele onderzoeken verricht op het brede terrein van de ruimtelijke economie: landbouw; natuurbeleid; platteland; goederenvervoer; regionale arbeidsmarkt, bedrijven­terreinen, duurzaamheid. Hij is coördinator van de Wetenschapswinkel voor Economie en Bedrijfskunde (link) en docent economische geografie. De openbare verdediging van zijn proefschrift getiteld Project evaluation, sustainability and accountability. Combining cost-benefit analysis (CBA) and multi-criteria analysis (MCA) wordt live uitgezonden op www.rug.nl/kennisdebat. Hij promoveert op 19 oktober tot doctor in de economische wetenschappen bij prof.dr. J. Oosterhaven, prof.dr. A.J.M. Schoot Uiterkamp en prof.dr. D. Strijker.