Skip to ContentSkip to Navigation

Data Federation Hub

Data Federation Hub
Header image Blog

Blog

Open Science, preprints, ethical boards and fast research in “the COVID era”

Date:08 July 2020

Open science and COVID: a lot of research has been published, and more will follow soon. But is the research reliable and diligent? What should we pay the most attention to? Vera Heininga and Tina Kretschmer, cofounders of the Open Science Community Groningen (OSCG) and both researchers at the faculty of Behavioural and Social Sciences, talk about open science, preprints and hastily research. 

Heininga and Kretschmer
Heininga and Kretschmer

 

Why is Open Science important in the COVID-era? 

Heininga: “Open Science is always important, not only in these current times of COVID. Its importance just becomes more prominent. For example, in the use of preprints. A preprint is a full concept of a scientific paper that is shared publicly, before the article has been reviewed by peers. Benefits of preprints are: they are freely available for the entire world, they can stimulate informal debate and collaboration, and it speeds up scholarly communication.”

Kretschmer: “Before COVID, almost no one beside academics were interested in preprints. But right now, most media outlets are really focused on preprints and for people outside the academic world, it’s hard to tell the difference between a preprint and an article published in a scientific journal.”

How can we prevent preprints from leading a life of its own? 

Kretschmer: “Time constraints are key in times of Corona. People thought, and still think: ‘we need to find a vaccine as soon as possible’. That thought does not only activate researchers’ interest in what has recently been discovered, but also the media.  It is not the typical scenario that the whole world is waiting to see what researchers are discovering at that exact moment. It’s not normal for the media to search through preprint servers every day. 

I think that journalists now understand the fact that preprints are not read and reviewed by independent colleagues, and that results and conclusions from preprints are preliminary.” 

Heininga: “There has been considerable criticism towards researchers who actively approached all possible news outlets with their COVID-19 findings, without emphasizing that these results were preprints. Scientific findings can start leading a life of its own when one doesn’t realize that one should always critically read scientific papers, and preprints even more critically. Moreover, one study and one finding is not yet a truth of course. It should always be viewed in a series of findings.” 

What are positive effects of these preprint discussions? 

Kretschmer: ”I think that the media and the general public are better informed about science. Especially about the fact that researchers don’t always agree, and that it’s not ‘unscientific’ to have different opinions.” 

Heininga: ”That’s right. The quality of some COVID-preprints has led to a debate in the open science community, see for example this preprint. There are no minimal requirements to preprints, and this preprint turned out to be full of mistakes. Furthermore, some aspects of the data collection process were questionable, as discussed in this article. I hope that this debate will lead to more caution in similar situations (e.g., in case there is a second wave of COVID) and I hope it won’t be hyped as much in the media.” 

What is remarkable about research in COVID-times? 

Kretschmer: “What struck me and also worried me, is the speed at which people wanted to gather data. We were only two days into the intelligent lockdown when the first questionnaires were put out. These included questions such as ‘do you feel suicidal’. Those are questions that usually take a great amount of thought before asking participants. I sometimes wondered: ‘did these questionnaires pass the ethical board?’ Approval from the ethical board is important because they also take into account how you store your data, and whether your research questions are too much of a burden for participants. They also look at legal requirements. For example, a 16-year old can participate in research without adult consent, but a 15-year old cannot. That is something individual researchers are not always aware of, but the ethical board is.”

What is, in your opinion, the most important thing we can learn from research in COVID-times? 

Kretschmer: “An important lesson is that we should not put out a questionnaire too soon. Rather think about it for another day or two, and question yourself: ‘what exactly do I want to investigate? Is this really necessary? Will it help science and society?’”

Heininga: ”I totally agree. I wonder, are the researchers who have put out their questionnaires so soon, really able to use all of that data? Preregistration can also play an important part in this. That is, registering your research question and hypothesis before the start of the data collection, forces you to think about it carefully.”




NEDERLANDS

Over open science, preprints, ethische commissies en te snel onderzoek willen doen in Corona COVID tijd

Open science in coronatijd. Er is al veel onderzoek over covid-19 gepubliceerd en er volgt binnenkort nog veel meer. Hoe betrouwbaar en zorgvuldig is dat onderzoek eigenlijk? Waar moeten we op letten? Grondleggers van de Open Science Community Groningen (OSCG) Vera Heininga en Tina Kretschmer (beiden werken als onderzoeker bij de faculteit Gedrag- en Maatschappijwetenschappen) in gesprek over open science, preprints en te snel onderzoek willen doen.

Waarom is open science zo belangrijk in Covid-tijd? 

Heininga: ‘open science is altijd belangrijk, niet alleen in tijden van corona. Het belang komt gewoon nu wat meer naar voren. Bijvoorbeeld in preprints. Een preprint is een volledig concept van een wetenschappelijk artikel dat openbaar wordt gedeeld nog voordat er een peer review proces heeft plaatsgevonden.  Voordelen van preprints zijn onder meer dat ze vrij toegankelijk zijn voor de hele wereld, ze een informele discussie en samenwerking stimuleren en zorgen voor een snellere verspreiding van academisch werk.’

Kretschmer: ‘Voor de coronatijd was bijna niemand buiten de wetenschappelijke wereld geïnteresseerd in preprints. Maar nu blijken heel veel media op zo’n preprint te duiken en voor mensen die niet in de wetenschap zitten is het moeilijk te begrijpen wat precies het verschil is tussen een preprint en een artikel gepubliceerd in een wetenschappelijk tijdschrift.’

Hoe kun je voorkomen dat deze preprints een eigen leven gaan leiden?

Kretschmer: ‘Het heeft in de coronatijd ook te maken met tijdsdruk. De gedachte was en is “we moeten heel snel een vaccin vinden.” Dan willen niet alleen onderzoekers maar ook media weten wat voor onderzoek er is gedaan. Normaal gesproken zit de hele wereld niet te wachten op wat de wetenschap op dat moment uitvindt. Het is niet normaal dat de media elke dag de preprintservers doorspitten. 

Ik denk dat journalisten inmiddels goed begrijpen dat preprints nog niet zijn gelezen en zijn beoordeeld door onafhankelijke collega’s en dat conclusies uit preprints heel voorzichtig getrokken moeten worden. 

Heininga: Er is ook flink wat kritiek geweest op onderzoekers die met hun COVID-19 bevindingen actief langs alle mogelijke nieuwskanalen gingen zonder nadrukkelijk te benoemen dat het een preprint betrof. Een bevinding kan een eigen leven gaan leiden als men zich niet realiseert dat je altijd kritisch moet kijken naar wetenschappelijke artikelen en dat geldt voor preprints nog meer. Bovendien is één studie en één bevinding natuurlijk nog geen waarheid. Je moet het zien in een reeks van bevindingen.

Wat is het positieve aan de discussie rond preprints?

Kretschmer: ‘Ik denk wel dat de media en het publiek een beter idee heeft gekregen van de wetenschap. Vooral dat wij wetenschappers het niet altijd met elkaar eens zijn en dat het niet ‘onwetenschappelijk’ is als er verschillende meningen zijn.’ 

Heininga ‘Dat denk ik ook! De kwaliteit van sommige COVID-preprints  heeft tot flink wat discussie in de open science-wereld geleid zoals bijvoorbeld deze preprint. Er is geen minimum criterium waar een preprint aan moet voldoen en deze preprint bleek vol fouten te staan. Bovendien bleken sommige aspecten van de dataverzameling twijfelachtig zoals blijkt uit dit artikel. Ik hoop dat deze discussie ertoe bijdraagt dat preprints in een vergelijkbare situatie (bv een eventuele tweede 'grote golf' van het coronavirus) met iets meer voorzichtigheid worden gepresenteerd en minder snel gehypet worden in de media.

Wat is er nog meer opvallend aan onderzoek in COVID-tijd?

Kretschmer: ‘Wat mij opviel en veel zorgen baarde was hoe snel iedereen data wilde verzamelen. We zaten twee dagen thuis en iedereen had al vragenlijsten online. Er zaten vragen tussen zoals ‘voel je je wel eens suïcidaal’. Dat zijn vragen waar je anders heel lang over nadenkt of je die wel of niet aan iemand stelt. Ik vroeg me soms af: is dit langs een ethische commissie geweest? Ethische goedkeuring is belangrijk omdat een ethische commissie ook bekijkt of je de data goed opslaat en of de onderzoeksvragen niet buitenproportioneel belastend zijn. Ze toetsen ook wettelijke zaken. Bijvoorbeeld een 16-jarige mag wel meedoen aan onderzoek zonder ouderlijke toestemming, maar een 15-jarige niet. Dat is iets wat een commissie weet, maar de individuele onderzoeker niet altijd. 

Wat is wat jullie betreft de grote les uit deze covidperiode?

Kretschmer: ‘Een belangrijke les is dat we leren dat we niet te snel een vragenlijst eruit gooien. Liever nog twee nachtjes slapen en goed nadenken: ‘wat wil ik eigenlijk onderzoeken?’ Is dit echt noodzakelijk? Gaat dit echt de wetenschap en onze maatschappij verder helpen?’

Heininga: “Helemaal mee eens. De vraag is ook: gaan de onderzoekers die zo snel hun vragenlijsten online hebben gezet die data ooit nog wel gebruiken? Preregistratie zou hierin een belangrijke rol kunnen spelen. Het vooraf registreren van je onderzoekshypothese dwingt je namelijk om eerst goed na te denken voordat je de data ervoor gaat verzamelen.”