Wat kunnen kunstmatige-intelligentie-technologieën betekenen voor de uitgeefwereld? Deze vraag, gesteld door Adam Brownsell, uitgever van ChemistryWorld en voorzitter van de sessie, vormde de aftrap van de paneldiscussie over de toekomst van wetenschappelijk publiceren en AI.
Joris van Rossum, uitgeefprofessional bij STM (een wereldwijde vereniging van wetenschappelijke, technische en medische uitgevers) zegt dat een grote uitdaging het misbruik van AI is. ‘AI kan goed zijn, maar het probleem is dat het geen tekst uit het niets kan bedenken. Het manipuleert of kopieert bestaande tekst om iets “nieuws” te creëren.’

Wapenwedloop

Angela Wilson, voormalig voorzitter van de American Chemical Society (ACS), die ervaring heeft als auteur en redacteur bij een aantal tijdschriften, stelde een vraag aan de andere panelleden: ‘Hoe weet je wanneer iemand een AI-programma als ChatGPT gebruikt? Hoe zou je dat controleren?’ Een antwoord kwam van Steffen Pauly, redactiedirecteur bij Springer Nature. Hij benoemt dat Springer Nature een beleid heeft dat niet toestaat dat AI-programma’s als auteur worden erkend. ‘De onderzoekers blijven zelf volledig verantwoordelijk voor de resultaten en zouden transparant moeten zijn over het gebruik van AI-technologie, zoals ze dat ook zouden moeten zijn over andere reeds geïntegreerde technologieën.’ Andrew Bissette, wetenschappelijk redacteur van Cell Reports Physical Science en Chem, is het met Pauly eens. ‘ChatGPT kan geen auteur zijn, maar het gebruik ervan moet zeker worden genoemd.’

Bissette is ervan overtuigd dat we tools nodig hebben om het gebruik van AI te detecteren, maar ‘het is tegelijkertijd een wapenwedloop’, zegt hij. ‘Op het moment dat je je detectietools vrijgeeft, zullen mensen hun AI-programma’s aanpassen om ze te omzeilen. Het is een belangrijke kwestie, maar we moeten ook verder kijken naar het ethische gebruik van AI om te creëren.’

Beangstigend

Dit riep een vraag op uit het publiek: AI zal waarschijnlijk worden gebruikt om te zien of AI is gebruikt voor het document. Hoe moeten redacteuren dit proces waarborgen? En wie gaat bepalen wat voor soort AI acceptabel is of niet?

Van Rossum: ‘Als wetenschappers hadden we op deze technologieën moeten anticiperen. Bij STM hebben we een best practice white paper opgesteld over hoe en wanneer je AI kunt gebruiken in onderzoekspapers. We staan toe dat je het gebruikt om het Engels te verbeteren, maar het risico bestaat dat mensen ook andere dingen “verbeteren”. Controleren is het moeilijkste deel.’ Wilson voegt toe: ‘Zodra onze uitgevers het gebruik van AI kunnen detecteren, kunnen we actie ondernemen. Maar de programma’s worden steeds beter, en op een bepaalde manier is dat beangstigend. Zolang uitgevers losse standaarden hanteren, zullen er problemen zijn.’

AI en peer review

Maar wat is het risico van het gebruik van AI om papers te beoordelen? Bissette zegt dat papers altijd vertrouwelijk moeten blijven. ‘Als je OpenAI gebruikt om een paper te beoordelen, is het onduidelijk wat er met de data gebeurt.’ ‘Als je AI gebruikt om papers te beoordelen, moet het intern achter een ondoordringbare firewall blijven’, zegt Peter Schreiner, al meer dan twintig jaar redacteur bij Wiley. ‘Maar uiteindelijk moeten de menselijke recensenten het laatste woord hebben en ik denk niet dat iemand het daarmee oneens is.’ Volgens Bissette komt het aan op gemeenschappelijke ethiek en handhaving. ‘We vertrouwen erop dat de recensenten hun positie niet misbruiken en de papers niet op internet zetten.’

Het gebruik van AI om papers te schrijven of te ‘verbeteren’ zou ook een symptoom kunnen zijn van de ‘publish or perish’-cultuur die bestaat in de huidige onderzoekswereld, daar waren de panelleden het over eens. ‘Omdat wetenschap grotendeels wordt gefinancierd met belastinggeld, is er veel druk om te publiceren’, zegt Wilson. Schreiner beschrijft hoe Wiley haar financieringsbeleid heeft aangepast om deze cultuur tegen te gaan. ‘Als je geld vraagt, mag je niet naar meer dan tien artikelen linken. Ik denk dat dit ook op veel andere plaatsen is opgepakt; het wegbewegen van impactfactors en grote aantallen gepubliceerde artikelen.’ Van Rossum is het daarmee eens, want ‘dit is iets wat we alleen samen kunnen bereiken’. ‘We moeten ook voorzichtig en bewust zijn dat het bedrijf achter ChatGPT of andere AI-bedrijven niet de enige eigenaar van de data wordt en onbetwist wegloopt’, voegt hij eraan toe.

De toekomst

‘Wat we doen moet op een kritische manier gebeuren’, zegt Pauly. ‘We hebben altijd technologie gebruikt om onze klanten beter van dienst te zijn, en we zien dat het gebruik van AI-tools de community vooruit kan helpen.’ Bissette: ‘De tools gaan niet meer weg. Zolang we een ethische manier vinden om ze te gebruiken, kunnen ze een grote hulp zijn.’

Schreiner: ‘De doos van Pandora is geopend, maar ik ben optimistisch. Er zullen veel meer hulpmiddelen komen en ze zullen de manieren van beoordelen enzovoort verbeteren, zoalng we de besluitvorming maar bij de mens houden.’ Wilson is enthousiast over de toekomst. ‘Maar we moeten ervoor zorgen dat de wetenschap klopt. Er moeten checks and balances zijn en we moeten een aantal gemeenschappelijke normen opstellen voor wat oké is en wat niet. Er zouden consistente richtlijnen moeten zijn voor alle uitgevers en universiteiten.’