Artificial intelligence vindt zijn weg ook in de materiaalkunde. Met deep learning kun je niet alleen materialen beoordelen, maar ze ook doelgericht ontwerpen. ‘Eerlijk gezegd had ik niet verwacht dat het zo goed zou werken.’
‘Hoe ontwerp je een materiaal? Vaak komt het erop neer dat je allerlei mogelijke materialen afgaat, en hoopt dat je de eigenschappen vindt die je wilt hebben. Ik wil dat proces omdraaien: je begint met de gewenste eigenschap, en daar vloeit dan het materiaal uit voort.’
Dit zegt Marjolein Dijkstra, hoogleraar soft condensed matter aan de Universiteit Utrecht. Ze bracht haar idee voor zogeheten reverse engineering van materialen in de praktijk met hulp van kunstmatige intelligentie: een patroon-herkennend neuraal netwerk (Science Advances, 19 januari 2022).
Dijkstra is gespecialiseerd in simulaties van colloïden, kleine onoplosbare deeltjes in een vloeistof. Veel colloïden kunnen colloïdale kristallen vormen, met kristalstructuren die afhangen van parameters zoals vorm en grootte van de deeltjes, maar ook temperatuur en druk. Dijkstra wilde doelgericht colloïdale kristallen met een bepaalde kristalstructuur maken.
‘Er is een nieuwe lichting voor wie AI veel vertrouwder is’
De onderzoekers begonnen met een computersimulatie van tweedimensionale HCSS-deeltjes (hard core, square shoulder), die elkaar ‘voelen’ door onderlinge interactie: binnen een bepaalde straal is de afstoting omgekeerd evenredig met de temperatuur. Dijkstra: ‘Als je een slim algoritme hebt dat je naar de juiste kristalstructuur leidt door zaken als druk en temperatuur te variëren, heb je een principe om te zoeken naar nieuwe materialen.’
De vraag is alleen: hoe herken je de juiste kristalstructuur? Op het oog zien de colloïden er vaak wat ongeordend uit. De onderliggende orde wordt duidelijker op een fouriertransformatie van de beelden, het equivalent van een röntgendiffractiepatroon voor atomaire kristallen. Bij een vierkant kristalrooster zijn daarin bijvoorbeeld vier (of veelvouden van vier) donkere pieken op een cirkel te zien. Bij een zeshoekige kristalstructuur zijn het er zes (of veelvouden van zes).
Quasikristallen
Dijkstra en collega’s besloten het zichzelf niet te gemakkelijk te maken, en op zoek te gaan naar quasikristallen (kristalstructuren met een patroon dat zich niet herhaalt), die bij echte colloïden speciale optische eigenschappen hebben. ‘Zulke kristallen zijn heel moeilijk gericht te ontwerpen’, zegt Dijkstra. Het was bekend dat bij HCSS-colloïden quasikristallen met twaalfvoudige symmetrie mogelijk zijn, maar de fouriertransformatie is niet gemakkelijk te onderscheiden van die van zesvoudig symmetrische kristallen.
Om dat onderscheid toch te maken, trainden de onderzoekers een Convolutional Neural Network (CNN), een neuraal netwerk dat losjes is gebaseerd op de werking van hersencellen (zie kader beneden). Dijkstra: ‘We begonnen met een standaard machine learning-netwerk voor beeldherkenning, van het soort dat ook wordt gebruikt voor handschriftherkenning, of om katten- en hondenplaatjes te classificeren.’
De onderzoekers trainden het netwerk voor fouriertransformaties van HCSS-kristallen. Aan de ene kant gaat er een fouriertransformatie in, aan de andere kant komen er waarschijnlijkheidsscores uit voor verschillende kristaltypen: viervoudige, zesvoudige, en quasikristallen.
‘Alleen de beste experts kunnen met de netwerken wedijveren’
Het bepalen van de kristalsymmetrie is één ding, een tweede is het bereiken van de bedoelde symmetrie door te variëren met parameters. Om die parameterruimte te verkennen, gebruikten de onderzoekers een evolutionair zoek-algoritme. Dat begint bij één combinatie van druk, temperatuur en straal. Vervolgens berekent het CNN voor een aantal punten daaromheen in hoeverre de kristalstructuur overeenkomt met de gewenste kristalvorm. Vervolgens beweegt het zoekalgoritme in de richting waarin de overeenkomst beter wordt.
Dat werkte: eerst ging het algoritme met succes op zoek naar kristallen met een twaalfvoudige symmetrie, een nauwe strook in het fasediagram, later vond het ook tien- en achttienvoudig symmetrische quasikristallen. ‘Je kunt dus heel goed sturen op een doeleigenschap’, zegt Dijkstra. ’Eerlijk gezegd had ik ook niet verwacht dat het zo goed zou werken. Maar ja, mijn promovendi waren heel eigenwijs, dus ik zei: probeer het maar.’
De materialen-op-bestelling-door-AI zijn nog een proof of principle. Dijkstra: ‘Er is een nieuwe lichting promovendi voor wie AI en machine learning veel vertrouwder zijn. Hoe meer ik erover weet, hoe meer ik ervan overtuigd ben dat het echt een bijdrage aan onderzoek kan leveren.’
Black box
Concreter gericht op toepassingen is het onderzoek van Michiel Larmuseau, die aan de Universiteit van Gent promoveerde op de classificatie van verschillende soorten staal op basis van beelden uit een elektronenmicroscoop, in een samenwerking met het staalbedrijf ArcelorMittal. Staal, een legering van ijzer met koolstof en andere atomen, kan bestaan in verschillende kristallisatievormen, met verschillende eigenschappen. Austeniet is bijvoorbeeld ons roestvast staal.
De zwart-witbeelden van de Scanning Elektronenmicroscoop, met daarop korrels, kristalgrenzen en veer-achtige strepen, zijn voor niet-experts niet gemakkelijk te duiden. Larmuseau: ‘Normaal gesproken kijken experts naar die beelden, om de kwaliteit van het staal te beoordelen, maar wij vroegen ons af of je die beelden niet met deep learning kunt omschrijven, en wel zó dat je de afbeelding samenvat in een zo laag mogelijk aantal getallen die zo veel mogelijk zeggen over het materiaal.’
Daarvoor gebruikten hij en collega’s ResNeXt50, een kant-en-klaar neuraal netwerk voor beeldherkenning, dat ze trainden om de staalmonsters te herkennen. In een volgende stap breidden ze de training uit naar een Triple-netwerk (zie kader), om zo veel mogelijk onderscheid te kunnen maken tussen beelden die erg op elkaar lijken (NPJ Computational Materials, 2020).
’AI kan echt fundamenteel nieuwe dingen, maar er is ook veel hype’
Dat werkte verbazend goed, zegt Larmuseau. De staalmonsters zijn te karakteriseren met twee getallen, te interpreteren als punten in een vlak. ‘In een volgende publicatie vergelijken we de classificaties van het netwerk met die van menselijke experts. Alleen de beste experts kunnen met de netwerken wedijveren.’ Uit de karakterisaties kun je eigenschappen van het staal afleiden, zoals het koolstofgehalte. Larmuseau: ’Dat was tamelijk accuraat. Menselijke experts kunnen dat niet zien.’
Uiteindelijk is ook hier het idee om staalsoorten op maat te kunnen maken, vergelijkbaar met de aanpak van Marjolein Dijkstra voor colloïden. Maar zo ver is het nog niet, zegt Larmuseau. ‘Een van de grote tekortkomingen van de deep learning-netwerken is het black box-probleem: het is heel lastig te bepalen hoe het netwerk tot zijn beslissingen komt.’ Daarnaast veranderen netwerken soms onverklaarbaar van gedachten: ‘Een verandering van de waarde van één pixel kan soms een andere classificatie opleveren. Een heel hardnekkig probleem.’
In wetenschappelijk onderzoek kan deze aanpak veel werk uit handen nemen, maar het zal nog wel even duren totdat staalfabrieken hun productieproces aan neurale netwerken overlaten. Larmuseau: ‘Deep learning is heel sterk in patroonherkenning, maar veel minder goed in andere problemen. Mensen hebben de neiging successen automatisch te extrapoleren. AI kan echt fundamenteel nieuwe dingen, maar er is ook veel hype.’
Diepe nep-hersenen die patronen zien
Artificial Intelligence (AI, kunstmatige intelligentie) is een brede term voor computeralgoritmen die op verschillende manieren intelligent gedrag vertonen: ze kunnen leren, patronen herkennen, en beslissingen nemen waarvoor ze niet expliciet geprogrammeerd zijn.
Het vakgebied bestaat al sinds de jaren 1950, maar de laatste jaren zijn alle ogen gericht op deep learning: een klasse van neurale netwerken, ruwweg gebaseerd op het ontwerp van hersencellen, of neuronen. Een neuraal netwerk bestaat uit verschillende hiërarchisch geordende lagen van kunstmatige hersencellen of nodes.
Iedere node heeft een outputwaarde tussen 0 en 1. Die waarde wordt via verbindingen doorgegeven aan nodes in een volgende laag, die alle input optellen en via een functie omzetten in een nieuwe outputwaarde. De gewichten van de verbindingen tussen nodes kunnen worden aangepast: sommige outputs tellen in de optelsom zwaarder mee dan andere. Een netwerk kan als inputwaarden bijvoorbeeld de pixelwaarden van een beeldbestand hebben.
Talloze toepassingen
Netwerken leren door in een trainingsfase de gewichten herhaaldelijk aan te passen, meestal met zogeheten backpropagation: goede antwoorden worden ‘beloond’ door de gewichten van verbindingen tussen bepaalde neuronen te verhogen, foute antwoorden door gewichten te verlagen. Zo wordt het netwerk steeds beter in het herkennen van data die lijkt op de trainingsdata.
Neurale netwerken worden al decennia toegepast voor bijvoorbeeld handschriftherkenning, maar pas sinds een ongeveer een decennium zijn computers krachtig genoeg om backpropagation uit te voeren voor netwerken met honderden of duizenden nodes, georganiseerd in meerdere lagen: de zogenaamde ’diepe’ netwerken. Deep learning heeft een nieuwe hausse aan AI ingeleid, waarin netwerken patronen herkennen en classificeren met onwaarschijnlijke precisie, met toepassingen in bijvoorbeeld beeldherkenning, navigatie en vertaalprogramma’s.
Zelf uitvogelen
Netwerken zijn er in verschillende soorten en maten, ieder geschikt voor verschillende typen problemen. Convolutional Neural Networks (CNN) zijn bijvoorbeeld erg geschikt voor patroonherkenning, onder andere omdat ze goed kunnen omgaan met verschuivingen van de beelden.
Een probleem van veel typen netwerken is dat ze veel trainingsdata nodig hebben: er zijn honderdduizenden voorbeelden nodig voordat het netwerk begint te begrijpen wat de bedoeling is. Vaak moeten die voorbeelden bovendien geannoteerd zijn: iemand – vaak een mens – moet van alle trainingsdata aangeven wat het juiste antwoord is.
Zogeheten Triple-netwerken krijgen de onderscheidende criteria niet voorgeschreven, maar vogelen die zelf uit. Twee van de drie netwerken krijgen verschillende foto’s van hetzelfde gezicht te zien, het derde een ander gezicht. De drie uitkomsten worden ook weer aan een netwerk gevoerd, met de opdracht zo veel mogelijk onderscheid te maken tussen verschillende gezichten, en zo weinig mogelijk tussen dezelfde gezichten. Deze aanpak gebruikte Michiel Larmuseau met succes om onderscheid te maken tussen verschillende soorten staal.
Nog geen opmerkingen