Meer AI in de organisatie! Maar… hoe dan?

Door Pieter Senster, Engineering Director bij Databricks

Toch kun je data beter zien als water. Het verandert in essentie niet, maar kan worden gevormd tot iedere gewenste vorm en toepassing, mits de omstandigheden juist zijn. Van ijs tot water tot stoom, naar gelang de wensen van de organisatie. De grote uitdaging voor organisaties: de infrastructuur om data op deze manier te gebruiken ontbreekt.

Uit een recent onderzoek van MIT Technology Review Insights blijkt dat gedegen databeheer een van dé uitdagingen is die CIO’s dwarszit. Hoe zorg je dat data net als water te transformeren is voor verschillende doeleinden? Hoe kunnen zowel data scientists, business intelligence-professionals, AI-experts werken met dezelfde datasets om hun doelen te bereiken?

78% van de door MIT ondervraagde CIO’s gelooft in AI als een van dé manieren om in de komende jaren bedrijfsgroei te realiseren. Het onderzoek geeft ook aan dat voor 81% van de Europese respondenten het opschalen van AI en machine learning (ML) een topprioriteit is voor hun groeistrategie. Maar tegelijkertijd geven ze aan dat databeheer een van de grootste uitdagingen is waar ze voor staan bij het opschalen van AI, vanaf datavergaring tot -verwerking, het beheer ervan én het waarborgen van de kwaliteit.

Een van de oorzaken van deze uitdaging is de explosieve toename van beschikbare data in de afgelopen tien jaar. Betaalbare cloudopslag en -computing, open source-software en de voortschrijdende evolutie van ML-technologieën hebben geleid tot een aardverschuiving in de visie op AI. Maar tekortkomingen in databeheer en infrastructuur hangen als een donderwolk boven die visie. 72% van de respondenten in het MIT-onderzoek zegt dat als ze hun AI-doelstellingen niet kunnen bereiken, dataproblemen de waarschijnlijkste reden zijn.

De problemen beginnen al bij de onderliggende data-architectuur. Organisaties moeten vier verschillende tech-stacks bouwen voor hun data-activiteiten: business analytics, data engineering, data-streaming én ML. Maar deze vier stacks vereisen zeer verschillende technologieën en werken soms helaas niet goed samen. Het eindresultaat van zo’n vierledige architectuur is dat er meerdere kopieën van datasets binnen de organisatie bestaan, dat er geen consistent security- en governancemodel kan worden opgezet, dat systemen van elkaar gescheiden blijven en dat de datateams daardoor minder productief zijn. Ondertussen blijft door dit alles ML een wensdroom.

Leg een AI-ready fundering

Voordat je AI-oplossingen kunt introduceren binnen je organisatie, moet je eerst een fundering leggen die dit ondersteunt. Je raadt het al, vier losse tech-stacks bieden geen stabiele basis. Maar wat dan wel?

Veel organisaties zijn in de loop der jaren richting een data lake gedreven. Het biedt immers goedkope opslag en kan uiteenlopende datatypen en hoge datavolumes aan. Daarmee is een data lake perfect voor ML. Maar voor bijvoorbeeld business intelligence is het juist ongeschikt – daarvoor is meer gestructureerde (en daarmee duurdere) data-opslag en -verwerking nodig. Dat leidt in de praktijk tot een dubbele fundering waarin een data lake (voor ML) naast een datawarehouse bestaat (voor o.a. business intelligence). Dat is functioneel, maar duur in onderhoud, afhankelijk van API-koppelingen, lastig schaalbaar én leidt bovendien makkelijker tot cloud- of vendor lock-in.

De logische stap naar een AI-ready architectuur is dan ook een combinatie van deze twee technologieën, een data lakehouse, dat aan de nodige vereisten van een toekomstbestendige fundering voldoet:

• Het elimineert de noodzaak van de dubbele warehouse-lake architectuur
• Het gebruikt een enkele, kostenefficiënte architectuur voor alle bedrijfsdata
• Het biedt de mogelijkheid om alle data-activiteiten efficiënt en kosteneffectief uit te voeren, en maakt data toegankelijk binnen de gehele organisatie
• Het maakt gebruik van open formats en standaarden die vendor lock-in voorkomen

Hoeveel organisaties ook al hebben gedaan om AI binnen het bedrijf te verankeren, is de reis pas net begonnen. Volgens het MIT-onderzoek beseffen CIO’s dat ze de fundering missen om het volledige potentieel van AI te benutten. De data-architectuur moet daarom evolueren, niet alleen om de schaal van de beoogde use cases te ondersteunen, maar ook om gelijke tred te houden met verdere technologische ontwikkelingen. CIO's kunnen niet verwachten dat alle funderingen die ze op dit moment voor AI implementeren volledig toekomstbestendig zijn. Maar door ervoor te zorgen dat deze funderingen cloud- en vendor agnostisch zijn, gebaseerd op open standaarden en data beter toegankelijk maken binnen de organisatie, ben je wel beter in staat om gemakkelijker aan de voorhoede te blijven in de markt.