AMSTERDAM - Wie videobeelden op internet wil terugvinden heeft het niet makkelijk. Er bestaan amper teksten die beschrijven wat er op de films te zien is. Bij het Instituut Beeld en Geluid in Bussum zitten ze soms met de handen in het haar: veel van de 700.000 uur die er ligt opgeslagen aan televisie, radio, muziek en film is nauwelijks omschreven.

Sinds deze week lijkt hiervoor een oplossing in zicht te zijn: een zoekmachine die beelden herkent.

Tien jaar hebben tientallen Nederlandse wetenschappers er aan gewerkt. Deze week presenteerden de universiteiten van Amsterdam en Twente hun experimentele videozoekmachine MediaMill op het web.

''Dit is een showcase,'' vertelt Cees Snoek van de UvA over de website waar de nieuwe zoektechnologie veertig jaar Pinkpop-concerten doorzoekbaar maakt.

De site Hollandsglorie­op­pink­pop­.nl biedt een voorproefje van wat de kunstmatige intelligentie die achter het systeem zit, op dit moment kan. ''De software herkent zelfstandig een drummer op het podium, en een gitaar of een zanger. Het is nog niet perfect, daarom roepen we de hulp van het publiek in bij het opsporen van fouten.''

Snoek: ''Voordat onze technologie een voorwerp of een scène herkent, moeten we het systeem ontzettend veel leervoorbeelden geven. Voor het herkennen van een gitaar voerden we tweehonderd fragmenten van een gitaar aan het systeem, gekoppeld aan het label gitaar. Dit is zelflerende software, op een gegeven moment begint hij spontaan ­gitaren in video's te herkennen. Wij zetten nu pixels om in tekst.''

De zoekmachine beoordeelt video­beelden op vierduizend eigenschappen, zoals verschillen in kleur en vorm. In een speciale browser toont de software welke voorwerpen hij heeft herkend. Een tijdlijn onderin beeld geeft aan op welk tijdstip in de video ze te vinden zijn.

''De doorbraak kwam een jaar of drie geleden, toen er snelle computers kwamen en we met nieuwe wiskundige algoritmes heel veel visuele kenmerken konden leren aan de zoeksoftware.''

Daar waren jaren van fundamenteel onderzoek aan voorafgegaan. Pionier op dit gebied is hoogleraar Arnold Smeulders van de UvA, die er al vijfentwintig jaar geleden mee begon en nu dertig onderzoekers aan het werk heeft in het Intelligent Systems Lab Amsterdam (ISLA).

Snoek: ''Het is ook internationaal de eerste keer dat zo'n werkende beeldzoekmachine wordt getoond. Wij liggen toch wel voor op het buitenland, waar IBM en Microsoft er ook actief mee bezig zijn. Onze voorsprong komt deels doordat wij ons als universiteit fundamenteel onderzoek kunnen veroorloven. Daar heeft een commercieel bedrijf geen tijd voor. Ik was in het begin al blij als onze zoektechologie drie van de tien voorwerpen goed herkende. Bij zo'n score zegt een onderneming al gauw: stop er maar mee. Wij zitten inmiddels op zeven van de tien keer goed. Ik denk ook dat wij voorlopen door teamwerk. Samenwerken is een efficiënt Hollands trekje.''

Alle buitenspeldoelpunten van Cruijff vindt de zoekmachine niet terug, zegt Snoek. ''Om te beginnen zijn veel beelden auteursrechtelijk beschermd door voetbalclubs en omroepen. Daar kun je niet bij.''

''Dat is deels ook het geval met Pinkpopconcerten, waarvan de rechten zitten bij platenlabels en omroepen. Daarom mag dit experiment met Pinkpop maar drie maanden online staan.''

''Een buitenspelgoal zou deze technologie misschien nog wel kunnen vinden. Maar het herkennen van Cruijff is nog een probleem.De software ziet wel het verschil tussen het gezicht van man en vrouw, maar herkent nog geen individu. Ook ziet onze technologie wel een zanger op de bühne, maar nog niet of dat Ellen ten Damme is. Dan zou je haar gezicht moeten vergelijken met zes miljard aardbewoners. Het duurt nog minstens vijf jaar voordat het zover is, zo niet langer.''

Bauke Freiburg van het Amsterdamse bedrijf Video Dock zegt: ''De herkenning begint nu ergens op te lijken. Er zit flink wat  tijd in om het werkend te krijgen.''

Video Dock werd door de UvA ingehuurd om de videoplayer en de tijdbalk te ontwerpen voor het zoeksysteem.

''Wij hebben twee miljoen videoframes van Pinkpop door de computer gejaagd om ze te laten doorkijken. Die had er 3600 uur voor nodig. Wij kunnen door steeds snellere computers nu laten zien wat deze technologie kan.'' (MARC LAAN)

Website MediaMill