Wereldmuseum

Na de Sabi Suriname app voor het Wereldmuseum, werd Zooma ingeschakeld om mee te werken aan het Tag The Picture project. Zooma bouwde in vier intensieve sprints een geavanceerde website met een module waarin vrijwilligers heel precies objecten op foto's kunnen markeren en taggen. In de komende sprints denken we mee over het Artificial Intelligence model dat zal worden getraind door de verkregen meta-data. More to come!

Over Tag The Picture

De collectie van het Wereldmuseum omvat circa 500.000 records fotografisch materiaal uit Indonesië. De foto's komen uit de periode tussen 1850 tot nu, grotendeels uit de tijd van de Nederlandse overheersing, en zijn gemaakt door verschillende fotografen. Deze foto’s zijn online terug te vinden, maar het is nog niet zo gemakkelijk om de foto’s te doorzoeken. Tag The Picture is een door Zooma ontwikkeld digitaal platform, opgezet om de collectie beter doorzoekbaar en zo voor iedereen toegankelijk te maken. Dit wordt gedaan door samen met vrijwilligers omschrijvingen (tags) toe te voegen aan foto’s om meta-data te genereren dat wordt gebruikt om een algoritme te trainen, dat uiteindelijk automatisch foto’s van omschrijvingen kan voorzien. Zo brengen we samen het verleden in beeld. Kijk hier hoe het precies werkt!

Over de website

Vrijwilligers maken een account aan en doorlopen een training. Dan geven ze een omschrijving aan de gehele foto, omkaderen onderwerpen op de foto of reageren op wat andere vrijwilligers deden. Elke foto wordt door twee vrijwilligers getagd. Als de twee vrijwilligers dezelfde tags invoeren, voegen we de tag meteen toe aan de foto. Als de vrijwilligers het niet eens zijn, wordt automatisch een derde vrijwilliger gevraagd. Dit vereist een geavanceerd backend systeem waar niet alleen de tags worden bijgehouden, maar ook de exacte locaties van alle tags op de foto's. Het in React gebouwde platform ging live met een MVP in 2022 na vier intensieve scrum sprints en sindsdien wordt er aan verbeteringen gewerkt. Zo maakte Zooma het platform ook toegankelijk op mobiele telefoons, wat aanvullende uitdagingen met zich meebracht, zoals het selecteren van objecten via touchscreen. In de komende sprints zal worden gewerkt aan het Artificial Intelligence model.

Het kaderen van onderwerpen op foto’s is nieuw binnen het trainen van AI-modellen, en zeker met behulp van een polygoon. Voor Tag the picture dienen de kaders ook nog automatisch met elkaar vergeleken te worden zodat we zeker weten dat het kader goed staat. Dat werkt op TagThePicture.nl goed. En zelfs het achteraf geschikt maken voor mobiel is hiermee ook gelukt.

Eugeen van Wees - Senior Projectmanager Wereldmuseum