Bei der Qualitätssicherung der Alterseinstufung von Apps und Spielen im Rahmen der International Age Rating Coalition (IARC) werden nun auch Methoden aus dem Bereich Machine-Learning eingesetzt, dies teilt die Unterhaltungssoftware Selbstkontrolle (USK) mit. Das von der USK entwickelte KI-Tool ATLAS (Artificial Intelligence Testing, Learning And Scraping) wurde als interner Modellversuch bereits 2019 gestartet und kann nach erfolgreicher Testphase nun auch den internationalen Partnern zur Verfügung gestellt werden.
Jeden Tag kommt eine Vielzahl von Online-Spielen und Apps auf den Markt. Um der Menge an neuen Medieninhalten gerecht zu werden und Eltern in diesem Bereich Orientierung zu bieten, ist die USK seit 2013 Teil der International Age Rating Coalition (IARC). Im Rahmen dieser internationalen Zusammenarbeit fördert die USK die Vergabe von Alterskennzeichen im Bereich von Online-Spielen und Apps. Die USK hat sich zudem verpflichtet, über verfahrensspezifische Kontrollen die Qualität der vergebenen Einstufungen zu gewährleisten.
Mit dem von der USK entwickelten Tool ATLAS wird nun erstmals ein Machine-Learning-System zur Unterstützung der manuellen Qualitätssicherung eingesetzt. ATLAS ist nun als offizielle Test-Methode im internationalen IARC-Testprozess integriert und unterstützt die IARC Tester maschinell bei ihrer Arbeit, die Richtigkeit von Alterseinstufungen zu überprüfen.
So funktioniert ATLAS
ATLAS ist ein KI-gestütztes System, das Online-Spiele und Apps nach entsprechenden Kriterien analysiert und Wahrscheinlichkeiten für falsch eingestufte Apps voraussagt. Grundlage für diese Einschätzung sind die Bilder und Texte im Store des Anbieters, die mithilfe eines Image Recognition Tools und eines Natural Language Processing Tools analysiert werden. Die neuronalen Netzwerke von ATLAS wurden hierzu mit Daten von 40.000 manuell ausgewählten Apps trainiert.
ATLAS nimmt also eine automatisierte Vorauswahl möglicherweise kritischer Titel vor, die im Anschluss durch Tester bei IARC händisch überprüft werden. Damit soll das System einen großen Beitrag zur Qualitätssicherung leisten und das Team dabei unterstützen, nicht korrekt eingestufte Apps ausfindig zu machen.
Elisabeth Secker, Geschäftsführerin der USK:
„Für die USK hat das Vertrauen in Alterskennzeichen und damit auch das Qualitätsmanagement bei IARC einen enorm wichtigen Stellenwert. Wir sind stolz, dass ATLAS als neue Testingmethode die Qualitätssicherung bei IARC weiter verbessert und nun sogar international genutzt wird. Der Einsatz von KI-gestützten Methoden bietet spannende Chancen zur Unterstützung der menschlichen Kontrolle im Bereich des technischen Jugendmedienschutzes.“
Leonhardt Appel, Entwickler von ATLAS:
„Unser Anliegen war es zusätzlich zu den bewährten Testingmethoden einen neuen, innovativen Weg zu finden, um nicht korrekt eingestufte Apps noch schneller identifizieren zu können. Machine-Learning-Systeme bieten ein hohes Potenzial, in einem spezifischen Kontext treffsichere Prognosen zu erstellen und damit Arbeitsprozesse entscheidend zu erleichtern. Dieses Potenzial haben wir genutzt und ATLAS entwickelt.“
Erster Schritt zur Vollautomatik?
Die Arbeitserleichterung, die die USK durch das neue System bei der Alterseinstufung haben wird, ist sicherlich enorm. In der Vergangenheit wurden automatisierte Systeme allerdings nicht immer mit großer Freude aufgenommen. So wird es auch Reibungsverluste und falsche Einstufungen geben. Ein halbautomatisches System, wie es nun bei USK und IARC eingesetzt wird, könnte auch einen ersten Schritt hin zu einer Vollautomatisierung bedeuten. Dies könnte zu einer ähnlichen Problematik führen, wie wir sie beispielsweise von Youtube kennen – dort in Form des automatisierten Upload-Filters. Hier gab es eine große Debatte, denn maschinelle Auswertungen sind nicht immer richtig.
In der Alterseinstufung könnte dies auch zu Schwierigkeiten führen. Wie soll das System ein Screenshot von unterschiedlichen Shootern bewerten: auf dem einen Bild prasselt ein Blutregen, auf dem anderen zerplatzt die Tomate in ihre Einzelteile. Was ist, wenn die Entwickler Screenshots ihrer Apps absichtlich kaschieren und pixeln oder Synonyme verwenden? „Zerstückele deine Gegner und sorge für ein Blutbad“ oder „Nimm deine Gegner auseinander und verpasse der Umgebung einen neuen Anstrich“ – Ob und wie gut das neue System tatsächlich funktioniert und ob hier zukünftig sogar eine automatisierte Vorbewertung stattfinden wird, bleibt abzuwarten.
