Keine Medien-Innovationen, Events und Startups mehr verpassen? Abonniere unseren Newsletter! Will ich haben!

Newsletter
vor Index zurück
05. Februar 2021
Lab News, Startupschool

Menschine: Human-in-the-loop Video Mining

Menschine: Human-in-the-loop Video Mining

Wir von Design AI stellen uns eine Welt vor, in der Mensch und Maschine Hand in Hand arbeiten. Um diese Vision zu realisieren, verbinden wir Design Thinking mit Künstlicher Intelligenz (KI). Im Media Lab entwickelten wir ein KI-basiertes Content Warehouse für Video-Assets.

Design AI startete 2018 als KI-Beratungsunternehmen, das durch die Kombination von Design Thinking und Künstlicher Intelligenz nutzerzentrierte Innovationen schafft. In vielen Branchen haben wir festgestellt, dass das eigentliche Problem oft der Mangel an einer sauberen Datenbasis ist. Gerade Unternehmen, die viele Inhalte in komplexen und unstrukturiert gespeicherten Datenformaten (Bilder, Audio, Video) haben, verlieren oft den Überblick und haben keine Transparenz über ihre Daten. Und gerade die Medienindustrie produziert solche Daten jeden Tag in Form von Content.

Darum starteten wir 2019 mit einem Projekt, das sich der Suche nach KI-Anwendungsfällen in der Medienbranche widmete. Unter unserer Ideensammlung, die durch aufschlussreiche Experteninterviews erweitert wurde, fanden wir den sehr vielversprechenden Bereich des Videominings.

Das Beste von Mensch und Maschine

Unser Ziel war es, ein KI-basiertes Content Warehouse für Video-Assets zu entwickeln. Dieses soll modernste Techniken nutzen, um sinnvolle, semantisch tiefgehende Annotationen zu extrahieren. Insbesondere sollen diese Informationen nicht nur von der KI bereitgestellt werden, sondern mit menschlichen Eingaben des Benutzers ergänzt werden. So schaffen wir eine Plattform, auf der Medienunternehmen ihre individuelle KI erstellen, anpassen und ständig verbessern können - spezialisiert auf ihre eigenen, individuellen Bedürfnisse.

Überzeugt von dem Potenzial unserer Idee haben wir uns kurzerhand beim Media Lab Bayern für das Start-Up Fellowship beworben - und konnten die Jury mit unserer Vision begeistern!

Die Archivierung von Filmmaterial ist zu aufwendig

Doch bevor wir mit der Produktentwicklung durchstarten konnten, mussten wir noch mehr Zeit in Gespräche mit Kunden investieren, um das Problem noch besser zu verstehen. Dazu wurden wir durchwegs vom Media Lab unterstützt, sowohl finanziell als auch durch hilfreiches Coaching und ein großes Netzwerk.

Dadurch haben wir innerhalb unseres Use Cases einen fünfstufigen Prozess mit unterschiedlichen Herausforderungen identifiziert, beginnend mit der Vorproduktion. Dieser Schritt beinhaltet die Konzeption der Videoinhalte und z.B. die Recherche im Archiv nach relevantem Videomaterial. Nach dem zweiten Schritt - der Videoproduktion - geht es in die Postproduktion, die z.B. das Schneiden und Anpassen von Video-Rohmaterial und Ton beinhaltet. Danach wird das Video ausgestrahlt und archiviert. Wir haben in zahlreichen Interviews mit unserer Zielgruppe analysiert, dass der letzte und entscheidende Schritt der Archivierung mit dem meisten Aufwand verbunden ist, und es dort den größten Bedarf für eine KI-Lösung gibt.

Basierend auf unseren Erkenntnissen aus Interviews haben wir auch herausgefunden, dass insbesondere Medienunternehmen mit einem Fokus auf Video, wie z.B. Fernseh-, Sport- oder Werbeunternehmen, sehr viel Videomaterial produzieren, das sie für ihr Videomanagement strukturiert archivieren wollen. Deshalb verbringen Mediendokumentare, Archivare und Rechercheure teilweise einen vollen Arbeitstag damit, Videomaterial von einer Stunde zu verschlagworten. Trotzdem fehlt oft bei 90 % des Filmmaterials die Verschlagwortung. Darüber hinaus ist die Arbeit sehr repetitiv und fehleranfällig.

Play

Mit Klick auf den Play-Button erteilst du uns die Einwilligung darin, dass Youtube auf dem von dir verwendeten Endgerät Cookies setzt. Unsere Datenschutzhinweise.

Wie kann man die Verschlagwortung von Videos revolutionieren?

Um eine echte Lösung für dieses Problem zu bieten, entwickeln wir eine KI-basierte Video-Mining-Software, die es Medienunternehmen ermöglicht, ihre Videoinhalte automatisch und nach ihren eigenen Bedürfnissen zu verschlagworten. Nach mehreren Prototyp-Iterationen setzen wir derzeit unseren ersten MVP für dieses Produktkonzept um. Wir haben ein interdisziplinäres Team aus über 20 hochqualifizierten Mitarbeitern aufgebaut, darunter KI-Engineers, Front- und Backend-Entwickler, Businessdeveloper und Produktdesigner, um das Produkt ganzheitlich zu realisieren.

Dabei bauen wir auf drei Haupttechnologien:

1 .Deep Video Captioning

2. Semi-Automation

3. Continual Learning

Deep Video Captioning ist eine Technologie aus dem Bereich der Künstlichen Intelligenz und ermöglicht ein tiefes semantisches, kontextbasiertes Verständnis von Videoclips. Dazu verwenden wir verschiedene state-of-the-art Modelle aus neuester KI-Forschung, die wir in ein übergeordnetes Framework integrieren, um die komplexen Zusammenhänge und abstrakten Konzepte im Video aufzuschlüsseln.

Semi-Automatisierung und Continual Learning unterstützen die Zusammenarbeit zwischen Mensch und Maschine, um effizient sinnvolle Annotationen zu erstellen. Semi-Automatisierung ermöglicht eine 10x schnellere Verarbeitung der Videoinhalte bei gleichbleibender Qualität.

Continual Learning ermöglicht ein kontinuierliches Lernen der Maschine während des Prozesses der Verschlagwortung durch einen Menschen. Beide Konzepte untermauern unseren USP: Wir kombinieren das Know-how von Medienexperten mit der neuesten Technologie aus der KI-Forschung und ermöglichen mit dieser Symbiose ein flexibles und skalierbares Produkt!

Wohin das alles hinführen soll

Wir von Design AI stellen uns eine Welt vor, in der Mensch und Maschine Hand in Hand arbeiten. Um diese Vision zu realisieren, verbinden wir Design Thinking mit Künstlicher Intelligenz, um eine menschenzentrierte Produktentwicklung zu gewährleisten. Dieses Prinzip ist die Grundlage für unsere KI-basierte Video-Mining-Software. Wir glauben, dass Menschen die Experten sind, die wir nicht ersetzen wollen. Stattdessen wollen wir die Mensch-Maschine-Interaktion neu erfinden, um kreative Köpfe von repetitiven Aufgaben zu befreien, damit sie mehr Zeit für die Arbeit haben, auf die sie sich wirklich konzentrieren wollen. Das Ganze nennen wir: Human-in-the-loop Video Mining.

Denn unser KI-Tool unterstützt den Annotationsprozess von Videodaten nicht nur, um ihn durch Semi-Automatisierung effizienter zu machen, sondern auch um Medienunternehmen langfristig zu ermöglichen, ihre Content-Transparenz drastisch zu erhöhen und das Meiste aus ihren wertvollsten Ressourcen herauszuholen, nämlich ihren Inhalten.

Werde Teil des Media Startup Fellowship

Du möchtest auch auf die Media Lab Reise gehen? Hier findest du alle Informationen. Bewirb dich jetzt und starte durch.

 

Text: Keesiu Wong/Design AI GmbH
top