Inhalte Testen. Wie geht das?

Ich stelle mal eine steile, sicher etwas verkürzte These in den Raum: Funktionen zu testen, ist einfach. Man lädt fünf Menschen zu einem Usability-Test ein, lässt sie eine neue App ausprobieren und danach ist klar, was funktioniert und was nicht. Die Marktforschung weiß schon seit Jahren: Inhalte zu testen, ist wesentlich komplizierter. Zwei Fokusgruppen oder sieben Einzelinterviews zu einem Format, können die Beobachter*innen durchaus ratloser zurücklassen als vorher.

Das hat einen einfachen und, wie ich finde, beruhigenden Grund: Menschen sind komplizierter als Apps. Menschen sind subjektiv, entscheiden je nach Situation & Kontext und deshalb inkonsistent. Und das geht uns allen so: Ich kaufe zum Beispiel ausschließlich Bambus-Zahnbürsten, um Plastik zu vermeiden – dafür kaufe ich Äpfel nur eingeschweißt.

Ich durfte für einen regionalen Medienanbieter eine rein digitale UserLab-Einheit aufbauen. Angefangen haben wir mit klassischen Usability-Tests für Webseiten und Apps. Schnell hat sich aber herausgestellt: Gerade beim Verstehen neuer, digitaler Formate wollen Redakteur*innen eigentlich viel lieber wissen, wie das Publikum ihre Angebote findet und warum das so ist. Also haben wir uns neben Usability- auch auf Formattests konzentriert.

Bei der Vorbereitung von vielen, vielen Projekten haben wir einiges darüber gelernt, wie man Formattests richtig angeht. Unsere sechs wichtigsten Learnings wollen wir hier mit euch teilen:

Testen, um auch mal zu testen, ist immer besser, als nicht zu testen. Noch besser ist es, wenn eine tiefere Motivation hinter dem Projekt steht, die nicht nur das Forschungsinteresse, sondern letztlich auch Methodenwahl, Durchführung, Auswertung und Akzeptanz der Ergebnisse beeinflusst – wenn nicht sogar die gesamte Projekt-Atmosphäre bestimmt. Es lohnt sich deshalb immer, den Zweck der Tests transparent zu machen.

Best Cases: Die Ergebnisse sollen in anschließende Iterationsschritte eingehen. Die Macher*innen möchten die Tests beobachten und die Nutzer*innen in Interaktion mit dem eigenen Angebot sehen.

Worst Cases: Es soll die eigene Meinung bestätigt, eine Legitimationsgrundlage geschaffen werden.

Natürlich sind solche Motive selten von vornherein klar oder gar artikulierbar – sie sind aber entscheidend.

Qualitative Forschung ist nicht statistisch repräsentativ, weil die Stichproben sehr klein sind. Das ist aber kein Nachteil, weil sie sich eben nicht Zahlen widmet, sondern Qualitäten. Damit ist sie repräsentativ in den untersuchten Dimensionen, den Forschungsfragen, Hypothesen oder wie immer ihr es nennen wollt.

Ich habe daraus gelernt: Ein Format-Test ist in den seltensten Fällen dann erfolgreich, wenn alle zufrieden oder die Ergebnisse eindeutig sind. Die Daten sind meist so komplex und teilweise sogar widersprüchlich (weil Menschen widersprüchlich sind), dass man von Eindeutigkeit nur träumen kann. Formattests sind dann erfolgreich, wenn sich neue Fragen und Perspektiven auf das eigene Angebot eröffnen und bisherige Annahmen hinterfragt werden.

Ganz einfach: Wir wollen wissen, ob das Format gefällt. Zack, bumm, fertig.

Es könnte so einfach sein! Aber was heißt denn nun „Format gefallen“? Ob die Presenter*innen gefallen? Ob die Nutzer*innen dem Kanal folgen möchten? Ob sie das Design schick finden? Ob sie den Podcast bis zum Ende hören (möchten)? Ob sie im Nachhinein mit ihren Freund*innen darüber sprechen? Ob das Format zum Nachdenken anregt? Ob Nutzer*innen Anschluss zu ihrer eigenen Lebensrealität finden? Oder, oder, oder…

Es ist immens wichtig, dass alle Beteiligten die gleiche Vorstellung von diesen leitenden Fragen haben (den Dimensionen, Forschungsfragen oder Hypothesen), damit eure Studie die richtigen Ergebnisse liefert.

Spielt man Tester*innen eine Podcast-Folge vor, dann testet man genau diese eine Folge. Möchte man das Gesamtkonzept der Podcast-Reihe testen, das über den Inhalt einer einzelnen Folge hinausgeht, dann muss man kreativ werden: Was müssen die Tester*innen sehen, hören oder lesen, um das Konzept zu begreifen? Teaser-Texte? Eine Playlist mit den zukünftigen Themen? Mehr Soundschnipsel?

Dafür lohnt es sich, auch Prototypen zu testen, an die ihr nicht glaubt – der Negativ-Test. Nur dann lernt ihr auch, warum ihr nicht daran glaubt, was das Für und Wider der einen oder anderen Richtung ist.

Auf die Frage, mit wem getestet werden soll, reicht das Spektrum von „Unsere Angebote sind für alle, wir haben keine Zielgruppe.“ bis hin zu „Unsere Persona heißt Paula, sie ist 27 Jahre alt, geht gern shoppen, hat zwei Kinder, einen Hund, geht sieben Mal die Woche zum Sport, hat drei Hobbies und wird diesem oder jenem Milieu zugeordnet. Wir möchten bitte nur Paulas im Test sehen“. Es ist wichtig, sich klare Vorstellung über Zielgruppe(n) zu machen, um daraus die richtigen Kriterien für die Akquise abzuleiten – aber es ist auch wichtig (forschungs-)pragmatisch zu sein. Ich lehne mich einmal aus dem Fenster und prophezeie, dass es wenig Paulas in der Welt gibt und sie deshalb sehr schwer zu finden sein werden. Aber warum ist Paula die Zielgruppe? Weil sie Podcasts hört? Weil sie auf Instagram Influencer*innen folgt? Dann sind genau das die Kriterien, die die Stichprobe in euren Tests bestimmen sollten.

Ich komme auf meine Einstiegsthese zurück: Ob Funktionen gut oder schlecht sind, zeigt sich, indem man sie ausprobiert. Ob ein Format gut oder schlecht ist, lässt sich meistens auch nach ausführlichen Befragungen nur mit „kommt drauf an“ beantworten. Nach Interviewreihen dieser Art planen wir immer eine Arbeitswoche ein, um alle Interview-Protokolle nebeneinander zu legen, nach Parallelitäten zu suchen, wiederkehrende Argumentationsmustern zu finden, eine Struktur für alles aufzusetzen – und vor allem immer wieder zu diskutieren und zu iterieren. Erst dann setzt sich meist ein stimmiges Bild zusammen: Dieses wurde besser bewertet – jenes schlechter.

Die große Stärke qualitativer Studien ist, dass Antworten in den Kontext der Befragten eingeordnet werden können und deshalb auch das Warum beantwortet werden kann: Warum würden sie den Podcast in Zukunft nicht hören? Weil diese oder jene Themen (bisher) nicht ausführlich genug besprochen wurden. Hier findet ihr die Antworten, die in einer Statistik schlicht nicht abgefragt und deshalb nicht abgebildet wurden.

Diese Tipps können jedem von euch helfen, besser User Tests zu planen und auzuswerten. Denn oft scheitern Formattest nicht an mangelnder Kreativität bei der Entwicklung oder schlecht gelaunten Usern, sondern an den Teams, die enthusiastisch in einen Test starten und dann den Fokus verlieren. Das kann euch jetzt schon einmal nicht mehr passieren! Wer mehr über den Bereich zwischen Vor- und Nachbereitung wissen möchte oder Hilfe bei der praktischen Durchführung von Nutzertests in Anspruch nehmen möchte, erreicht uns unter UserLab@ida.me bei der Innovations- und Digitalagentur (ida) von MDR und ZDF Digital.

Und jetzt: Geht raus und redet mit euren Nutzer*innen!

Hier gibt es noch weitere Blog Beiträge von unserem digitalen Media Innovation Camp:

Micmuc20: 5 Tricks, mit denen wir unser Barcamp ins Digitale übertragen haben
Was ist Digital Storytelling bei Microsoft?
Agil und hart: meine zehn Tipps, damit das mit Paid Content klappt