Qualität von Marktforschungsinformationen richtig einschätzen

Gerade bei den aktuell veränderten Umfeldbedingungen ist es wichtig, valide Informationen zu haben. Nur so kann man die richtigen Entscheidungen treffen und das Unternehmen für die Krise und für die Zukunft danach rüsten. Marktforschungsdaten sind damit längst „gängig“ geworden, sie werden von einer Vielzahl von Institutionen und Entscheidern genutzt. Aber diese Nutzung erfolgt nicht immer objektiv und im Allgemeininteresse.

Daher sollte jedes veröffentlichte Forschungsergebnis vor seiner Verwendung im Beratungsprozess kritisch geprüft und hinterfragt werden. Die Möglichkeiten der beabsichtigten oder unbeabsichtigten Manipulation von Daten sind vielfältig, sei es durch handwerkliche Fehler, wie etwa die Befragung einer nicht repräsentativen Stichprobe oder bewusst durch das Formulieren von tendenziösen Fragestellungen. Dabei kommt es darauf an, sich an den Qualitätskriterien der Marktforschung zu orientieren. Diese sind

• Objektivität
• Reliabilität
• Validität
• Aktualität

Objektivität bemisst sich daran, dass die Ergebnisse wertfrei, ohne eine beabsichtigte Tendenz ermittelt und verarbeitet werden. Man verletzt die Objektivitäts-Forderung, in dem man z.B. eine tendenziöse Frage stellt, die Probanden im Vorfeld der Befragung beeinflusst, oder für die Forschungsthematik relevante Zielgruppen erst gar nicht berücksichtigt. Man kann das Kriterium der Objektivität aber auch unbeabsichtigt verletzen, z.B. indem man eine durchaus objektiv formulierte Frage in einem beeinflussenden Kontext stellt. Noch plumper ist der Versuch, bereits die Frage so zu stellen, dass der Proband in eine bestimmte Richtung gelenkt oder gar verunsichert wird. Beispiele für tendenziöse oder verwirrende Fragestellungen sind

• Welche Probleme haben Sie mit dem Designteam? (Unterstellt, dass es Probleme gibt)
• War das Produkt leicht zu finden und haben Sie es gekauft? (Zwei Fragen in einer)
• Inwieweit hat das Produkt Ihnen geholfen, Ihre OKRs zu erreichen? (Verwendung von unbekannten Begriffen oder Fachjargon)
• Ich kaufe kaum Artikel online. Ja/Nein (Doppelte Verneinung)
• Wie war unser Service heute? Okay | Gut | Fantastisch | Unvergesslich | Umwerfend (Tendenziöse Skala)

Unter Reliabilität versteht man die Verlässlichkeit der Ergebnisse. Würde man die Studie unter den gleichen Bedingungen wiederholen, würde auch wieder das gleiche Ergebnis herauskommen. So ist es z.B. bei Zeitreihenmessungen wichtig, dass die Fragen im gleichen Wortlaut gestellt werden und immer auch im gleichen Kontext bleiben. Ansonsten sind die Ergebnisse nicht miteinander vergleichbar. Die Ergebnisse sind auch dann nicht reliabel, wenn unterschiedliche Zielpersonen befragt werden. Insofern muss die Auswahl der Zielpersonen immer nach dem gleichen Verfahren erfolgen.

Validität heißt Genauigkeit in der Messung. Trifft die formulierte Fragestellung wirklich den Kern der Sache? Sind in einer Umfrage alle relevanten Zielgruppen berücksichtigt worden und haben sie eine realistische Chance für die Teilnahme? Es gibt häufig Umfragen mit „Unternehmensentscheidern“. Aber wer sind diese Personen? Haben sie tatsächlich Entscheidungsbefugnisse? Und falls ja, gelten diese für Bereiche, die für die Umfrage auch relevant sind? Z.B. wird das Thema „Diversity“ in einer regionalen Sparkasse einen anderen Stellenwert haben als in einer internationalen Werbeagentur. Es kommt also darauf an, in welchen Branchen und bei welchen Zielpersonen man ein bestimmtes Thema adressiert.

Darüber hinaus wird vorausgesetzt, dass die Informationen aktuell sind. Aber auch hier lohnt sich ein kritisches Misstrauen. Zwischen der Erhebung von Daten und ihrer Veröffentlichung vergehen oftmals mehrere Monate. Sich schnell verändernden Phänomenen wird dabei nicht immer ausreichend Rechnung getragen. Und manche Ergebnisse geistern oft jahrelang durch die Presse, obwohl sie längt widerlegt oder als unbrauchbar bewertet wurden.

Noch nie war die Verfügbarkeit von Informationen so hoch wie heute. Und noch nie war es einfacher, Marktdaten mit Hilfe von Onlinebefragungen auch originär zu gewinnen. Dies alles hilft Kosten zu sparen und trotzdem die aktuellsten Informationen zu nutzen. Dabei liegt es in der Verantwortung von seriöser Unternehmensberatung, ihre Expertise ausschließlich auf verlässliche Daten zu stützen. Ein paar wenige Fragen helfen, ihre Qualität zu prüfen:

• Haben die Absender der Daten ein Eigeninteresse?
• Wie war die ursprüngliche Fragestellung?
• In welchem Kontext wurde gefragt?
• Wann war der Erhebungszeitraum?
• Welcher Personenkreis wurde befragt, ist er überhaupt relevant für das Thema?
• Wie wurde ausgewählt, ohne jeden Plan, zufällig oder nach bestimmten Kriterien?
• Wie viele Erhebungseinheiten (Befragte) stehen hinter den Zahlen?

Ein mögliches Eigeninteresse des Herausgebers steht an erster Stelle. Gerade Verbände und politische Organisationen untermauern ihre Forderungen mit mehr oder weniger belastbaren Zahlenwerken. Bei der Nutzung solcher Studien muss man immer die eigene Motivation des Herausgebers im Hinterkopf behalten. Niemand ist verpflichtet, alle Ergebnisse einer selbst finanzierten Studie zu veröffentlichen. Es ist legitim, nur solche Ergebnisse zu zeigen, die die eigenen Forderungen unterstützen und Gegenargumente zu verschweigen. Damit kommt einer verlässlichen Quellenangabe ein essentielles Gewicht zu.