5 Gründe, warum Du Google Trends falsch verstehst




Im September 2015 stand ich für Google auf einer großen Bühne in Berlin und zeigte neben der Sprachsuche auch die Vorteile der neuen Features von Google Trends. Für einen Daten-Liebhaber wie mich ist Google Trends ein faszinierendes Werkzeug, wenn man alle Stolperfallen versteht und zu vermeiden weiß. Gleichzeitig bietet das Werkzeug viel Potential für Missverständnisse 🙂 Suchanfragen werden in <> Klammern gesetzt.

1. Missverständnis: Die Basis der Daten von Google Trends

Google Trends basiert nicht auf allen Suchanfragen, die bei Google eingegeben werden.  Zitat: “Die Google Trends-Daten sind eine zufällige Auswahl an Daten aus Google-Suchanfragen. Nur ein bestimmter Prozentsatz der Suchanfragen wird zur Ermittlung der Trends-Daten herangezogen. […] Trends analysiert nur Daten für beliebte Suchbegriffe. Begriffe mit niedrigem Suchvolumen erscheinen daher als 0. […] Trends entfernt wiederholte Suchanfragen derselben Person innerhalb eines kurzen Zeitraums.” Eine Definition, ab wann ein Begriff beliebt ist oder was ein kurzer Zeitraum ist, existiert nicht. Es wird nicht gesagt, ob die zufällige Auswahl eine repräsentative Stichprobe für die Gesamtpopulation aller Suchanfragen ist (wobei der Begriff “zufällig” darauf schließen lässt). Die erste Erkenntnis: Wir reden hier von Trends, nicht mehr und nicht weniger.

2. Missverständnis: Linien und Suchvolumina in Google Trends

Dies ist das größte und das fatalste Missverständnis. Wenn eine Kurve über der anderen liegt, dann bedeutet das nicht, dass häufiger nach dem einen Begriff gesucht wurde als nach dem anderen. Waaaaas? Wirklich? Ja. Beispiel gefällig? Wir suchen nach Akne und nach Neurodermitis (ich erkläre weiter unten, warum ich das in der Maske in Anführungszeichen schreibe) für das Land Deutschland im Jahr 2015. Akne und Neurodermitis wechseln sich ab beim Suchinteresse, Akne scheint aber häufiger ein höheres Suchinteresse vorweisen zu können:

Google Trends: Akne und Neurodermitis
Google Trends: Akne und Neurodermitis

Und dann schaue ich mir die Daten einmal im Google AdWords Keyword Planer an, für den gleichen Zeitraum, für das gleiche Land:

Google AdWords Keyword Planner
Google AdWords Keyword Planner

Interessant ist hier nicht die Grafik (ich hab den Screenshot nur gemacht, damit man sieht, dass ich im gleichen Land für den gleichen Zeitraum suche), sondern die beiden Zeilen darunter, wo wir das durchschnittliche Suchvolumen pro Monat sehen. Neurodermitis liegt weit über Akne, 74.000 zu 18.100.

Durchschnittswerte können uns in die falsche Richtung führen, also schauen wir uns auch noch die Daten auf die einzelnen Monate geplottet an:

Google AdWords versus Google Trends

Wir sehen zu der Google Trends-Grafik eine Ähnlichkeit, nämlich dass die Suchen für Neurodermitis ab Mai bzw Mitte des Jahres runtergehen und ab September wieder hoch. Und, das wird später wichtig, Neurodermitis kommt bei Google Trends an die 100 dran, Akne erreicht diesen Punkt aber nie. Ansonsten berühren sich die Kurven der AdWords-Daten nicht ein einziges Mal wie in Google Trends. Sie sind weit auseinander. Zweite Erkenntnis also: Wir können anhand von Google Trends-Daten nicht behaupten, dass ein Begriff häufiger gesucht wird als ein anderer (dafür wird Google Trends allerdings häufig mißbraucht). Aber wieso kann man das nicht? Weiter zum nächsten Missverständnis.

3. Missverständnis: Was ist eine Suchanfrage?




Gibt man <akne> bei Google ein oder im Google AdWords Keyword Planer, so sucht man nur nach diesem Begriff. Gibt man <akne> bei Google Trends ein, so wird automatisch auch nach anderen Begriffen mitgesucht, selbst wenn man nicht ein Thema ausgewählt hat, sondern nur diesen Suchbegriff (siehe die Hilfe).  So kann man zwar etwas einschränken, indem ein Begriff in Anführungszeichen gesetzt wird (“akne creme”), aber das schränkt nur ein, dass nicht nach <akne gute creme> gesucht wird, es könnte aber <gute akne creme> miteingeschlossen werden. Welche Suchbegriffe miteingeschlossen werden, wird nicht gesagt. Ein “Exact Match” existiert nicht, siehe wieder die die Hilfe.

Schauen wir uns einmal die Unterschiede an:

akne-2015

In diesem Beispiel vergleichen wir die Suchbegriffe <akne> und <neurodermitis>. Fügen wir Anführungszeichen hinzu, dann sehen die Kurven etwas anders aus:

akne-anfuehrungszeichen

Keine riesengroße Änderung, aber es gibt einen Unterschied, den wir uns wieder für später merken: Geben wir die Begriffe ohne Anführungszeichen ein, dann kommt <akne> an die 100, mit Anführungszeichen kommt <neurodermitis> an die 100.

Verwunderlich ist es schon, denn bei einem Einwortbegriff, wo keine Synonyme mitgesucht werden, kann es auch keine unterschiedlichen Reihenfolge für die Wörter in der Suchanfrage geben. Dieses Phänomen können wir uns nicht erklären.

Schauen wir uns zuletzt noch an, was passiert, wenn wir das automatisch identifizierte Thema “Erkrankung” auswählen (Hinweis: Google macht aus <neurodermitis> automatisch <atopisches ekzem>, was die medizinische Bezeichnung für Neurodermitis ist):

Google Trends: Akne und Neurodermitis im Thema Erkrankung

Hier werden die Trend-Daten von Begriffen aggregiert, die in die Gruppe der Erkrankung passen. Das “Suchinteresse” an Neurodermitis kommt zwar im Februar 2016 an das Thema Akne heran, aber Akne als Thema scheint ein größeres Suchinteresse zu haben als Neurodermitis. Auch hier wissen wir nicht, welche Begriffe in der Gruppe zusammen gefasst werden. Es könnte also sein, dass die unterschiedlichen Daten daher kommen, dass in Google Trends für beide Begriffe zusätzliche Begriffe einbezogen werden, für den Begriff Akne aber Begriffe, deren Suchinteresse anders gestaltet ist und darum das Resultat verändert. Sehr plausibel klingt das aber nicht. Dritte Erkenntnis: Google Trends-Daten sind nicht vergleichbar mit AdWords-Daten, weil die Eingabe unterschiedlich interpretiert und angereichert wird und wir bei Google Trends nicht wissen womit.

Die Unterschiede zwischen AdWords und Trends sind somit aber wahrscheinlich immer noch nicht erklärt. Was könnten andere Gründe sein?

4. Missverständnis: Alles, was steigt oder fällt, ist ein Trend in Google Trends




Jetzt wird es etwas mathematisch. Google Trends bietet keine absoluten Zahlen, alle Daten werden auf einer Skala von 0 bis 100 abgebildet. Und jetzt erinnern wir uns wieder an die beiden Hinweise oben, als eine der beiden Suchanfragen-Kurven die 100 berührte. Das Berühren der 100 hat eine große Bedeutung, denn von diesem höchsten Punkt des Suchinteresses aus wird alles andere berechnet!

Aber es wird noch komplizierter: Zunächst einmal ist das Suchinteresse das Suchvolumen für einen Begriff geteilt durch das Suchvolumen aller Begriffe. Da wir die Basis nicht kennen (also wie viele Suchen es insgesamt gab an dem Tag) und sich diese Basis jeden Tag ändert, kann es sein, dass sich die Linie des Suchinteresses für einen Begriff ändert, obwohl jeden Tag gleich oft nach diesem Begriff gesucht wird. Der Zeitpunkt, an dem das Maximum dieser Ratio Suchbegriff/Alle Suchbegriffe erreicht wird, wird zum Maximum, also 100 im Google Trends-Diagramm, und alle anderen Werte, auch die von Vergleichsbegriffen, werden normalisiert davon abgeleitet. Und nur für den gewählten Zeitraum. Wird dieser geändert, so wird auch das Maximum wieder neu berechnet. Dies führt zu Unterschieden, die dazu verleiten könnten, dass man sich genau den Zeitraum aussucht, der zu dem passt, was man gerne verkaufen möchte 🙂 Beispiele:

Google Trends: Trump und Wetter
Fehlinterpretation: Im Vergleich zum Wetter ist das Interesse an Trump kaum gestiegen in den letzten 12 Monaten
Google Trends: Trump und Wetter
Fehlinterpretation: In den letzten 30 Tagen ist das Interesse an Trump nicht so stark gestiegen wie das an Wetter. Tatsächlich sind die Daten von Google Trends aber noch nicht aktualisiert, der Wahltag sowie der Vortag fehlen.
Google Trends: Trump und Wetter
Das Diagramm für die letzten 7 Tage: Können wir nun behaupten, dass Trump häufiger gesucht wurde als das Wetter?

Diese letzten Grafiken sind sehr schön weil sie einleuchtend zeigen, dass die Deutschen nicht unbedingt weniger nach dem Wetter gesucht haben, aber die Suchanfragen zum Begriff Trump am 9.11 einen deutlich höheren Anteil in der Population aller Suchen hatte im Vergleich zu den 6 Tagen davor. Von diesem einen Maximum wird alles andere berechnet. Über 30 Tage hinweg hatte das Wetter aber ein Maximum (EDIT: Weil der Tag nach der Wahl noch nicht drin war und es auch zwei Tage später nicht ist! Dank an Jean-Luc für diesen Hinweis!), und dann wird von da aus gerechnet. Darum können sich diese Daten so unterscheiden.

Edit: Schaut man einen Tag nach der Wahl und schaut nur auf den letzten Tag (also Daten, die ca 10 Minuten alt sind), dann sieht das Ergebnis so aus:

trump-danach

Wieder ist das Wetter höher, obwohl Trump nah dran kommt. Oder? Nun ja, ich habe diesen Screenshot abends erstellt, und der Peak an Trump-Suchen fand wohl vor mehr als 24 Stunden statt. Es ist sehr wahrscheinlich, dass ich ein anderes Bild bekommen hätte, wenn ich heute morgen die gleiche Abfrage getätigt hätte.

Was nehmen wir aus diesem Missverständnis mit? 1. Der Zeitraum der Beobachtung ist immens wichtig, und man sollte keiner Trends-Grafik glauben, ohne sich mehrere Zeiträume angeschaut zu haben 🙂 2. Alle Beobachtungen gehen vom Maximum aus und sind dann relativ von diesem Maximum aus zu sehen, sind aber gleichzeitig abhängig vom Gesamtvolumen aller Suchanfragen, das wir nicht kennen. 3. Es ist vielleicht nicht so offensichtlich in den Grafiken, aber in der 7-Tage-Grafik wird auf Stundenbasis gerechnet, in der 30-Tage-Grafik auf Tagesbasis, in der 12-Monate-Grafik auf Wochenbasis. Der Google AdWords Keyword Planer liefert Daten auf Monatsbasis aus. Auch deswegen sind die Daten nicht vergleichbar.

EDIT: 4. Learning: “Die letzten 30 Tage” bedeutet nicht unbedingt, dass auch wirklich die letzten 30 Tage drin sind 🙂

5. Missverständnis: Alles, was steigt oder fällt, ist ein Trend in Google Trends, Teil 2

Kommt darauf an, wie man Trend definiert. Nach dem Brexit-Votum fand ein Journalist durch Google Trends heraus, dass die Briten erst nach dem Votum gegoogelt hätten, was der Brexit denn bedeutet, viele Zeitungen schrieben darüber, und erst nachdem ein Datenanalyst geschaut hatte, was da wirklich geschah, ruderten alle zurück. Ja, es wurde mehr danach gesucht, basierend auf… siehe das 4. Missverständnis 🙂 Aber im Vergleich zu einer populären Suchanfrage war da nur ein Zucken. Daten müssen immer in einen Kontext gesetzt werden, um ein Gefühl dafür zu bekommen, was das wirklich bedeutet. Ich nutze, obwohl ich kein Fußballfan bin, gerne die Suchanfrage <bundesliga>, aber auch <wetter>, um zu schauen, wie relevant ein Begriff wirklich ist.

Nach dem Wetter wird immer gesucht, allerdings ist auch hier eine gewisse Saisonalität zu beobachten, Bundesliga wird vorrangig von einem Teil der Bevölkerung gesucht, und das auch nur saisonal, aber auch hier können interessante Beobachtungen gemacht werden.

Google Trends: Bundesliga und Wetter im 7-Tage-Trend

Wir sehen hier wunderbar das Freitagsspiel (erste kleine Delle in der blauen Kurve), die Samstags-Spiele (größte Delle in der blauen Kurve) und dann wieder kleinere Dellen für die Sonntagsspiele. Das Wetter hat hier die höchsten Ausschläge, vor allem am Montag und am Dienstag (vielleicht wegen des Schnees?). Wurde also häufiger nach dem Wetter gesucht? Nein, nicht unbedingt! Da hier auf Stundenbasis gerechnet wird wird alles vom Maximum am 8.11., 5 und 6 Uhr gerechnet, zu dieser Zeit war das Suchinteresse (Suchanfrage/alle Suchanfragen) am höchsten, und alles andere wird relativ berechnet. Es kann also theoretisch sein, dass am Samstag nachmittag häufiger nach Bundesliga gesucht wurde als nach Wetter am 8.11., die Gesamtpopulation der Suchanfragen aber höher war! Was nehmen wir mit? Wir benötigen immer einen Bezugspunkt, einen Benchmark, etwas, womit wir das Suchinteresse vergleichen können. Und am besten wissen wir auch etwas über diesen Bezugspunkt, wie zum Beispiel in diesem Fall, dass es geschneit hat, und es deswegen Ausreißer gab.

Zusammenfassung

Der Mechanismus “Ich gebe zwei Begriffe in Google Trends ein und sehe, welcher populärer ist” funktioniert so einfach nicht. Das wird aus den Köpfen schwer herausbekommen zu sein, denn das Interface ist wunderbar intuitiv und verleitet förmlich zu dieser Interpretation, und komplett falsch ist sie ja auch nicht. Schwierig ist es, wenn auf Basis dieser Daten folgenschwere Entscheidungen getroffen werden sollen, hier sind zusätzliche Daten notwendig. Keyword Planer-Daten stehen nicht mehr jedem zur Verfügung, sind aber eh nicht direkt vergleichbar, da Google Trends-Daten nicht reine Begriffe vergleichen.

Und dennoch ist Google Trends mehr als nur eine Spielerei. Man muss bei all dem oben Gesagten nur etwas mehr Gehirnschmalz investieren, um eine richtige Story daraus zu bauen.

Sorry übrigens für den reißerischen Titel. Ich wollte Deine Aufmerksamkeit. Ich hoffe, sie hat sich gelohnt 🙂

 

Filed under: Data ScienceTagged with: ,

7 Comments

  1. Hey Tom,
    sehr spannender Beitrag!
    Bei Absatz 4 betrachtest du die Daten “letzte 30 Tage” und “letzte 7 Tage”. Die Daten der Darstellung “letzten 7 Tage” beinhalten 7×24 Stunden ab der heutigen letzten vollen Stunde rückwirkend (Bsp: am 09.11. um 17:17 ist der letzte Datensatz vom 09.11. um 17;00h).
    Dieser Zeitraum umfasst den 09.11., an dem die -Kurve das starke Maximum anzeigt.
    Die Daten der Darstellung “letzte 30 Tage” beinhalten 29 Tagessätze, beginnend ab vor-vor-gestern rückwirkend (Bsp: am 09.11. betrachtet, ist der letzte Datenpunkt der 06.11.).
    Somit ist der Tag, an dem die -Kurve am 09.11. das Maximum anzeigt nur in der “letzte 7 Tage”-Darstellung abgebildet, nicht in der “letzte 30 Tage”-Darstellung, richtig?
    Warten wir also noch bis übermorgen und gucken, ob dann ein Ausschlag in der -Kurve im Verhältnis zur -Kurve ist, der die -Kurve übersteigt.
    Beste Grüße,
    Jean-Luc

  2. Sehr guter Punkt, ich ergänze das!

  3. Hi Tom, danke für diesen sehr erhellenden Beitrag. Mir sind die Differenzen zwischen Keyword Planer und Google Trends jetzt schon mehrmals über den Weg gelaufen. Ich finde es sehr ärgerlich, dass Google hier sehr Intransparenz und wie bei anderen Dingen auch nicht Konsistent ist was Datengrundlagen und weiteres angeht…

  4. Hallo Olaf,

    tatsächlich ist (fast) alles in der Hilfe erklärt, nur macht sich kaum jemand die Mühe, diese auch zu lesen, weil es halt so einfach aussieht 🙂

    LG

    Tom

  5. gebt mal im Trends ein fixes Startdatum und ein variables Enddatum ein und ladet dieses im CSV herunter und vergleicht das mal. Die Daten ändern sich nach Lust und Laune “Prozentual” hin und her. Und wenn man z.B. nur 14 Tage herunter lädt, die Summe von Sonntag bis Samstag bildet, so sollte doch der gleiche Prozentuale Unterschied wie bei den Wochendaten heraus kommen. Es ist also auch noch für den gleichen Datensatz der Zeitpunkt der Datenabfrage entscheidend. (historcial random statistic dates)


Add a Comment

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Comment *

Name *
Email *
Website