Zunächst will ich kurz erläutern, warum ich über das Thema der "Bewertung" von Whisky sprechen will, und was ich als Grundannahmen stelle.

Zum einen ist für mich ziemlich klar, dass es gar nicht zielführend ist Whisky mit einer "Note" zu "bewerten". Dazu ist der Genuß eines Luxusartikels eigentlich viel zu subjektiv. Gerade die Verschiedenheit der Whiskyliebhaber macht unser Hobby doch erst so richtig schön! Kurz gesagt: Über Geschmack kann man nicht streiten.

Ebenso klar ist allerdings auch, dass viele Leser so eine Bewertung am Ende lesen wollen. Auch ich habe daher eine Bewertungsskala, und gebe einem Whisky so eine "Note". In meinem heutigen Artikel möchte ich daher von einer Prämisse ausgehen, um diese Diskussion auszuschließen: Wenn man schon einen Whisky bewertet, dann bitte auch sinnvoll! Ich möchte heute nicht über Vor- und Nachteile der eigentlichen Bewertung sprechen, das wäre ein ganz anderes Thema. Ganz wichtig: Es soll natürlich auch kein Angriff auf andere sein - jeder soll so bewerten wie er oder sie es gut findet! Vielmehr soll es wirklich darum gehen, dass wenn man bewertet, man es auch mit Sinn und Verstand machen sollte. Ich möchte daher heute die Wissenschaft befragen, was er aktuelle Stand ist. 

Mein Vorgehen ist wie folgt: Zunächst beantworte ich die Frage, was überhaupt eine Messung ausmacht, dann geht es um Skalen allgemein und erst im dritten Schritt sollen die Erkenntnisse auf die Whiskybewertung angewendet werden.

Es wird viel Inhalt sein, bitte entschuldigt den langen Text, aber nur so kommt man an die Details ran!

Den Begriff "Skala" verwendet wohl jeder von uns im täglichen Gebrauch. Wenn man allerdings Einschätzungen richtig messen möchte, dann ist eine vernünftige Skala eine wichtige Grundvoraussetzung. Ich kann gar nicht stark genug betonen, wie häufig zu hören bekomme "Einen Fragebogen kann doch jeder erstellen". Personen, die so eine Aussage treffen, disqualifizieren sich allerdings vollkommen.

Schauen wir uns unser Arbeitsmittel also lieber etwas genauer an. Was ist eine Skala zunächst? 

Eine Skala ist eine homomorphe Zuordnung von empirischen und numerisches Relativ. Darüber hinaus gelten auch hier einige Voraussetzungen, im Falle der Whiskybewertung muss z.B. das Axiom der "Transitivität" der Präferenzrelation erfüllt sein. Auf deutsch ausgedrückt: Die gewählte Reihenfolge muss innerhalb der Skala schlüssig sein. Ein mit "5" bewerteter Whisky muss "besser" sein als ein Whisky, der mit "4" bewertet wurde. Zwingend schlüssig darf damit ein Whisky mit einer "3" nicht besser sein als der Whisky mit der "5" als Bewertung (ausgehend von meiner Skala von 1(schlecht)-7(gut), natürlich handelt es sich um eine subjektive Bewertung meiner Person! Andere können Whisky "3" besser als "5" finden, darum geht es hier aber nicht!). Es gibt noch einige weitere Bedingungen, die ich hier auslassen möchte. Gut für uns: Die Messung gibt nicht die Einheit vor. Eine Skala zur Temperatur kann z.B. in Celsius oder Fahrenheit ausgedrückt werden. Wir können die Bezeichnung daher frei wählen!

Weiterhin lassen sich 4 Skalentypen unterscheiden: Nominal-, Ordinal-, Intervall- und Rationskalen (teilweise auch noch Log-Intervallskalen).

Eine kurze Charakterisierung in Anlehnung an Schnell / Hill / Esser (2011:135):

• Nominalskalen: Fordern nur die Unterscheidbarkeit von Objekten. Wobei jedes Objekt nur genauer einer Klasse zugeordnet werden darf und jedes Objekt zugeordnet werden muss. 
  Beispiel: Single Malt, Blend, Grain Whisky usw. - Jede Art von Whisky kann in so eine Kategorie sortiert werden.
• Ordinalskalen: Diese Skala bietet die Möglichkeit Objekte auf ihre Gleichheit zu untersuchen, sprich sie in eine Rangordnung zu setzen. Diese Rangordnung muss zwingend durch die Zahlen wiedergegeben werden.
  Beispiel: Die Bewertung von Whisky, oder der Klassiker: Schulnoten.
• Intervallskalen: Neben einer Rangordnung muss für Intervallskalen auch die Größe des Abstandes benennbar und immer gleich groß sein. Daher müssen die Zahlen immer die gleiche Differenz besitzen.
  Beispiel: Temperaturmessungen in Fahrenheit oder Celsius
• Ratioskalen: Neben allen Bedingungen von oben muss hierbei auch noch ein natürlicher Nullpunkt gegeben sein. Dabei entspricht "Null" der tatsächlichen Abwesenheit des Merkmals. Erst auf einer Ratioskala werden Aussagen wie "A besitzt doppelt so viel wie B" sinnvoll erklärbar.
  Beispiel: Temperaturmessung in Kelvin.

Wo befinden wir uns also bei der Whiskybewertung? Für mich ist die Bewertung eines Whiskys klar eine Angabe einer Reihenfolge, wobei es nicht einwandfrei möglich ist die Abstände genau zu bestimmen (auch wenn die lineare Punktevergabe dieses suggeriert). Es handelt sich also im weiteren Sinne um eine Ordinalskala.

Gut, die Grundlagen sind damit gelegt. Mit der Whiskybewertung wollen wir einen Geschmackseindruck nach festgelegten Regeln in eine Ordinalskala überführen. Soweit, so unstrittig denke ich. Kommen wir zum eigentlichen Knackpunkt: Wie macht man das am besten?

Häufig wird eine Skala von 0-100 verwendet. Viele Blogs oder Vlogs verwenden dieses System, auch die Whiskybase benutzt eine 100er Skala.

Im Folgenden will ich einmal kurz darstellen, warum ich dieses Vorgehen für grundlegend falsch halte!

Bei einer Messung will man (messtheoretisch) vor allem zwei Kriterien erfüllen: Reliabilität (kurz gesagt: Zuverlässigkeit) und Validität (kurz: Gültigkeit). In einer Reihe von Übersichtsstudien (Krosnick & Fabrigar 1997, Krosnick & Presser 2010) wurde festgestellt, dass Skalen mit fünf bis sieben Ausprägungen die sichersten und zuverlässigsten Ergebnisse produzieren. Doch wieso ist das so?

Der Zusammenhang liegt hier vor allem in der Beschreibbarkeit der einzelnen Kategorien. Sogenannte "Numerische Labels" werden häufig verwendet um Skalen zu beschreiben (denkt einfach mal an eine beliebige Umfrage). Dabei wird jeder Skalenpunkt mit einer Zahl dargestellt, also klassisch das Whiskybase-Modell. Einem Whisky wird eine Zahl (z.B. 80,55) zugeordnet. Dieses Vorgehen ist in der Praxis allerdings wenig tauglich, denn unterschiedliche Personen können unter den jeweiligen Zahlen etwas anderes verstehen und dieses könnte wieder rum mit der eigentlich gemeinten Bedeutung inkongruent sein.  Die gesis empfiehlt daher einige Grundregeln einzuhalten, wenn es um die Skalenerstellung geht:

1. Skalen sollen präzise sein.
2. Skalen sollen ausbalanciert sein, d.h. eine gleiche Anzahl positiver und negativer Werte enthalten.
3. Skalen sollten allgemein verständlich sein.
4. Skalen sollten äquidistant sein, d.h. die Abstände zwischen den Ausprägungen sollten möglichst genau sein.
5. Skalen sollten nach Möglichkeit voll verbalisiert sein, d.h. jeder Kategorie sollte ein Ausdruck zugeordnet sein.

(Menold / Bogner (2015): 3)

Ich denke, vielen wird schon klar sein, worauf meine Ausführungen hinauslaufen. Ich habe ein Problem mit vielen der Skalen da draußen, und dieses Gefühl dürfte doch vielen bekannt sein. Natürlich, es ist pedantisch sich darüber aufzuregen, dass ist mir klar. Auch soll sich niemand angegriffen fühlen, aber es ist doch gerade meine Aufgabe als Blogger, mir über diese Dinge Gedanken zu machen!
Welches Problem hat also die "Whiskybase-Methode" von 0-100:

Zum einen sind die Abstände nicht klar. Schon gar nicht zwischen direkten Nachbarn wie z.B. 91 und 92. Aber häufig liegt dieser Einteilung dann noch eine Skala auf. Aus 0-50 werden dann "ganz miese Tropfen" und aus 51-60 "die Akzeptablen" dann kommt 61-75 mit "ist ok" und irgendwie wird es nach oben hin meist kleinteiliger. Im Sinne der Äquidistanz ist das natürlich absoluter Quatsch. Für eine sinnvolle Interpretation müssen alle Abstände sinnvoll interpretiert werden können. Jeder einzelne!

Auch die Frage der Kategorielabels drängt sich hier nahezu auf. Versucht einmal 100 sinnvolle Begriffe zu finden um Qualitäten voneinander abzugrenzen. Eine Überschneidung ist dabei nicht erlaubt! Nicht geschafft? Ja, ich auch nicht. 

Abschließend geht für mich sogar die Grundbedingung der Ordinalskala flöten. Hier eine tatsächliche Reihenfolge zu bestimmen ist doch ausgeschlossen. Ein 87er Whisky soll besser sein als ein 86er und der besser als ein 85er? Die Abstände sind doch viel zu klein! Klar, ein 55er ist schlechter als die 94, aber es geht hier eben darum so etwas konsequent zu machen!

Macht euch gerne selbst  ein Bild aus dem, was ich geschrieben habe. Aber meine Schlüsse möchte ich euch nicht vorenthalten:

Zum einen sind 100er Skalen oder alles über 10 für mich nicht zu gebrauchen. Die Ergebnisse scheinen mir einfach zu willkürlich und eine so feine (besser: angeblich feine) Abstimmung ergibt für mich einen keinen Sinn! Leute, in dem Moment, wo ihr eine weitere zusammenfassende Erklärung eurer Skala braucht (a la: 0-50 ist mies) läuft etwas falsch. Transformiert dann lieber 0-50 in eine "1" um und geht von da aus weiter!

Ich nehme auch mit, dass die Bewertung auf Whiskybase äußerst zweifelhaft ist und nur bei riesigen Fallzahlen einen Anhaltspunkt geben kann. Fragt mal beim nächsten Stammtisch eure Freunde einen Whisky auf 0-100 zu bewerten (ohne vorher irgendwelche Rahmenbedingungen festzumachen). Ich wäre gespannt was da rauskommt!

Natürlich habe ich mir diese Gedanken schon gemacht, bevor ich meinen ersten Artikel geschrieben habe. Ich habe daher eine 1-7 Skala eingeführt und versuche diese mit den "Abschließenden Gedanken" auch immer zu vertiefen. Seit einiger Zeit gibt es noch dazu die Tastingspinne, die die wichtigsten Aromen ansprechend darstellen soll. An dieser Stelle findet ihr auch eine Beschreibung jedes einzelnen Wertes, sodass ich auch ein "Label" zu jeder Kategorie habe. 
Dennoch, und das meine ich ganz ernst: Ich persönlich müsste die Zahl gar nicht vergeben. Aber irgendwie gehört es ja zum guten Ton!

Letzte Woche auf A Dr(e)am of Sea: AnCnoc Flaughter >>>

Literaturangaben:

Krosnick, J. A. / Fabrigar, L. R. (1997): Designing rating scales for effective measurement in surveys. In L. Lyberg, P. Biemer, M. Collins, E. de Leeuw, C. Dippo, N. Schwarz, & D. Trewin (Eds.), Survey measurement and process quality (pp. 141-164). New York: John Wiley & Sons, Inc.   

Krosnick, J. A., / Presser, S. (2010): Question and Questionnaire Design. Peter V. Marsden und James D. Wright (eds.), Handbook of Survey Research, (pp. 264-313). Bingley, UK: Emerald.  

Menold, Natalja / Bogner, Kathrin (2015): Gestaltung von Ratingskalen in Fragebögen. Mannheim, GESIS - Leibniz-Institut für Sozialwissenschaften (SDM Survey Guidelines). DOI: 10.15465/sdm-sg_015

(Hier online verfügbar)

Schnell, Rainer / Hill, Paul B. / Esser, Elke (2011): Methoden der empirischen Sozialforschung. Oldenbourg Wissenschaftsverlag GmbH: München.