Tests und Auswertungsverfahren

1.) Pretest

In einer Testphase von zwei Wochen wurde im Juli 2015 das Codebuch an der Politikberichterstattung der ausgewählten Zeitungen (Der Standard, Die Presse, Kurier, Kleine Zeitung, Kronen Zeitung) getestet. Bei diesem Pretest wurde insbesondere darauf geachtet, ob die Kategorien klar angewendet werden können und ob das Codebuch zuverlässig ist.

Modifizierungen wurden vor allem im Bereich der „Autor*innen“ (Codierung Nr. 5), der

„Anlässe“ (Codierung Nr. 10) und des „Berichterstattungskontexts“ (Codierung Nr. 11) vorgenommen. Die anderen Kategorien erwiesen sich zum überwiegenden Teil als brauchbar.

Wenn kein Bezugspunkt gefunden werden konnte, wurde die Kategorie „unklar“ eingeführt.

Existieren mehrere Anlässe (Codierung Nr. 10), was vor allem im Kurier öfter der Fall war, so wird jeweils der erstgenannte codiert. Zum Schluss der Pretest-Phase wurden die zu codierenden Ressorts und Rubriken der jeweiligen Zeitungen fixiert.

2.) Auswertung

Die nach dem Codebuch vorgegebene Analyse wurde in Einzelarbeit händisch durchgeführt und ins Office-Programm Excel übertragen sowie anschließend ausgewertet. Die Operationalisierung des Auswertungsprozesses ist wiederum in drei Ebenen gegliedert, die für die Beantwortung der Ausgangsfragen notwendig sind, und orientiert sich an einem Modell von Kromrey (Kromrey 2009, 322–323):

a) Frequenzanalyse: Sie ordnet Variablen den im Vorhinein erstellten Kategorien zu.

b) Kontingenzanalyse: Sie eruiert, wie oft ein sprachliches Element in Zusammenhang mit anderen sprachlichen Elementen erscheint, und stellt einen Zusammenhang zwischen Variablen und anderen Aussagen im Text her.

c) Valenzanalyse: Sie misst Bewertungen und kann Aussagen über Tendenzen treffen.

Die quantitative Auszählung der formalen, inhaltlichen und wertenden Merkmale der Zeitungsartikel erfolgte in einer statistischen Auswertung. Die Merkmale sind nominal skaliert und wurden mit numerischen Codes versehen. Die quantifizierenden Analysen dieser Arbeit suchen nach Schlüsselbegriffen, Nennhäufigkeiten und Assoziationen, mitunter gekoppelt mit qualitativen Kategorien wie Bewertungen, welche dann quantitativ erfasst werden,um ein differenziertes Bild entstehen zu lassen (Merten 1995, 51).

Für die Messung heißt das konkret, dass bei der Frequenzanalyse das quantitative Vorkommen an Variablen (die Europäische Kommission und ihre zugehörigen Akteur*innen) ausgewertet wird. Bei der Kontingenzanalyse werden die Variablen klassifiziert. Die Herausforderung der Kontingenzanalyse ist es, alle vorkommenden Inhalte abzudecken. Das erklärt auch eine teilweise große Bandbreite an Kategorisierungen. Die Valenzanalyse beschäftigt sich damit, ob und wie einzelne Variablen bewertet werden (Merten 1995, 21).

Die abschließende Zusammenfassung sucht Übereinstimmungen und Unterschiede durch einen Vergleich der verschiedenen Medienprodukte.

3.) Reliabilitätstest

Um die Güte der Inhaltsanalyse festzustellen, werden Reliabilitätstests durchgeführt, welche die Zuverlässigkeit der erhobenen Daten sicherstellen sollen. Ganz allgemein messen Reliabilitätstests die Ähnlichkeit der Ergebnisse der Codierung bei einer erneuten Sichtung desselben Materials.

Um das Ergebnis von Reliabilitätstests quantifizieren zu können, definiert man entsprechende Maßzahlen. Hierzu wird in der vorliegenden Arbeit mit einem Reliabilitätskoeffizienten in Anlehnung an Holsti gearbeitet. Bei Inhaltsanalysen wird mitunter auch auf den Übereinstimmungskoeffizienten zurückgegriffen. Da allerdings beim Übereinstimmungskoeffizienten nur komplett übereinstimmende Codierungen gemessen werden, eignet sich dieser in seiner Reinform nur in ganz speziellen Untersuchungsdesigns.

Beim Holsti-Koeffizienten hingegen wird auch berücksichtigt, wenn Codierungen zu sehr ähnlichen (aber eben nicht ganz identen) Ergebnissen kommen. Hat man es darüber hinaus auch mit fehlenden Daten und unterschiedlichen Skalenniveaus zu tun oder möchte man statistische Kenngrößen wie zum Beispiel Konfidenzintervalle ermitteln, erscheint als Kennzahl Krippendorffs Alpha sinnvoll (Holsti 1969, 135; Raupp & Vogelsang 2009, xv–xviii).

Wird die Inhaltsanalyse – wie im Fall der vorliegenden Arbeit – nur von einer Person durchgeführt, kommt für die vorliegende Analyse nur ein Intracoder-Reliabilitätstest infrage.

Das Material wurde dabei stichprobenartig nach einer gewissen Zeit noch einmal codiert und dann die zu verschiedenen Zeitpunkten erhobenen Daten abgeglichen sowie die Unterschiede ausgewertet.

Im vorliegenden Codebuch sind Variablen mit verschiedenen Schwierigkeitsgraden enthalten.

Einerseits werden formale Variablen (z. B. Vorkommen auf Titelseite) codiert, die eine sehr hohe Reliabilität aufweisen müssten. Andererseits kommen Variablen vor, die dem*der Codierer*in einen gewissen Interpretationsspielraum geben (z. B. Wertung eines Artikels).

Daher scheint es sinnvoll zu sein, für jede einzelne Variable i im Codebuch einen eigenen Reliabilitätskoeffizienten 𝑅 zu berechnen. Konkret wurde dabei wie folgt vorgegangen: Nach der vollständigen Inhaltsanalyse wurden ein Jahr später von jeder der fünf Tageszeitungen (Der Standard, Die Presse, Kleine Zeitung, Kronen Zeitung, Kurier) sechs Exemplare ausgewählt, deren Artikel in Bezug zur Europäischen Kommission und ihren Akteur*innen erneut durchforstet und deren entsprechende Texte abermals nach dem Codebuch codiert wurden. Insgesamt wurden also 30 Exemplare mit exakt der gleichen Vorgehensweise analysiert wie ein Jahr zuvor. Die Auswahl erfolgte zufällig, wobei sichergestellt wurde, dass die sechs Exemplare einer Tageszeitung jeweils in unterschiedlichen Monaten erschienen sind, um einen Bias zu verhindern.

Insgesamt wurden so 52 Artikel bzw. 3,77 Prozent der ursprünglich 1380 Artikel für den Reliabilitätstest verwendet. Festzuhalten ist, dass beim ersten Durchgang kein zusätzlicher Artikel, der die Europäische Kommission und ihre zugehörigen Akteur*innen zum Inhalt hat, übersehen bzw. beim zweiten Durchgang entdeckt wurde. In der Tabelle 9.2_4 sind die Anzahl der insgesamt im ersten Durchgang codierten Artikel sowie die Anzahl bzw. Prozent der Artikel, die zufällig für den Reliabilitätstest ausgewählt wurden, angegeben. Aufgrund der zufälligen Auswahl variiert die Prozentzahl der für den Reliabilitätstest verwendeten Artikel nach der jeweiligen Tageszeitung, wobei die Kronen Zeitung mit 7,45 Prozent den höchsten und Der Standard mit 2,47 Prozent den niedrigsten Wert einnimmt. Die Werte der übrigen drei Tageszeitungen liegen zwischen drei und fünf Prozent.

Tabelle 9.2_4: Reliabilitätskoeffizient

Standard Presse Krone Kleine Kurier Gesamt

n 405 428 94 184 269 1380

m 10 14 7 8 13 52

Prozent 2,47 % 3,27 % 7,45 % 4,35 % 4,83 % 3,77 %

Anmerkung: Hier bezeichnet n die Anzahl der insgesamt im ersten Durchgang codierten Artikel und m die Anzahl der Artikel, die zufällig für den Reliabilitätstest ausgewählt wurden.

Basierend auf den 52 zufällig ausgewählten Artikeln wird ein Reliabilitätskoeffizient 𝑅 für jede Kategorie i mit folgender Formel berechnet:

𝑅 = 1 − 𝑥 𝑚

Dabei bezeichnet man mit xij die Anzahl der Abweichungen bei Kategorie i und Tageszeitung j zwischen dem ersten Original- und dem zweiten Testdurchgang. Weiters wird für die Anzahl der Artikel, die in Tageszeitung j erneut codiert wurden, mj verwendet. Gilt 𝑅 =1, dann stimmen die Codierungen in allen Tageszeitungen für die Kategorie i in den für den Reliabilitätstest verwendeten Artikeln überein. Je kleiner 𝑅 wird, umso kleiner wird die Anzahl der Übereinstimmungen (Raupp & Vogelsang 2009, xv–xxvi).

In der Tabelle 9.2_5 sind nur jene Kategorien aufgelistet, bei denen es bei mindestens einer Tageszeitung zu Abweichungen gekommen ist. Die Anzahl der Abweichungen sind in der Tabelle nach Tageszeitungen aufgeschlüsselt: Bei sieben Kategorien gab es keine einzige Abweichung und damit einen Reliabilitätskoeffizienten von 1. Bei Kategorie 10 (Berichterstattungsanlass) ist die Anzahl der Abweichungen über alle Tageszeitungen mit zehn am höchsten. Dies führt daher zum kleinsten Reliabilitätskoeffizienten, der mit 0,81 berechnet wurde. Den zweitniedrigsten Reliabilitätskoeffizienten weist Kategorie 11 (Berichterstattungskontext) aus. Dort wurden sieben Abweichungen festgestellt, was zu einem Reliabilitätskoeffizienten von 0,87 führt. Bei allen anderen Kategorien gibt es nicht mehr als vier Abweichungen und einen Koeffizienten, der größer als 0,9 ist.

Betrachtet man die Abweichungen auf die Tageszeitungen aufgeschlüsselt, fällt auf, dass beim Standard, der Presse, der Kronen Zeitung und der Kleinen Zeitung jeweils zwischen fünf und sieben Abweichungen zustande gekommen sind. Auffällig ist die hohe Anzahl von elf Abweichungen beim Kurier. Dies könnte darauf zurückzuführen sein, dass die Berichterstattung zur Europäischen Kommission im Kurier – im Unterschied zu den anderen

Tageszeitungen – sehr häufig in Mischformen konzipiert wurde: Artikel sind mitunter nicht monothematisch aufgebaut bzw. es existieren häufiger als in anderen Tageszeitungen Variationen von Akteur*innen in einem Artikel, was die Zuordnung erschwerte.

Tabelle 9.2_5: Abweichungen

Codierung Standard Presse Krone Kleine Kurier 𝑹_𝒊

Kategorie 5 1 0 1 0 0 0,96

Kategorie 6 0 0 0 0 1 0,98

Kategorie 8 0 0 0 0 1 0,98

Kategorie 9 0 0 1 0 2 0,94

Kategorie 10 2 2 2 1 3 0,81

Kategorie 11 1 2 1 3 0 0,87

Kategorie 14 0 0 0 1 0 0,98

Kategorie 16 0 0 0 2 0 0,96

Kategorie 17 1 2 0 0 1 0,92

Kategorie 18 1 0 0 0 3 0,92

Summe 6 6 5 7 11

Anmerkung: In der Tabelle werden nur jene Codierungsschritte inkludiert, bei denen in der Reliabilitätstestung Abweichungen zur Original-Codierung festgestellt wurden.