Fachgerechter Umgang mit erhobenen Daten

Anonymität, Sorgfalt, Aufrichtigkeit, Zuverlässigkeit und Vertraulichkeit: Das sind Grundbedingungen im Umgang mit erhobenen Daten. So schreibt es die Berufsethik für fachgemäße Evaluationen vor, so erwarten es meine Auftraggeber, und so gehe ich mit den erhobenen Daten um. Damit sind die Voraussetzungen geschaffen, um die Qualität der Auswertungen – und entsprechend der Untersuchungsergebnisse – zu gewährleisten und die Vertrauenswürdigkeit der Evaluatorin zu untermauern.

Befragungen bleiben anonym

Fragebögen sind grundsätzlich immer anonym gestaltet. Deren Auswertung erfolgt ebenfalls vollkommen anonym. Namen, genaue Adressen, Telefonnummern, Emailadressen, Nutzeridentifikationen bzw. Mitgliedschaftsnummern und dergleichen werden in Fragebögen prinzipiell nie erhoben.

Dennoch fließen einige personenbezogene Daten in die Analyse ein. Zur Beschreibung der Besucherstruktur etwa, sind persönliche Daten wie beispielsweise Geschlecht, Alter, Bildungsabschluss, geographische Herkunft (Land und Ortschaft, meistens durch die Postleitzahl) oder berufliche Stellung unerlässlich. Allerdings sind keine Rückschlüsse oder Zuteilungen auf einzelne Personen bzw. deren Identität anhand des Fragebogens möglich. Die statistische Auswertung der erhobenen Daten erlaubt ebenfalls keine Rückschlüsse auf einzelne Personen.

Die Anonymität der Auswertung gilt gleichfalls für qualitative Daten. Personenbezogene Informationen, die eventuell in den Antworten der offenen (qualitativen) Fragen enthalten sind, werden genauso wenig berücksichtigt wie zusätzliche, nicht abgefragte und von der Auskunftsperson freiwillig auf den Fragebogen hinzugefügte persönliche Angaben.

Selbst wenn die Zielgruppe namentlich bekannt ist, bleibt die Untersuchung anonym. Bei Post- oder Emailversand etwa verbleibt der Verteiler beim Auftraggeber. Dieser übernimmt selbst den Versand und übergibt weder die Liste der Namen noch die Kontaktdaten.

Qualitative Untersuchungen: Sorgfalt ist geboten

Qualitative Untersuchungen setzen oft einen engeren Bezug zu den Auskunftspersonen voraus. Abhängig vom Evaluationsziel und der eingesetzten Methode sind bestimmte Zielgruppen bzw. ausgesuchte Personen ganz bewusst anzusprechen. Dafür kann es erforderlich sein, mit personenbezogenen Daten zu arbeiten und in manchen Fällen die Anonymität der Auskunftspersonen aufzuheben. Man denke beispielsweise an Fokusgruppen, Expertengespräche oder auch an die quantitativen Paneluntersuchungen. Entsprechend sind die Kriterien, die für die Auswahl der Auskunftsperson ausschlaggebend sind, sowie in manchen Fällen deren Kontaktdaten, wichtige Arbeitsdaten.  

Die Quelle solcher Daten ist sehr unterschiedlich. Nicht selten ist es der Auftraggeber selbst, der diese zur Verfügung stellt. In anderen Fällen ist es Bestandteil des Auftrages, die geeigneten Auskunftspersonen zu identifizieren. In allen Fällen gilt es, mit diesen Daten besonders sorgfältig umzugehen – auch um den Datenschutz der einzelnen Personen zu gewährleisten.

Je nach Vereinbarung mit dem Auftraggeber und mit Zustimmung der betroffenen Person können diese Daten ggf. dem Auftraggeber übermittelt werden. Sie werden unter keinen Umständen an Dritte weitergegeben.

 Umgang mit Statistiken

„Glaube keiner Statistik, die Du nicht selbst gefälscht hast“: Damit so etwas nie passiert, halte ich mich an grundlegende Prinzipen im Umgang mit großen und kleinen Datensätzen. Bei der statistischen Auswertung quantitativer Untersuchungen gilt es, bestimmte Situationen unbedingt zu vermeiden und die Qualitätskriterien der Statistik einzuhalten.

	Absolutes Tabu – Manipulation: keine vorsätzliche Manipulation oder Fälschung der Daten, um im Vorfeld vorgeschriebene „Ergebnisse“ angeblich zu „ermitteln“. – Zensur: keine Zensur der Daten, keine wichtigen Fakten/Befunde verschweigen.
	Besonders zu beachten – Stichprobe: Repräsentativität der Stichprobe und angemessene Größe, um aussagekräftig zu sein. – Vollständigkeit: alle relevanten Daten auswerten, nur die relevanten Daten bearbeiten. – Objektivität: absolut erstrebenswert, allerdings auch bei quantitativen Untersuchungen nie völlig zu erreichen. – Verzerrungen: möglichst immer erkennen bzw. vermeiden, wo sie vermeidbar sind. Unvermeidliche (strukturelle) Verzerrungen müssen bei der Analyse der Ergebnisse berücksichtigt und im Ergebnisbericht erläutert werden.
	Bearbeitung der Datensätze – Rücklaufkontrolle: die eingehenden Fragebögen werden auf ihre Gültigkeit überprüft. Fragebögen sind ungültig, wenn sie offensichtliche Qualitätsmängel aufweisen oder wenn der Befragte nicht der Zielgruppe entspricht. Sie werden aus der Stichprobe herausgenommen und bei der Auswertung nicht berücksichtigt. – Qualitätsprüfung: die Qualität der Datensätze wird ebenfalls überprüft. Auffallende Fehler der Dateneingabe sowie offensichtliche, aber eindeutige Missverständnisse der Befragten werden bereinigt und korrigiert. – statistische Berechnung: die bereinigten Datensätze werden bei Bedarf recodiert und mit einem Statistikprogramm bearbeitet, das sowohl Grundauszählung und Kreuztabellen als auch die üblichen Kennzahlen wie etwa Median, Mittelwert oder Signifikanz (Chi²) berechnet. – Auswahl: aus den (potentiell) berechneten Statistiken werden die wichtigsten ausgesucht. Die vorrangigen Auswahlkriterien sind die Aussagekraft der Daten und die Relevanz für das Ziel der Evaluation, die Korrelation der Variablen sowie die Vergleichbarkeit der Daten untereinander.
	Handhabung von Zahlen – Prozentzahlen: in kleinen Stichproben sind die Ergebnisse in absoluten Zahlen präsentiert. Prozentzahlen kommen erst ab einer Stichprobengröße von über 100 Auskunftspersonen zum Einsatz. Grundsätzlich sind sie bei kleineren Bezugsgrößen zwar mathematisch korrekt, aber in der empirischen Sozialforschung inhaltlich nicht sinnvoll. In den Ergebnisberichten sind entsprechend Prozentzahlen, die auf der Basis kleiner Stückzahlen (meistens unter 80 Auskunftspersonen für eine Teilstichprobe) berechnet wurden, besonders gekennzeichnet. – Auf- und Abrunden: Prozentzahlen sind mit einer Stelle nach dem Komma berechnet – was bei den für Besucherbefragungen üblichen Stichprobengrößen durchaus ausreicht – und für die Berichterstattung auf die ganze Zahl auf- bzw. abgerundet. – Berichterstattung: die Wiedergabe der Statistiken erfolgt überwiegend in graphischer, aber auch in tabellarischer oder schriftlicher Form. Besonders wichtig ist es, sie immer verständlich, eindeutig und unmissverständlich sowie möglichst attraktiv zu präsentieren.

Verbleib der Datensätze

Ausgefüllte schriftliche Fragebögen – sofern vorhanden bzw. sofern mit dem Auftraggeber nicht anders vereinbart – verbleiben nach Abschluss des Projektes für die Dauer von 10 Jahren in meinem Archiv. Anschließend werden sie entsorgt.

Die kompletten Datensätze einer Befragung/Untersuchung sowie deren (statistischen) Auswertungen, ob in elektronischer oder ggf. ausgedruckter Form, verbleiben in der Regel unter meiner Aufsicht und werden nach Abschluss des Projektes in meinem Archiv aufbewahrt. Dies trifft ebenfalls auf die Arbeitsunterlagen sowie auf die Ergebnisberichte zu.

Je nach Vereinbarung mit dem Auftraggeber können ausgefüllte Fragebögen, Datensätze oder Auswertungen nach Abschluss der Untersuchung dem Auftraggeber (in Kopie oder im Original) überreicht werden.

Vertraulichkeit

Die Ergebnisse der Evaluationen sind „Eigentum“ des Auftraggebers – und sollen es auch bleiben. Oft wird bei Auftragserteilung der vertrauliche Umgang mit Datensätzen, Auswertungen, Ergebnissen und Ergebnisberichten vereinbart. Entsprechend werden sie ohne ausdrückliche Erlaubnis des Auftraggebers keinem Dritten zugänglich gemacht bzw. weitergegeben.

Allerdings haben die gesammelten Auswertungsergebnisse einen großen wissenschaftlichen Wert. Sie bilden einen wertvollen Fundus an Eckdaten, Vergleichsgrößen und Erfahrungswerten, die die Analysen aller Untersuchungen untermauern. Dies geschieht immer in einer Form, die keine direkten Rückschlüsse auf die ursprüngliche Institution ermöglicht, in der die Information ermittelt wurde – außer natürlich bei bereits veröffentlichten Ergebnissen oder bei ausdrücklicher Erlaubnis des Auftraggebers.

Für die Bearbeitung der Projekte ist es meistens erforderlich, Hilfskräfte und Assistenten einzusetzen. Diese von mir beauftragten Hilfskräfte und Assistenten erhalten während der Projektlaufzeit Zugang zu den Daten, Datensätzen und Auswertungen, die sie zu bearbeiten haben. Sie verpflichten sich ebenfalls zu einem vertraulichen Umgang mit den Daten und Informationen, die sie bei der Mitarbeit an der Untersuchung bzw. Auswertung oder Berichterstattung erhalten.