Vergleiche

Die Planung einer Messung beinhaltet immer auch die Definition des Massstabes zur Bewertung des untersuchten Gegenstandes. Die Definition des Vergleichsmassstabes bestimmt weitgehend, wie die Untersuchung angegangen werden sollte. Dabei müssen folgende Dimensionen beachtet werden:

  • Zeit
    Die Messung kann vor dem Projekt, am Ende oder nach Abschluss des Projekts durchgeführt werden. Soll der Verlauf des Projekts untersucht werden, sind zusätzliche Messungen während des Projekts nötig.
  • Bezugsgrösse
    Der Ist-Zustand kann mit den Zielen, der Ausgangslage oder mit einer Kontrollgruppe verglichen werden.

Basismodelle

Mit folgenden Basismodellen können die Zielerreichung, die Veränderungen bei der Zielgruppe oder der Einfluss eines Projekts gemessen werden:

Soll-Ist Vergleich
vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele

Definition
 
Zielgruppe
Messung 1  
Vorher-Nachher Vergleich
vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Zielgruppe
Messung 1
Messung 2
 
Vergleich mit Kontrollgruppe vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Zielgruppe

Messung 1
 
Kontrollgruppe
Messung 2  

Vorher-Nachher Vergleich mit Kontrollgruppe
vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Zielgruppe
Messung 1
Messung 3
 
Kontrollgruppe
Messung 2
Messung 4  

WICHTIG

Eine rigorose Wirkungsmessung kann im Prinzip nur mit Vorher-Nachher Vergleich mit Kontrollgruppe durchgeführt werden. Festgestellte Veränderungen können so eindeutig dem Projekt zugeschrieben und externe Einflüsse ausgeschlossen werden. Solche Vergleichsmodelle werden in der Praxis zunehmend von institutionellen Geldgebern verlangt. Sie sind aber sehr aufwändig: Es braucht mindestens vier Messungen. Die Auswahl der Kontrollgruppe und das Ziehen von Stichproben ist keineswegs trivial. Insbesondere kleinere Organisationen werden kaum die Ressourcen haben, rigorose Wirkungsmessungen durchzuführen und auch grössere Organisationen müssen sich überlegen, wann und wo es für sie Sinn macht.

An dieser Stelle wird dafür plädiert, dass auch einfachere Modelle zweckmässig sind. Sie eignen sich beispielsweise für organisationsinternes Lernen. Damit Vorher-Nachher Vergleiche möglich sind, sollte  jedoch eine Messung zu Beginn des Projekts (Baselinestudie) eingeplant werden. Damit Soll-Ist Vergleiche gemacht werden können, müssen klare Ziele formuliert sein.

Für die kausale Zuordnung (Attribution) der Wirkung zu einer Intervention braucht es rigorose Methoden zur Wirkungsmessung. Zur Plausibilisierung, dass eine Intervention einen Beitrag zur Erreichung übergeordneter Ziele geleistet hat (Contribution), genügen auch einfachere Ansätze. In jedem Fall muss aber klar sein, wie die Wirkungsmessung gemacht wurde und welche Schlüsse sich daraus ableiten lassen.

ACHTUNG

In der Praxis kommt es immer wieder vor, dass lediglich der Endzustand eines Projekts beschrieben wird. Für die Messung der Wirkung reicht eine Beschreibung der Zielgruppe ohne Bezug zu den Zielsetzungen, der Ausgangslage oder zu einer Kontrollgruppe jedoch nicht aus. 

Erweiterte Modelle

Komplexere Modelle mit erhöhter Aussagekraft entstehen durch die Erweiterung und die Kombination von Basismodellen.

Vorher-Nachher und
Soll-Ist Vergleich

vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele

Definition
 
Zielgruppe Messung 1
Messung 2  

Ex-post Vergleich
vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Zielgruppe Messung 1 Messung 2

Messung 3

Ex-post und
Soll-Ist Vergleich

vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele

Definition
 
Zielgruppe Messung 1
Messung 2  Messung 3
Ex-post Vergleich
mit Kontrollgruppe

vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Zielgruppe
Messung 1
Messung 3
Messung 5
Kontrollgruppe Messung 2 Messung 4 Messung 6
Soll-Ist Vergleich
mit Kontrollgruppe

vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele   Definition  
Zielgruppe

Messung 1

Kontrollgruppe

Messung 2
Vorher-Nachher und
Soll-Ist Vergleich
mit Kontrollgruppe

vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele   Definition  
Zielgruppe
Messung 1
Messung 3

Kontrollgruppe
Messung 2
Messung 4
Ex-post- und
Soll-Ist Vergleich
mit Kontrollgruppe
vor dem Projekt 
(Ex-ante)
am Ende des Projekts  nach Abschluss
(Ex-post)
Ziele   Definition Definition
Zielgruppe
Messung 1
Messung 3
Messung 5
Kontrollgruppe
Messung 2
Messung 4 Messung 6