Planung und Eignung

Der Zeitpunkt der Messungen muss geplant werden. Die Häufigkeit der Messungen erhöht die Genauigkeit der Resultate, aber auch den Aufwand. Die folgende Tabelle zeigt, wann es welche Messungen braucht, wofür sie geeignet sind und wie weit sie in der Praxis verbreitet sind.

Planung von Zeitpunkt und Häufigkeit der Messung
Zeitpunkt Vor dem Projekt
(Ex-ante)
Während dem Projekt Am Ende des Projekts Nach Abschluss des Projekts (Ex-post)
Notwendigkeit Nötig, wenn erforderliche Daten zur Ausgangslage fehlen Nötig, wenn die Verläufe betrachtet werden sollen Nötig, wenn der Erfolg beurteilt werden soll

Nötig, wenn die nachhaltige Wirkung der Intervention beurteilt werden soll
Eignung Geeignet, um über die Durchführung zu entscheiden Geeignet, zur Überwachung und Steuerung der Umsetzung Geeignet zur Steuerung und Rechenschaftsablage Geeignet zur Überprüfung der Strategie und Politik
Verbreitung Wird eher selten und wenn, dann vor grossen Programmen angewandt Wird häufig nur auf Output-Ebene (Monitoring) angewandt Wird auch auf Outcome-Ebene angewandt Wird eher selten und wenn, dann auf Impact-Ebene angewandt

Die reine Beschreibung eine Zustandes sagt ebenso wenig über die Wirkung aus wie ein herkömmlicher Soll-Ist Vergleich. Damit Aussagen über die Wirkung möglich werden, muss der erreichte Zustand der Zielgruppe zu deren Ausgangslage oder zu einer Kontrollgruppe in Bezug gesetzt werden. Die Kombination von beidem wird gelegentlich auch als «gold standard» der Wirkungsmessung bezeichnet. Die nachfolgende Tabelle gibt einen Überblick, welche Vergleiche möglich sind und wozu sie sich eignen.

Eignung der Vergleichsarten
Aussagekraft Ziel-
erreichung
Wirkung Plausibilisierung
(Contribution) 
Eindeutige Zuordnung
(Attribution)
Nachhaltigkeit Minimale
Anzahl
Messungen
Dauer
Basis Vergleichsmodelle
Soll-Ist Vergleich o.k.


    1 punktuell
Vorher-Nachher Vergleich    o.k.  o.k.     2 3 bis 8 Jahre
Vergleich mit Kontrollgruppe    o.k.  o.k.     2 punktuell
Vorher-Nachher Vergleich mit Kontrollgruppe
 o.k.  o.k.  o.k.   4 3 bis 8 Jahre
Komplexere Modelle und Kombinationen
Vorher-Nachher und Soll-Ist Vergleich  o.k.  o.k.  o.k.     2 3 bis 8 Jahre
Ex-post Vergleich    o.k.  o.k.    o.k.  3 6 bis 12 Jahre
Ex-post und Soll-Ist Vergleich
 o.k.  o.k.  o.k.    o.k.  3 6 bis 12 Jahre
Ex-post Vergleich mit Kontrollgruppe
   o.k.  o.k.  o.k.  o.k.  6 6 bis 12 Jahre 
Soll-Ist Vergleich mit Kontrollgruppe
 o.k.  o.k.  o.k.      2 punktuell
Vorher-Nachher und Soll-Ist Vergleich mit Kontrollgruppe
 o.k.  o.k.  o.k.  o.k.    4 3 bis 8 Jahre
Ex-post und Soll-Ist Vergleich mit Kontrollgruppe
 o.k.  o.k.  o.k.  o.k.  o.k.  6 6 bis 12 Jahre
Kein Vergleich
Beschreibung           1 punktuell