Zuordnungslücke

Auch wenn eine Wirkung beobachtet und gemessen werden kann, darf daraus nicht zwingend geschlossen werden, dass die Wirkung allein wegen des Projekts zustande kam. Und selbst wenn die direkte Wirkung (Outcome) einer Intervention eindeutig zugeordnet werden kann, heisst dies noch nicht, dass damit auch ein Beitrag zum übergeordneten Ziel (Impact) erwiesen ist. Dieser Umstand wird als Zuordnungslücke bezeichnet.

Es ist aber auch gar nicht immer nötig durchgehend zu beweisen, dass mit einem bestimmten Ressourceneinsatz (Input) eine bestimmte entwicklungspolitische Wirkung (Impact) erzielt wurde. Je nach Verwendungszweck der Wirkungsmessung ist es oft ausreichend, plausibel zu machen, dass das Projekt zur beobachteten Veränderung beigetragen hat. Dabei spielt ein gutes Wirkungsmodell eine wichtige Rolle.

Eindeutige Zuordnung oder Plausibilisierung

Es ist also zu unterscheiden, ob aus Gründen der Legitimierung eine Wirkung bewiesen und einer Entwicklungsmassnahme eindeutig zugeordnet werden soll (Attribution), oder ob plausibel gemacht werden soll, dass ein Projekt oder Programm zur Verbesserung einer Situation beigetragen hat (Kontribution), z.B. zum Lernen der Organisation oder zum Lenken innerhalb der Organisation.

Für die kausale Zuordnung der Wirkung (Outcome) zu einer Intervention braucht es rigorose Wirkungsmessungsmethoden. Das heisst, es braucht einen Vergleich mit Kontrollgruppe, um festzustellen, was ohne das Projekt passiert wäre. Die Auswertung erfordert wissenschaftlich fundierte, statistische Methoden. So können externe Faktoren ausgeschlossen und die Ergebnisse eindeutig einer bestimmten Intervention zugeordnet werden. Solche Vergleiche sind jedoch teuer.

Zur Plausibilisierung genügen auch einfachere Ansätze. Es ist bereits ein guter Ansatz, wenn eine Studie zur Ausgangslage (Baseline) gemacht wird, so dass Vorher-Nachher Vergleiche möglich sind.

Präzise Aussagen darüber, was eine Intervention auf übergeordneter Stufe bewirkt hat (Impact), können nur gemacht werden, wenn auch die Zusammenhänge und Wirkungen auf dieser Stufe durch rigorose Wirkungsmessungsmethoden belegt werden. Das ist in der Praxis kaum möglich. Umso wichtiger ist es, dass weiterführende Wirkungszusammenhänge plausibel erläutert werden.

Beispiele für Formulierungen zur Wirkung

Der Bericht sollte offen legen, welche Aussage aufgrund der durchgeführten Wirkungsmessung möglich sind.

  • Eindeutig zuordenbare Wirkungen 
    Das Projekt oder Programm hat bewirkt, dass die Kindersterblichkeit in der Region a von ... bis ... um x% gesunken ist. 
  • Plausible Wirkung
    Das Projekt oder Programm hat dazu beigetragen, dass die Kindersterblichkeit in der Region a von ... bis ... um x% gesunken ist.

Alternative Ansätze

Die Zuordnungslücke mit rigorosen Wirkungsmessungsmethoden zu schliessen ist teuer und oft trotz grossem Aufwand nicht vollständig möglich. Kritisiert wird zudem auch die Reduktion auf lineare Kausalzusammenhänge von Ursachen  und Wirkung, die diesen Methoden zugrunde liegt.

Als Alternative oder Ergänzung gelten partizipative Methoden, mit denen qualitative Informationen zur Wirkung eines Entwicklungsvorhabens erhoben werden. Diese basieren im Wesentlichen darauf, die Zielgruppen zu befragen, was sich für sie verändert hat und welchen Einflüssen oder welchem konkreten Projekt sie diese Wirkung zuschreiben.

Dieser Ansatz nimmt die entgegengesetzte Blickrichtung zur strikten Input-Output Logik ein. Er erfasst zuerst die gesamte Veränderung (Brutto-Impact), was externe Faktoren und Nebeneffekte einschliesst. Dann werden mit partizipativen Methoden die Ursachen für diese Veränderungen ermittelt. So soll schliesslich der Nettoeffekt ermittelt werden, den ein bestimmtes Projekt bei einer Zielgruppe bewirkt hat. Zu diesen kontextbezogenen Verfahren gehören z.B. MAPP (Method for Impact Assessment of Programmes and Projects) oder Most Significant Change. Diese Methoden gehen in erster Linie von den Veränderungen respektive Erfahrungen der Zielgruppen aus. Alternative Ansätze werden in der Praxis teilweise kontrovers diskutiert, können aber auch kombiniert mit dem Logic Model eingesetzt werden. Insbesondere können so quantitativ festgestellte Veränderungen (Was hat sich verändert?) mit qualitativen Informationen (Warum hat es sich verändert?) ergänzt werden.

ACHTUNG

Aufgrund des Legitimationsdrucks in der Entwicklungszusammenarbeit werden Wirkungsmessungen oft zu detailliert und zu früh gemacht. Vielfach werden zu hohe Erwartungen an die Wirkungsmessung gestellt, die nicht erfüllt werden können.

Wenn Geldgeber unrealistische Vorstellungen zum Wirkungsnachweis haben oder wenn verschiedene Geldgeber unterschiedliche Vorstellungen dazu haben, sollte versucht werden, mit ihnen eine adäquate Wirkungsmessung zu vereinbaren. Hilfswerke, die selber eine systematische Wirkungsmessung implementiert haben, sind dabei in einer besseren Ausgangslage als jene Organisationen, die keine eigenen Vorstellungen dazu entwickelt haben.