Most Significant Change

Die Most Significant Change Technik wurde in den 90er Jahren von Rick Davies entwickelt und 2005 in einem User Guide publiziert (mit Jess Dart). Es handelt sich um eine qualitative und partizipative Methode zur Erfassung von Wirkungen eine Projekts oder Programms. Most Significant Change kann als Monitoring laufend während eines Projekts angewendet werden. Die Technik trägt aber insbesondere auch zur Evaluation eines Projekts bei, indem es «Daten» über dessen Outcomes und Impacts liefert. Most Significant Change basiert im Wesentlichen darauf, Geschichten über bedeutende Veränderungen («Significant Changes»), insbesondere bei den Zielgruppen eines Projekts, zu sammeln und aus diesen in einem systematischen Prozess über mehrere Stufen die wichtigsten («Most Significant Change») zu selektieren. Most Significant Change ist besonders für komplexe und vielschichtige Projekte mit unterschiedlichen Wirkungen geeignet. Dabei werden auch unerwartete Wirkungen erfasst. Eine erfolgreich implementierte Most Significant Change Technik führt dazu, dass ganze Teams ihre Aufmerksamkeit auf die Wirkungen eines Projekts richten. Most Significant Change ist deshalb besonders gut für das Lernen geeignet.

Implementierung

Im User Guide wird Implementierung von Most Significant Changes in 10 Schritten beschrieben:

  1. How to start and raise interest
  2. Defining the domains of change
  3. Defining the reporting period
  4. Collecting Significant Change stories
  5. Selecting the most significant of the stories
  6. Feeding back the results of the selection process
  7. Verification of the stories
  8. Quantification
  9. Secondary analysis and meta-monitoring
  10. Revising the system

Der erste Schritt besteht darin, verschiedene Stakeholder zu involvieren und sie zur Mitarbeit zu motivieren (da der Prozess sehr partizipativ ist). Als nächstes wird durch die Beteiligten festgelegt, in welchen Bereichen oder zu welchen Themen die Significant Changes gesammelt werden sollen. Weiter wird festgelegt, wie oft die Geschichten gesammelt werden.

Gesammelt werden die Geschichten bei denjenigen, die am direktesten involviert sind, also meist Begünstigte oder Projektmitarbeitende im Feld. Die Geschichten werden im Wesentlichen mit der folgenden einfachen Frage gesammelt: «Was war deiner Meinung nach während den letzten drei Monaten die bedeutendste Veränderung für die Begünstigten des Projekts?»

Die gesammelten Geschichten werden in der hierarchischen Struktur des Projekts, Programms oder der Organisation gefiltert. Konkret werden auf jeder Stufe die Geschichten in Gruppen analysiert und diskutiert und schliesslich eine einzige «Most Significant Story» in jedem definierten Themenbereich nach oben weitergereicht. Gleichzeitig werden die Kriterien für diese Selektion den interessierten Stakeholdern zurückgemeldet. Auf der obersten Organisationsstufe wird ein Dokument mit den schliesslich ausgewählten Geschichten erstellt.

Bild: Beispiel Selektionsprozess (ADRA Laos), Quelle: MSC User Guide

In einem nächsten Schritt können die ausgewählten Geschichten mit einem Feldbesuch verifiziert werden, um einerseits sicherzustellen, dass diese korrekt sind, und andrerseits zusätzliche Informationen über das wichtige Ereignis zu erhalten. Ein weiterer Schritt kann darin bestehen, die qualitativen Informationen der Geschichten zusätzlich zu quantifizieren. Zum Beispiel mit Angaben darüber wie viele Personen die gleiche Veränderung erlebt haben.

Die letzten beiden Schritte sind ein Monitoring des Monitorings (z.B. wer hat teilgenommen und mit welchem Einfluss auf die Ergebnisse? Welche Arten von Veränderungen wurden wie oft erzählt?) und die Überprüfung des Prozesses selber (z.B. was wurde gelernt durch die Anwendung ?).

Eignung

Most Significant Change eignet sich gut

  • wenn komplexe Projekte/Programme, multiple und unterschiedliche Wirkungen hervorbringen.
  • wenn auch unerwartete Veränderungen erfasst werden sollen.
  • um Wirkungen von grossen Programmen mit vielen Organisationsstufen zu erfassen.
  • um Wirkungen von partizipativen Projekten/Programmen mit einem Fokus auf soziale Veränderungen zu erfassen.
  • um Wirkungen zu erfassen, die mit traditionellen Methoden schlecht erfasst werden können.
  • wenn keine Monitoring und Evaluation Vorkenntnisse vorhanden sind, es einfach zu kommunizieren ist.
  • wenn ein detailliertes Bild von den Veränderungen gewünscht ist.
  • um den Beitrag eines Projekts zur einer Entwicklung zu plausibilisieren (contribution).
  • um zu lernen

Most Significant Change ist relativ zeitaufwändig und entfaltet seine Wirkung erst,wenn mehrere Runden von Auswahl und Feedback durchlaufen werden. Es ist deshalb weniger sinnvoll Most Significant Change einzusetzen,

  • wenn eine erwartete Veränderung bestätigt werden soll.
  • ein abgeschlossenes Projekt rückwirkend evaluiert werden soll.
  • die durchschnittliche Erfahrung der Begünstigten ermittelt werden soll.
  • eine schnelle und billige Evaluation zu Rechenschaftszwecken erstellt werden soll.

Die Australische Beratungsfirma Clear Horizon (Jess Dart) stellt einen «Quick Start Guide» zur konkreten Implementierung von Most Significant Changes zur Verfügung.

Most Significant Change auf Rick Davies’ «Monitoring and Evalutation NEWS»: