Beitragsreihe zur Evaluierung von Seminaren: Zusammenfassung

Personalentwicklung bedeutet immer finanzielle und zeitliche Investitionen. Umso wichtiger ist es, die Güte und die nachhaltige Wirksamkeit der Maßnahmen sicherzustellen und zu bewerten. Die gängigen Modelle dazu werden in dieser Beitragsreihe vorgestellt.

Berufliche Weiterbildung ist für den Unternehmenserfolg enorm wichtig. Doch nach wie vor existiert in fast allen Unternehmen das Problem des Lerntransfers. Nicht nur Führungskräfte müssen die Weiterbildung ihrer Mitarbeiter als Handlungsfeld entdecken, sondern auch die Mitarbeiter müssen die Erkenntnis gewinnen, dass Lerntransfer nur mit persönlicher Anstrengung und Hartnäckigkeit zu erreichen ist.

Die bedeutendsten Einflussfaktoren von Transferproblemen sind Teilnehmer, Trainingsaufgaben und die Arbeitsumgebung. Da gute Vorsätze aus dem Training im beruflichen Alltag unter Zeitdruck schnell vergessen werden, ist ein Eingreifen der Vorgesetzten bei der Nachhaltung von Schulungsinhalten für den Lerntransfer erforderlich.

Jedes abgeschlossene Training bedarf daher einer genauen Überprüfung, ob durch das Training nachhaltig Inhalte umgesetzt werden konnten. In den letzten Newslettern haben wir drei Evaluationsmodelle von Weiterbildungsmaßnahmen vorgestellt.

Das Vierebenen-Evaluationsmodell von Kirkpatrick ist das klassische Model der Trainingsevaluation. Er untergliedert die Evaluation auf vier Ebenen:

Ebene 1: Reaktionsebene: „Wurde das Training von den Teilnehmern positiv bewertet?“
Ebene 2: Lernebene: „Konnten die Teilnehmer die vermittelten Trainingsinhalte aufnehmen?“
Ebene 3: Verhaltensebene: „Konnten die Lerninhalte auf den beruflichen Alltag übertragen werden?“
Ebene 4: Organisationsebene: „Wurden Unternehmenskennzahlen positiv beeinflusst?“

Die Evaluation von Weiterbildung auf Basis des Modells von Kirkpatrick birgt bei der praktischen Umsetzung mehrere Unsicherheiten: Was soll mit welchen Methoden auf welcher Ebene von wem, mit welcher Güte und wann gemessen werden? Kann das Ergebnis bzw. die Wirkung eindeutig auf die Weiterbildung zurückgeführt werden?

Das nächste vorgestellte Modell beschreibt den 5-Stufen Evaluationsprozess nach Phillips, der das Vierebenen-Evaluationsmodell um eine Stufe erweitert hat.
Phillips begründet die Ergänzung des Modells von Kirkpatrick damit, dass die Programmkosten nicht bemessen werden. Diese werden in Stufe 5 in Relation zu dem monetären Nutzen gesetzt und schließt mit der Ermittlung des ROI für die Weiterbildungsmaßnahme ab.

Bei der Implementierung des ROI-Prozesses in der betrieblichen Praxis bedeutet dies, dass zunächst die Mitarbeiter in möglichst homogene Gruppen eingeteilt werden müssen. Aus praktischer Sicht ist das nur schwer möglich, da es eine Vielzahl an Faktoren wie z.B. Verkaufsförderung und das Wettbewerbsumfeld, gibt, die Einfluss auf die Leistung einer Kontrollgruppe haben kann. Zudem kann das Management eines Unternehmens nicht gewillt sein, zunächst darauf zu verzichten, einen Teil der Belegschaft nicht zu trainieren, nur um den Effekt einer Maßnahme zu überprüfen.

Das letzte Modell der Utility Analysis soll den Nutzenzuwachs einer Bildungsmaßnahme in Geldeinheiten ausdrücken, indem die Leistungssteigerung der Mitarbeiter im Anschluss einer Maßnahme gemessen wird. Auch bei der Utility Analysis wird mit Kontrollgruppen in einer experimentellen Versuchsanordnung gearbeitet, so dass bei einer willkürlichen Selektion der Gruppen und bei ansonsten gleichen Umwelteinflüssen, eine eintretende Leistungsverbesserung der geschulten Mitarbeiter auf das Training zurückgeführt werden kann.

Die Verwendung von experimentellen Kontrollgruppen bei der Utility Analysis wird empfohlen, womit sich die diesbezügliche Kritik am ROI-Prozessmodell auf die Utility Analysis übertragen lässt. Darüber hinaus erfordert die Utility Analysis ein umfangreiches statistisches, testtheoretisches, sowie forschungsmethodisches Vorwissen, welches von Mitarbeitern aus der Personalabteilung nicht vorausgesetzt werden kann. Es wird eine längere Vorbereitungsphase empfohlen, um sich in die komplexe Funktionsweise der Utility Analysis einzuarbeiten. Dies sind wesentliche Punkte die eine Umsetzung in der betrieblichen Praxis erschweren.

Aus diesen Erkenntnissen lässt sich ableiten, dass die Evaluierung von Seminaren eine besondere Herausforderung ist, da alle oben genannten Modelle mit Schwierigkeiten verknüpft sind. Um den Lerntransfer zu sichern, bekommt neben dem externen Weiterbildungsanbieter besonders den Führungskräften, Personalern und Teilnehmern eine besondere Rolle zu. Die Weiterbildungsanbieter können z.B. die Trainingskonzeption kunden- und transferorientiert gestalten. In Ergänzung kann eine Transferberatung in Form eines Coachings am Arbeitsplatz von den Trainern angeboten werden. Die Führungskräfte können den Transfer des Gelernten unterstützen, indem Sie in Gesprächen die Lernziele und das Gelernte auf den Arbeitsalltag transferieren und Freiräume zur Umsetzung des Neuen und Gelernten schaffen. Den Personalern obliegt die Seminar-Evaluierung und eine daraus resultierende Verbesserung des Weiterbildungsangebots. Und natürlich ist der Lerntransfer umso größer je motivierter die Teilnehmer sind und je größer die Wertschätzung von Weiterbildung im Unternehmen ist.

Daniel Wehmeier und Axel Hamann

Ihr Best Practice Institute Team

http://www.best-practice-institute.com