Beitragsreihe zur Evaluierung von Seminaren: Der 5-Stufen-Evaluationsprozess nach Phillips

Personalentwicklung bedeutet immer finanzielle und zeitliche Investitionen. Umso wichtiger ist es, die Güte und die nachhaltige Wirksamkeit der Maßnahmen sicherzustellen und zu bewerten. Die gängigen Modelle dazu werden in dieser Beitragsreihe vorgestellt.

Als Grundlage für den 5-Stufen-Evaluationsprozess nach Phillips diente das Vierebenen-Evaluationsmodell von Kirkpatrick, welches bereits im vorherigen Artikel vorgestellt wurde. Phillips begründet die Ergänzung des Modells von Kirkpatrick um eine fünfte Stufe damit, dass die Programmkosten nicht exakt bemessen werden. Diese werden in Stufe 5 in Relation zu dem monetären Nutzen gesetzt und schließen mit der Ermittlung des ROI und der Erstellung eines Ergebnisberichts ab.

Folgende Schritte sind für die Ermittlung des ROI relevant:

• Ziele der Bildungsmaßnahme sowie die Ziele der Evaluation festhalten
• Daten auf der Reaktionsebene von Kirkpatrick (z.B. Zufriedenheit) messen
• Daten auf der Lernebene durch z.B. Wissenstests ermitteln
• Datenerfassung nach dem Training: Hat der Transfer in den Berufsalltag bei den Teilnehmern stattgefunden und dieser sich auf Geschäftskennzahlen ausgewirkt.
• Isolierung der Effekte: In welchem Ausmaß stehen die Veränderungen von Geschäftskennzahlen mit der trainingsbedingten Verhaltensänderung im Zusammenhang?

Strategien, die die Trainingseffekte von anderen Einflussfaktoren isolieren:

Strategie 1: Phillips empfiehlt als genaueste Methode zur Isolierung von Trainingsauswirkungen die Verwendung von Kontrollgruppen, welche willkürlich zusammengestellt werden. Eine Gruppe absolviert das Training und die andere Gruppe bleibt ungeschult. Dadurch soll sichergestellt werden, dass eine sich potentiell einstellende Leistungssteigerung der Mitarbeiter kausal mit der Maßnahme in Verbindung steht.

Strategie 2: Die Teilnehmer werden selbst um eine Einschätzung zu dem Zusammenhang zwischen Leistungsveränderung und dem Training gebeten. Meistens haben diese ein gutes Gespür dafür, wie hilfreich eine Weiterbildungsmaßnahme für die berufliche Weiterentwicklung gewesen ist.

Strategie 3: In Ergänzung zu Strategie 2 ist es sinnvoll, auch die Vorgesetzten der Teilnehmer die Auswirkungen des Trainings auf ihre Produktivität einschätzen zu lassen. In bestimmten Fällen können die Vorgesetzten die Einflussfaktoren auf die Leistungsfähigkeit ihrer Mitarbeiter auch besser einschätzen.

Strategie 4: Phillips und Schirmer raten von einer Einschätzung durch das Top-Management ab, da diese zu weit entfernt von der beruflichen Praxis der Mitarbeiter sind und somit nicht alle Einflussfaktoren eines Trainings im Blick haben.

Strategie 5: Gelegentlich können auch interne oder externe Experten die Trainingsauswirkungen auf die Leistungsfähigkeit der Belegschaft einschätzen. Als Vorteil dieser Datenquelle nennen die Autoren die schnelle Verfügbarkeit des Inputs, verweisen aber auch darauf, dass die Glaubwürdigkeit in der Reputation der Experten begründet ist.

Kritik

Bei der Implementierung des ROI-Prozesses in der betrieblichen Praxis bedeutet dies, dass zunächst die Mitarbeiter in möglichst homogene Gruppen eingeteilt werden müssen. Aus praktischer Sicht ist die Erstellung von deckungsgleichen Kontrollpunkten nahezu unmöglich, da es eine Vielzahl an Faktoren wie z.B. Verkaufsförderung und das Wettbewerbsumfeld, gibt, die Einfluss auf die Leistung einer Kontrollgruppe haben kann. Zudem kann das Management eines Unternehmens nicht gewillt sein, zunächst darauf zu verzichten einen Teil der Belegschaft nicht zu trainieren, nur um den Effekt einer Maßnahme zu überprüfen.

Ein weiteres Problem bei der Einteilung von Kontrollgruppen ist die Kontaminierung von Kontrollgruppen mit dem in den Trainings vermitteltem Wissen. Dies kann geschehen, wenn entweder Trainingsteilnehmer Trainingsinhalte an die Kontrollgruppen weitergeben, oder indem Personen aus den Kontrollgruppen im beruflichen Alltag beginnen, die Verhaltensweisen der geschulten Kollegen zu imitieren.

Daniel Wehmeier und Axel Hamann

Ihr Best Practice Institute Team

http://www.best-practice-institute.com