Jak wygląda badanie skuteczności szkoleń na polskim rynku? Zazwyczaj kończy się na wypełnieniu “ankiety zadowolenia”, w której firma szkoleniowa pyta uczestników o ocenę:

• treści szkolenia (zawartość merytoryczna wykładów)
• przygotowania merytorycznego trenera
• atrakcyjności przedstawianych treści (różnorodność metod szkoleniowych)
• organizacji szkolenia

Zgodnie z koncepcją oceny efektywności szkoleń Kirkpatricka, badanie subiektywnej reakcji uczestników na szkolenie jest bardzo istotne. Negatywna reakcja uczestników szkolenia prawie zawsze wiąże się z pogorszeniem procesu uczenia się. Niezadowolenie ze szkolenia ma wpływ na motywację uczestników do przyswajania wiedzy i uczenia się nowych umiejętności. Najczęstszy błąd trenerów i firm szkoleniowych polega na tym, że po uzyskaniu wysokich ocen w „ankietach zadowolenia” wnioskują o skuteczności przeprowadzonego szkolenia. Nic bardziej mylnego. Pozytywny odbiór szkolenia nie gwarantuje właściwego przyswajania wiedzy. Traktowanie wysokich ocen w ankiecie po szkoleniu jako wskaźnika efektywnego szkolenia prowadzi do błędnych wniosków. Nadal nie wiemy, czy założone cele zostały osiągnięte.

Na pierwszym poziomie ewaluacji szkolenia stosujemy zazwyczaj ankietę badającą zadowolenie uczestników. Ankieta jest rozdawana zwykle tuż przed zakończeniem zajęć i wypełniana w ciągu 3-5 minut. Opinie w niej wyrażone w dużej mierze zależą od nastroju uczestników. Ocena szkolenia jest więc ukształtowana pod wpływem subiektywnych odczuć. Duży wpływ na odczucia uczestników oprócz wartości merytorycznej szkolenia mają:

• atmosfera podczas całego szkolenia
• standard ośrodka lub sali szkoleniowej
• atrakcyjność programu oferowanego w tzw. czasie wolnym
• wcześniejsze doświadczenia szkoleniowe uczestnika
• oczekiwania uczestnika
• kultura organizacji zlecającej szkolenie
• wiedza i doświadczenie uczestników
• nabyte lub wrodzone preferencje co do sposobu uczenia się

Subiektywne odczucia będą miały wpływ szczególnie na ocenę dwóch elementów: programu szkoleniowego i trenera.

Uczestnik, który spotyka się z nowymi dla siebie zagadnieniami może mieć problem z weryfikacją zawartości merytorycznej szkolenia. Nie jest w stanie określić przydatności poznanego materiału w swojej codziennej pracy.

Jeszcze trudniej jest, kiedy prezentowane treści szkolenia są niezgodne z dotychczasowym działaniem i postawą pracownika. Z moich obserwacji wynika, że konfrontowanie własnych sposobów działania z nowopoznanymi technikami często powoduje opór przed przyjęciem nowej wiedzy, a co za tym idzie i umiejętności. Im więcej rozbieżności, tym trudniej uczestnikowi być „zadowolonym” ze szkolenia. Przyczyną tej zależności jest zapewne zjawisko dysonansu poznawczego. Istota tego zjawiska polega na pojawieniu się negatywnego napięcia w sytuacji, gdy człowiek spotyka się z dwiema sprzecznymi z sobą myślami lub sądami. Szczególnie dotyczy ono postaw i zachowań. Wyobraźmy sobie, że podczas szkolenia przedstawiamy uczstnikom wiedzę i umiejętności z zakresu motywowania. Jeśli w firmie panuje kultura autokratycznego zarządzania, tendencje do karania oraz motywowanie finansowe, trudno będzie przekonać uczestników do skuteczności oddziaływania metod pozafinansowego motywowania. Oba te elementy poznawcze są przeciwstawne. Uczestnik przeżywa stan dysonansu poznawczego i dąży do jego zredukowania. W takiej sytuacji człowiek zazwyczaj odrzuca jedną z opinii i najczęściej pozostaje przy swoich dotychczasowych sądach. Jeśli postawa jest silna a zachowania długotrwałe, to trudniej je zmienić podczas jedno- lub dwudniowego warsztatu. Subiektywna opinia uczestnika na temat szkolenia najczęściej będzie negatywna (szkolenie nieprzydatne, nie przystające do specyfiki firmy). W tym przypadku, gdybyśmy ocenili szkolenie jedynie na poziomie reakcji uczestników otrzymalibyśmy zafałszowane wyniki. Może się bowiem okazać, że uczestnik rzeczywiście nie jest zadowolony ze szkolenia, ale posiadł wiedzę, którą założyliśmy w celach. Kolejne etapy ewaluacji pozwolą nam na zdiagnozowanie: jak zmieniła się wiedza, umiejętności i postawy uczestników, jakie są efekty szkolenia dla organizacji.

W przypadku pozytywnej oceny szkolenia również nie wiemy co ono zmieniło w uczestnikach i w organizacji.

Ogromny wpływ na wynik ankiety ewaluacyjnej ma sposób, w jaki poszczególni uczestnicy szkolenia postrzegają osobowość trenera. Analizując ankiety zwrotne po szkoleniu można zauważyć wyraźną korelację między sympatią lub antypatią do szkolącego a oceną programu i umiejętności przekazywania wiedzy. Wpływa na to efekt pierwszego wrażenia i efekt halo („aureoli” lub „diabelski”). Jeśli trener zrobi dobre wrażenie na początku spotkania i wywoła pozytywne odczucia, istnieje duże prawdopodobieństwo, że obserwujący go ludzie będą skłonni interpretować jego działania zgodnie ze swoim nastawieniem. Co więcej, będą poszukiwali w jego zachowaniu potwierdzenia dla wydanego już przez siebie sądu (jest to związane zarówno z efektem halo jak i działaniem dysonansu poznawczego). Okazuje się, że duży wpływ na ocenę szkolenia przez uczestników ma tzw. efekt świeżości (lepiej zapamiętujemy treści podane jako ostatnie). Ocena następuje bezpośrednio po szkoleniu, dlatego atrakcyjność ostatnich godzin szkolenia wpływa na wyższe oceny w ankietach.

Ankiety badają więc jedynie stopień satysfakcji uczestników z jakości usług świadczących przez firmę szkoleniową. Ten pomiar reakcji jest istotny z kilku powodów:

dostarcza opinii, które pomagają w ocenie programu
dostarcza sugestii, które mogą mieć wpływ na udoskonalenie programów
informuje uczestników, że ich opinie są istotne w procesie szkoleniowym
informuje uczestników, że zadaniem trenera jest pomoc w podniesieniu ich kwalifikacji
informuje uczestników, że trener kontroluje efektywność szkoleniadaje informacje, które możemy przekazać osobom bezpośrednio zainteresowanym przebiegiem szkolenia (np. bezpośredni przełożeni)

Pamiętajmy, że uczestnicy szkolenia są naszymi klientami, więc ich satysfakcja jest jednym najistotniejszych celów naszego działania.

Jak przygotować ankietę, aby otrzymać wartościowe informacje?

Odwołam się do rad Donalda L. Kirkpatricka, które zamieścił w swojej książce „Ocena efektywności szkoleń”.

Wytyczne procesu oceny reakcji:

• Określ, czego chcesz się dowiedzieć
• Zaprojektuj formularz pozwalający zliczać reakcje
• Zachęcaj do prezentowania pisemnych sugestii oraz opinii
• Postaraj się uzyskać 100% zwrotów
• Postaraj się, aby odpowiedzi były szczere
• Ustanów akceptowalny poziom
• Dokonaj pomiaru reakcji w stosunku do ustanowionych standardów, podejmij odpowiednie działania
• W razie potrzeby poinformuj wybrane osoby o odnotowanych reakcjach

Przykład formularza oceny (źródło: Kirkaptrick)

Trener____________________________________ Temat____________________________

W jaki sposób prezentowany temat odpowiadał twoim potrzebom oraz zainteresowaniom?
¡ w ogóle nie odpowiadał

¡ w niewielkim stopniu

¡ bardzo

Jaki był stosunek czasu prezentacji do ćwiczeń (dyskusja, case study, odgrywanie ról)?
¡ zbyt długa prezentacja

¡ odpowiedni

¡ zbyt dużo ćwiczeń

Jak oceniasz terenera?

znakomicie

bardzo dobrze

dobrze

dostatecznie

Słabo

a) pod kątem określania celów

b) pod kątem podtrzymywania zainteresowania słuchaczy

c) pod kątem komunikacji

d) pod kątem korzystania z pomocy dydaktycznych

e) pod kątem budowania i utrzymywania przyjaznej atmosfery

Jak ogólnie oceniasz trenera?
¡ znakomicie

¡ bardzo dobrze

¡ dobrze

¡ dostatecznie

¡ słabo

Co mogłoby przyczynić się do zwiększenia efektywności szkolenia?
Dla naszych Klientów szkolenie jest inwestycją, więc decydentów interesuje jak nakłady finansowe przekładają się na rzeczywiste efekty szkolenia w obszarze wiedzy, umiejętności i postaw. Chcą wiedzieć, jakie kompetencje nabyli ich pracownicy i jak przełożą się one na wyniki firmy.

Zbadanie poziomu satysfakcji uczestników szkolenia takich informacji nie daje. Nie znaczy to jednak, że mamy rezygnować z badania reakcji uczestników na szkolenie. Jest on wstępem do analizy efektywności szkolenia. Wyniki ankiet mogą nabierają większego znaczenia, kiedy przeprowadzimy kolejne etapy oceny:

- Poziom uczenia się – przyswojenie wiedzy, umiejętności, opanowania procedur, technik, procesów lub zmiany postaw.

- Poziom zachowań – zastosowanie wiedzy i umiejętności w realnych sytuacjach zawodowych.

- Poziom wyników – wpływ szkolenia na konkretne wskaźniki biznesowe (wielkość sprzedaży, procent redukacji kosztów, liczba reklamacji, średni czas rozmowy z klientem itp.)

- Poziom zwrotu z inwestycji – dotyczy finansowego efektu szkolenia dla firmy.

- Poziom korzyści niemateriałnych – wpływ szkolenia na inne wartości firmy (praca zespołowa, dyscyplina pracy, satysfakcja pracowników, zmniejszenie absencji w pracy).

Literatura godna polecenia:

D.L.Kirkpatrick „Ocena efektywności szkoleń” , Wydawnictwo Studio EMKA, Warszawa 2001

J.J.Philips, R.D.Stone „Mierzenie wyników szkoleń” Oficyna Wolters Kluwer, Warszawa 2011

P.P.Philips, J.J.Philips, D.R.Stone, H.Burkett „Zwrot z inwestycji w szkolenia i rozwój pracowników. Praktyczny podręcznik wdrażania modelu ROI”, Oficyna Wydawnicza Wolters Kluwer, Warszawa 2009