Jak sprawdzić zgodność ocen w wartościowaniu stanowisk

Wspólna skala nie gwarantuje wspólnego rozumienia roli. Warto sprawdzić oceny wykonane niezależnie, zanim różnice zostaną ukryte w jednym uzgodnionym wyniku.

Ten przewodnik opisuje procedurę i obliczenia. Komentarz o tym, dlaczego różnica ocen jest cenną informacją, jest w tekście Zgodność ocen w wartościowaniu.

Protokół niezależnej oceny

Niezależność jest warunkiem, bez którego reszta nie ma sensu. Dwie osoby, które najpierw porozmawiały, wpiszą podobne wyniki i pokażą zgodność, która nie istniała przed rozmową.

1. Ten sam materiał. Każdy oceniający dostaje ten sam opis stanowiska, tę samą skalę i te same definicje poziomów. Różnica w materiale wejściowym tłumaczy każdą różnicę ocen i żadnej nie pozwala zinterpretować.
2. Osobno i bez wglądu w cudze wyniki. Do zamknięcia rundy nikt nie widzi ocen pozostałych osób.
3. Uzasadnienie przy każdym wyniku. Zdanie wskazujące fragment opisu, na którym oparto poziom. To ono, bardziej niż sama liczba, jest treścią uzgodnień.
4. Kompletność przed porównaniem. Pole ocenione tylko przez jedną osobę nie wchodzi do porównania. Liczymy je osobno i raportujemy, bo brak oceny jest informacją o materiale.
5. Ocena ról zamiast osób. Oceniamy stanowisko opisane w dokumencie. Wiedza o tym, kto je zajmuje, zmienia wynik i nie powinna być dostępna.

Porównania parami

Jednostką porównania jest pole, czyli jedno kryterium jednej roli u jednej pary oceniających. Przy trzech rolach, czterech kryteriach i dwóch osobach porównań jest 12. Przy trzech osobach każda para liczy się osobno, więc liczba porównań rośnie szybciej niż liczba oceniających.

Trzy liczby opisują całość:

• Zgodność dokładna: odsetek pól, w których obie osoby wpisały tę samą wartość.
• Zgodność w granicach jednego poziomu: odsetek pól różniących się najwyżej o jeden poziom. Przy skali pięciostopniowej to zwykle różnica bez konsekwencji.
• Średnia różnica bezwzględna: przeciętna wielkość różnicy ocen, liczona bez znaku, żeby różnice w przeciwne strony nie skasowały się nawzajem.

Zgodność dokładna a rzetelność

Zgodność dokładna mówi, ile razy dwie osoby wpisały to samo. Jest to opis danych, które macie.

Rzetelność w sensie psychometrycznym odpowiada na inne pytanie: ile wyniku pochodzi z ocenianej roli, a ile z tego, kto akurat oceniał. Policzenie jej wymaga wyboru modelu, decyzji o zgodności bezwzględnej albo względnej oraz odpowiedzi na pytanie, czym jest populacja oceniających w organizacji, w której oceniają trzy konkretne osoby. Współczynnik podany bez tych rozstrzygnięć nabiera powagi, na którą nie zapracował.

Dlatego narzędzie podaje zgodność i średnią różnicę, a słowa „rzetelność”, „ICC” ani „kappa” w nim nie padają.

Przykład obliczenia

Dane demonstracyjne z kalkulatora: trzy role, cztery kryteria w skali 1-5 o równych wagach, dwoje oceniających.

Pozostałe dziewięć pól jest identycznych. Wyniki:

• 12 porównanych pól, zero pól ocenionych jednostronnie.
• Zgodność dokładna: 75% (9 z 12).
• Zgodność w granicach jednego poziomu: 100%.
• Średnia różnica bezwzględna: 0,25 poziomu.

Wrażliwość klasyfikacji stanowisk

Tu zaczyna się część, którą łatwo przeoczyć. Przy 75% zgodności i żadnej różnicy większej niż jeden poziom wynik każdej z trzech ról i tak się przesunął:

Czy to ma znaczenie, zależy wyłącznie od tego, gdzie leżą granice kategorii pracowników. Przy granicach na pełnych punktach żadna z tych ról nie zmienia kategorii i różnica jest ciekawostką. Przy granicy między pełnymi punktami, na przykład na 2,6, Rola 1 dostaje inną kategorię w zależności od tego, kto ją oceniał, przy identycznej zgodności 75%.

Wniosek jest praktyczny: zgodność ocen czyta się razem z siatką granic. Sam odsetek nie mówi, czy wynik jest stabilny tam, gdzie zmienia pieniądze.

Własne oceny policzycie w kalkulatorze zgodności ocen stanowisk: po wklejeniu ocen dwóch lub trzech osób pokazuje zgodność, średnią różnicę oraz listę obszarów wymagających uzgodnienia, uporządkowaną od największej różnicy. Dane zostają w przeglądarce.

Lista kontrolna spotkania uzgodnieniowego

1. Obszary wymagające uzgodnienia, uporządkowane od największej różnicy, bez nazwisk przy wynikach.
2. Przy każdym obszarze: fragment opisu, na który powołał się każdy oceniający.
3. Pytanie o opis przed pytaniem o ocenę. Jeżeli opis dopuszcza dwa odczyty, poprawiamy opis, a potem oceniamy ponownie.
4. Sprawdzenie, czy różnica przekracza granicę między kategoriami pracowników. Jeżeli nie przekracza, zapisujemy ją i idziemy dalej.
5. Decyzja i jej uzasadnienie zapisane przy roli. Pamięć uczestników nie wystarcza.
6. Kryteria, na których różnice się powtarzają, wracają do definicji poziomów. Powtarzalna różnica jest cechą skali.
7. Role, których nie udało się uzgodnić, zostają oznaczone jako otwarte. Uzgodnienie na siłę zamienia różnicę ocen w liczbę, która wygląda pewnie.

Ograniczenia

Zgodność dwóch osób nie mówi nic o trafności. Obie mogą czytać opis tak samo i obie mogą go czytać źle. Trafność sprawdza się wobec innych informacji o roli. Drugi oceniający tego nie zastąpi.

Mała liczba ról daje niestabilny odsetek. Przy 12 porównaniach jedno pole waży ponad 8 punktów procentowych, więc różnica między 75% a 83% może być jednym polem.

Kolejność ocen wpływa na oceny. Osoba, która oceniła 15 ról pod rząd, ocenia szesnastą inaczej niż pierwszą. Warto różnicować kolejność między oceniającymi.

Uzgodnienia są osobnym krokiem. Narzędzie pokazuje, gdzie się różnicie. Ustalenie, dlaczego, i decyzja, co z tym zrobić, są rozmową, którą trzeba odbyć.