Proktoring testów online. Konieczność, czy zbędny gadżet?

Czym jest proktoring online?

Jeśli myślisz, że podobna sytuacja nie może wydarzyć się w Twojej firmie, szkole, czy na uczelni, mylisz się.

Rekrutacja pracowników, okresowe szkolenia, testy po kursach online, certyfikacje i inne procesy polegają dziś coraz bardziej na ocenianiu online. Każda organizacja, która używa zdalnych testów może stanąć przed problemem pogorszenia wiarygodności wyników przez ściąganie.

Aby były efektywne, testy online muszą dawać wiarygodne wyniki. Dawać obraz rzeczywistej wiedzy i umiejętności rozwiązujących. Oszukiwanie online, w tym ściąganie, to największe zagrożenie dla wiarygodności wyników. Ma szkodliwy wpływ na wydajność każdej firmy i należy się nim odpowiednio zająć.

Osoby, które chcą uzyskać dobre wyniki bez wysiłku korzystają z różnych metod ściągania. O tym, jak zapewnić wiarygodne wyniki testów piszemy szczegółowo w innym artykule na blogu.

Jednym ze sposobów jest proktoring, czyli nadzorowanie zdalnych ewaluacji przez specjalne aplikacje i/lub osoby.

Proktoring oparty o sztuczną inteligencję

Proktoring oparty o sztuczną inteligencję wykrywa próby ściągania. Można ustawić go, by wysyłał ostrzeżenie lub kończył test rozwiązującemu, który wykorzystuje popularne metody ściągania podczas testów online.

Choć platformy, które oferują zdalne zabezpieczenia różnią się szczegółami, dysponują kilkoma głównymi technikami zabezpieczania testów:

• Weryfikacja tożsamości
  Rozpoznawanie twarzy pozwala programom do proktoringu na ustalenie, czy osoba przed kamerą to ta sama, która powinna zdawać test. SI skanuje twarz i sprawdza jej zgodność z dokumentem tożsamości, który zdający musi pokazać do kamery. To szczególnie ważne, gdy dotyczy jednorazowego testu, po którym nie będzie spotkania ani rozmowy podsumowującej.
  
  Organizatorzy testu mogą ustawić aplikację tak, by wymagała potwierdzenia tożsamości kilka razy w trakcie testu, co zwiększa bezpieczeństwo i wiarygodność wyników. SI powiadamia też proktora, gdy wykryje możliwe naruszenie zasad. Wówczas to żywa osoba podejmuje ostateczną decyzję. Weryfikacja tożsamości to najlepszy sposób na wykrycie prób ściągania przez podstawioną osobę.
  
  

• Wykrywanie obecności zdającego i innych osób
  Sztuczna inteligencja z łatwością zauważa, gdy rozwiązujący nie jest widoczny w obrazie z kamery lub jest widoczny częściowo. W podobny sposób taki program może wykryć obecność innych osób.
  
  

• Wykrywanie kierunku patrzenia
  Ta opcja pozwala na wykrywanie kiedy rozwiązujący nie patrzy na ekran. Jeśli trwa to dłuższą chwilę, osoba zdająca test może bowiem korzystać z jakiejś formy ściągawki, niewidocznej na obrazie z kamery.
  
  

• Wykrywanie głosu
  Mniej uczciwi rozwiązujący próbują czasem oszukiwać przy pomocy innych osób, które dyktują im rozwiązania zadań i odpowiedzi na pytania. Głośne czytanie pytań może wskazywać na taką właśnie próbę ściągania. Program może wykrywać określone frazy, na przykład “Hej, Siri”, czy “OK, Google”, które włączają wyszukiwanie głosem.
  
  Programy proktoringowe mogą po wykryciu głosu zdających test, czy też innych osób, powiadamiać o tym proktorów.
  
  

• Wykrywanie smartfonów i innych urządzeń
  Urządzenia elektroniczne znacznie ułatwiają ściąganie. Platformy do zdalnego proktoringu są w stanie wykryć używanie kalkulatora, smartfona, smartwatcha, tabletu, słuchawek i innych gadżetów.
  
  

• Wykrywanie współdzielenia ekranu i maszyny wirtualnej
  Inną, popularną metodą ściągania na testach i egzaminach online jest używanie specjalnego oprogramowania. Zdający mogą włączać aplikacje takie jak TeamViewer, Skype oraz podobne platformy pozwalające na współdzielenie ekranu. Mogą też użyć maszyny wirtualnej lub cienkiego klienta (thin client) by ktoś inny rozwiązał test za nich.
  
  Podczas egzaminu ze zdalnym proktoringiem można wykryć używanie takich programów i natychmiast powstrzymać nieuczciwe praktyki.
  
  

• Blokada przeglądarki
  Aby uniemożliwić wyszukiwanie odpowiedzi w internecie, platformy do zdalnego proktoringu mogą stworzyć do tego bezpieczne środowisko. Ogranicza ono dostęp do stron www oraz skrótów klawiszowych. Rozwiązujący nie mogą w trakcie zdawania korzystać z kopiuj-wklej, ani wyszukiwarek, czy innych aplikacji.

Podstawy proktoringu online zrozumiesz, oglądając film dotyczący zabezpieczenia przez SI + żywych proktorów. Firma Examus dostarcza rozwiązania z zakresu surowych metod proktoringu, używanych w trakcie ważnych egzaminów w edukacji oraz w procesach certyfikacji biznesowej (film w języku angielskim).

Kim jest proktor?

Proktoring oparty o SI może powiadomić o możliwym ściąganiu proktora. W świecie online jest to osoba, która nadzoruje test online, sprawdza zapisy z kamer po zakończeniu egzaminu i reaguje na zgłoszenia ze strony SI. Przy tej metodzie zabezpieczania, to człowiek, nie algorytm, podejmuje ostateczną decyzję o tym, czy dane zachowanie było nieuczciwe.

Dlaczego warto korzystać z surowego proktoringu online? 5 głównych korzyści.

Czy proktoring testów online to dla firm i organizacji edukacyjnych niezbędny środek bezpieczeństwa? A może to tylko modna nowinka, nadużywany środek dozoru, który bardziej szkodzi, niż pomaga? Spójrzmy na argumenty obu stron sporu i ustalmy, czy proktoring testów online jest konieczny.

1. Niezbędny środek bezpieczeństwa
   Pierwszy argument za proktoringiem mówi o tym, że zwiększa on wiarygodność wyników. Zdalny proktoring pomaga upewnić się, że zdający są tym, za kogo się podają i że nie ściągają.
   
   Jest to szczególnie ważne w biznesie, gdzie wiarygodność wyników osiąganych przez pracowników to konieczność. Fałszywe rezultaty zmniejszają efekty testów i mogą prowadzić do tworzenia nierówności w miejscu pracy.
   
   

2. Inteligentne zabezpieczenia
   Drugim argumentem za proktoringiem jest to, że pomaga on organizacjom dostosować się do zmian wymagań i zapewnia rozwiązującym lepsze doświadczenia.
   
   Jeśli firma zmienia zasady obowiązujące na testach online, proktoring można łatwo uaktualnić, by odzwierciedlał zmiany. To z kolei wpływa na bezpieczeństwo i wiarygodność wyników. To bardzo ważne w firmach z wysokim poziomem współzawodnictwa i tam, gdzie gra toczy się o wysokie stawki.
   
   

3. Większa wygoda podczas ewaluacji
   Trzeci argument za proktoringiem polega na tym, że jego używanie ułatwia testowanie online co jest dla rozwiązujących wygodną formą sprawdzania umiejętności i wiedzy.
   
   Ewaluacja, w której stosujemy zdalny proktoring, przy pomocy SI, proktorów, lub obu tych rozwiązań, to korzyść zarówno dla jej organizatorów, jak i rozwiązujących. To wygoda dla organizacji biznesowych, jak i szkolnictwa, na każdym jego poziomie.
   
   

4. Rozwiązanie optymalne kosztowo
   Czwartym argumentem za proktoringiem jest jego opłacalność. Używanie sztucznej inteligencji do zabezpieczenia testu online zmniejsza liczbę zaangażowanych osób. Te, które pracują, ograniczają zaś swoje zadania do reagowania na zgłoszenia ze strony systemu.
   
   Ważna jest też skalowalność rozwiązania. Dzięki niej organizacja płaci tylko za to, czego używa. Proktoring to również automatycznie generowane, szczegółowe raporty i analizy. Nie dotyczą one tylko prób ściągania, ale też wyników całej grupy.
   
   

5. Oszczędność czasu
   Piąty i ostatni argument za stosowaniem proktoringu zdalnego to związany z nim wzrost efektywności. Sztuczna inteligencja jest w stanie nadzorować jednocześnie dziesiątki rozwiązujących. Poprawia też komfort pracy proktorów. Dzięki niej oglądają wyłącznie fragmenty nagrania testu oznaczone jako możliwe ściąganie.
   
   Wszystko to tworzy korzystne dla rozwiązujących środowisko, w którym nie muszą oni długo czekać na wyniki swoich ewaluacji.

Czy to na pewno dobre rozwiązanie? 4 powody, by nie używać proktoringu online

1. Narusza prywatność rozwiązujących
   Głównym argumentem przeciwko stosowaniu zdalnego proktoringu jest to, że może on naruszać prywatność i powodować stres. Wielu rozwiązujących czuje niepokój na samą myśl o tym, że podczas zdawania będą obserwowani przez SI lub proktorów.
   
   Może to mieć negatywny wpływ na odbiór całego procesu zakończonego ewaluacją. Nawet jeśli rozwiązujący dobrze ocenią np. szkolenie lub rekrutację, zakończenie w formie testu z proktoringiem online może zupełnie zmienić ich opinię o całym procesie.
   
   

2. Powoduje dodatkowy stres
   Automatyczny, zdalny proktoring może powodować problemy ze względu na stosowanie sztucznej inteligencji. Powód jest oczywisty. Rozwiązujący mogą uznać, że aplikacja, która ocenia każdy ruch podczas zdawania i szuka prób ściągania “gra przeciwko nim”.
   
   

3. Tworzy barierę wejścia dla osób z niepełnosprawnościami
   Rozwiązujący z zaburzeniami uwagi i problemami z nauką, na przykład ADHD, mogą mieć trudności podczas testu online. Ich zachowanie może być odbierane jako próba ściągania.
   
   Zdalne ewaluacje są dla osób z niepełnosprawnościami bardziej dostępne, niż te tradycyjne, w salach egzaminacyjnych. Jednak zabezpieczanie ich przy pomocy proktorów lub algorytmów może mieć negatywny wpływ na wyniki części rozwiązujących, a przez to nie dawać rzetelnych wyników.
   
   

4. Daje puste obietnice pełnego bezpieczeństwa
   Nawet najbardziej innowacyjne i dokładne rozwiązania oparte o automatyzację nie wykryją wszystkich naruszeń zasad. Im ważniejszy zaś dany egzamin, tym bardziej rozwiązujących będą kusić próby ściągania.
   
   Dlatego podkreślamy, że choć zwiększa on bezpieczeństwo zdalnych testów i wiarygodność uzyskiwanych wyników, proktoring online nigdy nie będzie bezbłędny, a często powoduje więcej szkód niż pożytku.

Jak zabezpieczać egzaminy online: sztuczna inteligencja, proktorzy, czy oba sposoby?

Wiele platform do proktoringu online oferuje:

• rozwiązania automatyczne,

• oparte o SI, sztuczną inteligencję + ocenę jej działania przez proktorów po teście,

• połączenie “myślącego” komputera i pracy proktorów.

Używanie proktoringu online opartego o SI to świetna metoda nadzorowania mniej ważnych testów. Opcja ta jest w pełni automatyczna, nie wymaga dodatkowej pracy człowieka po stworzeniu testu. Takie rozwiązanie świetnie sprawdzi się w zadaniach szkolnych dla szkół podstawowych, a często też średnich. Częste ocenianie w edukacji daje lepszą wiedzę o wiedzy uczniów i nie wymaga dodatkowych metod zabezpieczenia.

Aby zapewnić efektywne i etyczne działanie proktoringu opartego o SI, rozwiązujący muszą wiedzieć, że będą nadzorowani przez sztuczną inteligencję. Lepiej też wyłączyć niektóre opcje, na przykład wykrywanie kierunku patrzenia. Jeśli test odbywa się bez żywego proktora ta funkcjonalność może powodować wiele ostrzeżeń. Nie będzie zaś nikogo, kto mógłby weryfikować ich zasadność.

Z kolei w przypadku testów nadzorowanych przez proktorów, największy problem to zwykle ich dostępność. Aby nadzór nad testem był skuteczny, stosunek rozwiązujących do proktorów nie powinien przekraczać 10:1. Jeśli będzie większy, nadzorujący będą musieli stale przełączać widok między obrazami z wielu kamer.

Możliwe rozwiązanie tego problemu to nagrywanie sesji egzaminacyjnej i ponowne obejrzenie jej po zakończeniu. Zajmuje to jednak proktorom jeszcze więcej czasu, ponieważ do sprawdzenia mają zwykle długie godziny nagrań.

Sztuczna inteligencja powinna zajmować się weryfikacją tożsamości i informowaniem o podejrzanych zachowaniach. Proktorzy powinni zaś nadzorować jej pracę. Najlepiej, gdy ostateczne decyzje o sankcjach za ściąganie podejmuje człowiek, nie algorytm.

Ile kosztuje proktoring online i czy jest wart swojej ceny?

Koszt takiego rozwiązania zdalnego testu zależy od oczekiwanego stopnia bezpieczeństwa. Poziom proktoringu powinien odpowiadać rodzajowi ewaluacji. Inaczej potraktujemy szkolną kartkówkę online, okresowy test w pracy, czy egzamin na zakończenie szkolenia z certyfikatem. Wybierając platformę dla swojej organizacji, weź pod uwagę potrzeby i koszt danego rozwiązania.

Proktoring tylko przy pomocy sztucznej inteligencji - ceny

W przypadku wielu firm oferujących proktoring online wymagana jest jednorazowa płatność przy zawarciu umowy. Opłata wynosi zazwyczaj od około $1.500 - $2.000, niezależnie od wielkości organizacji klienta.

Konieczna jest też płatność z góry za dużą liczbę testów, minimum 1.000. Najniższe ceny dostępne są przy zakupie nie mniej niż 5.000 sesji.

Jeśli instytucja chce oceniać wiedzę i umiejętności z dodatkową warstwą zabezpieczeń, może dać temu “ludzką twarz”, korzystając z proktorów. Jest to możliwe na dwa sposoby.

Pierwszy to wykorzystanie własnych pracowników do wyłapywania prób ściągania przez rozwiązujących. Drugi zaś to działanie zewnętrznych proktorów z firmy proktoringowej. Między tymi metodami są znaczące różnice.

Koszty związane z proktorami wewnętrznymi

Używanie własnych pracowników jako proktorów to tańsze rozwiązanie. Nie wymaga dodatkowych opłat, ponieważ nadzorujący są już pracownikami organizatora testu. Niestety, ich brak doświadczenia może powodować konieczność dodatkowych szkoleń i wydatków.

Koszty związane z proktorami zewnętrznymi

Korzystanie z doświadczonych pracowników firmy proktoringowej gwarantuje większe bezpieczeństwo, ale podnosi koszty. Rozwiązujący mogą też źle odebrać udział w nadzorowaniu ewaluacji osób innych, niż znani im nauczyciele, trenerzy, rekruterzy, czy współpracownicy.

Czy potrzebuję proktoringu do moich testów online?

Proktoring i szpiegowanie oddziela bardzo cienka linia. Pamiętaj, że to rozwiązujący decydują o tym, czy organizator testu online ją przekroczył. Najlepszym wyborem jest więc troska o ich pozytywne wrażenia. Tak naprawdę do większości testów zdalny proktoring nie jest w ogóle potrzebny! Brak sztucznej inteligencji i/lub proktorów patrzących rozwiązującym na ręce.

Najlepiej unikać surowych metod nadzorowania testów semestralnych sumatywnych, związanych z ocenianiem kształtującym oraz w zastosowaniach biznesowych. Na przykład okresowe sprawdziany i kartkówki, czy testy w rekrutacji i szkoleniach firmowych, nie wymagają proktoringu przez SI, ani żywych proktorów. Zabezpieczenia, które będą zbyt surowe mogą prowadzić do oporu rozwiązujących i niechęci w stosunku do proktoringu nawet wtedy, gdy będzie on niezbędny.

W ocenianiu podsumowującym (sumatywnym), na przykład egzaminach na zakończenie klasy, ważnych testach oraz w certyfikacjach biznesowych, poziom bezpieczeństwa powinien być znacznie wyższy. Mimo wszystko, także te ewaluacje można przeprowadzać bez użycia sztucznej inteligencji, czy proktorów. O wiele lepiej jest po prostu stosować rozwiązania takie, jak Technologia Uczciwy Rozwiązujący, dostępna na Testportalu.

Tym sposobem możesz też zablokować rozwiązującym dostęp do testu jeśli opuszczą przeglądarkę zbyt wiele razy. To dobry przykład narzędzia, które zapewnia wysoką wiarygodność wyników i szanuje prywatność rozwiązujących.

Surowe metody proktoringu online - zbędne w większości przypadków

Zdalny proktoring jest dziś bardzo głośnym tematem, zwłaszcza po boomie w czasie COVID-19. To nowa technologia, sławna dzięki swojej powszechności stosowania i wywoływanym w środowisku edukacyjnym kontrowersjom (artykuł New York Times w j. angielskim).

Menedżerowie myślą o proktoringu online jako o niezbędnym zabezpieczeniu testów podczas rekrutacji online, szkoleń, czy certyfikacji. Padają ofiarą działań marketingowych stosowanych przez platformy proktoringowe. Po sprawdzeniu cen oraz dostępnych opcji myślą, że im więcej zapłacą, tym bardziej bezpieczne będą ich testy. Niestety, goniąc za nowinkami nie biorą pod uwagę najważniejszego elementu, wrażeń rozwiązujących.

Ma to miejsce nawet w przypadku ewaluacji, które w ogóle nie wymagają tak poważnego poziomu zabezpieczeń. Ze względu na wysokie ceny takich rozwiązań, bardziej atrakcyjnym pomysłem będzie zastosowanie innej metody zapewnienia wiarygodności wyników testów online. Zamiast surowych metod proktoringu ocierających się o szpiegowanie, lepiej sprawdzą się tu “lekkie”, dostępne od ręki rozwiązania, opisane poniżej.

Podsumowanie. Wybierz proktoring na podstawie swoich potrzeb, a nie ich reklam

Aby używać środków skutecznych, korzystnych cenowo i stawiających na pierwszym miejscu rozwiązujących, wybierz platformę, która spełni Twoje wymagania. Pamiętaj też, że za dużo zabezpieczeń zostanie prędzej czy później odebrane jako szpiegowanie.

Polityka zaufania do rozwiązujących daje zaś o wiele lepsze wyniki. Na najpopularniejszych platformach do oceniania online znajdziesz “lekkie” zabezpieczenia testów. Takie, jak wspomniana Technologia Uczciwy Rozwiązujący, czy inne inteligentne, nieinwazyjne rozwiązania, dające wymierne korzyści. Są świetnie w powstrzymywaniu i wykrywaniu ściągania, a także przystępne cenowo. Rozwiązujący nie postrzegają stosowania tych środków jako naruszenia prywatności, co też jest zaletą.

Ocenianie online w biznesie i edukacji może być o wiele lepszym doświadczeniem dla rozwiązujących, jeśli pozbawimy go zbędnych, surowych metod bezpieczeństwa.

“Lekkie” rozwiązania są lepsze i tańsze. Zapewniają wiarygodności wyników oraz pomagają rozwiązującym skupić się na ich zadaniach i są najlepszą dostępną opcją.