BLOG

Jak připravujeme testy na vysoké školy

Jak připravujeme testy na vysoké školy

Příprava testu pro Národní srovnávací zkoušky zabere déle než rok a podílí se na ní desítky specialistů – akademici, pedagogové ze středních škol, odborníci z praxe i úspěšní řešitelé, kteří v minulých letech test dokončili s percentilem 95 a vyšším. Co je to specifikace, proč neslevíme z pilotáže testů a jak evidujeme využití jednotlivých úloh? Zjistěte, jak ve Scio postupujeme, když vytváříme test.

Koordinátor, garant, oponent, pretestant a další role

Pojďme si na úvod udělat pořádek v obsazení hlavních a vedlejších rolí.

Autor vytváří testové úlohy (otázky). Vychází ze specifikace testu a není na to sám – obvykle se na tvorbě úloh typického testu podílí nižší desítky lidí. Jedná se o mix autorů, kteří rozumí dané oblasti, lidé z vysokých i středních škol, specialisté jako psychologové, právníci, rodilí mluvčí a také ti nejlepší absolventi předchozích ročníků NSZ.

Garant sestavuje specifikaci testu, pomáhá autorům splnit formální požadavky na úlohy, kontroluje korektnost otázek a soulad se specifikací. Je to on, kdo při přípravě testu zpracovává připomínky.

Grafik má na starosti vizuální podobu testu – papírovou i digitální. Jeho úkolem je připravit vzhled, který řešitelům usnadní orientaci.

Koordinátor testu funguje jako projektový manažer. Na začátku vybere garanta, poté se podílí na sestavení specifikace, později oslovuje další specialisty, sestavuje testovací balíčky pro pilotáž a dohlíží na harmonogram prací.

Korektor prochází finální verzi testu, aby v ní nebyly chyby.

Oponent pročítá specifikaci testu a později i úlohy, u kterých hodnotí korektnost, kvalitu i soulad se specifikací. Každý test má jednotky oponentů, ti sepíší své připomínky a předají je garantovi. Není výjimečné, že oponentura probíhá v několika kolech.

Pilotant je obvykle student posledního ročníku střední školy, zástupce cílové skupiny, která bude skládat výsledný test. Učitelé vybraných škol od nás dostanou testovací balíčky, které pilotanti zodpoví. Díky jejich výsledkům zjistíme, jestli jsou úlohy srozumitelné (19letý člověk může chápat text jinak než čtyřicátník). Testy mají v této fázi obvykle pět možných odpovědí, tu v pilotáži nejméně využívanou z testu odstraníme.

Pretestant, stejně jako pilotant, obvykle studuje poslední ročník střední školy. Do vývoje testu je ale zapojený až později a jedná se o skupinu přibližně 5 žáků. Jejich úkolem je vyřešit test a poté poskytnout detailní zpětnou vazbu garantovi.

Proces, který zabere více než rok

Vývoj testu začíná sestavením dokumentu, který ve Scio nazýváme Specifikace testu. Je to taková ústava, kterou se řídí garant, autoři a všichni další zapojení specialisté. Ve specifikaci stanovíme, co chceme testovat, jaký typ a kolik úloh potřebujeme a definujeme i jejich obtížnost. Součástí Specifikace testu je i cíl testování. Nejde o akademickou otázku, ale o zásadní parametr přípravy testu – srovnání žáků vyžaduje totiž jiný přístup než ověření znalostí žáků (např. u srovnání žáků potřebujeme otázky, které odliší i nadprůměrně dobré a vynikající řešitele, u ověřování znalostí, kam patří mimo jiné maturita nebo jazykové zkoušky, musíme nejprve detailně popsat kritéria dané úrovně).

S „ústavou“ v ruce se pouštíme do vytváření úloh. Autoři vymýšlejí pro každý test originální otázky, takže nehrozí, že by se řešitelé při různých termínech NSZ setkali se stejnou úlohou. V souhrnu autoři vytvoří zhruba dvojnásobek úloh, než reálně využijeme. Důvod? Úlohy testujeme, takže potřebujeme dostatečnou zásobu. Při hodnocení úloh nás zajímá především, jestli:

  • řešitelé zvládají test vyřešit včas,
  • chápou otázky,
  • je obtížnost úloh přiměřená – extrémně lehké ani extrémně těžké úlohy k ničemu nepomohou – a srovnatelná s jinými testy,
  • úlohy dobře rozliší mezi lepšími a horšími řešiteli (faktor diskriminace)
  • a jestli tzv. ladí se Specifikací testu.
Úloha z angličtiny, která neuspěla v pilotáži. 92,21 % lidí ji zodpovědělo správně, tudíž je moc jednoduchá a nepřispívá k rozlišení mezi lepšími a horšími uchazeči. „Je v pořádku a dokonce žádoucí, aby ve srovnávacím testu byly lehčí, středně těžké i obtížné úlohy, ale ne do takového extrému,“ vysvětluje analytička Scio Lenka Fiřtová.

Jak se pozná kvalitní úloha nebo test? Vysvětlujeme validitu, reliabilitu a další zásadní parametry >>


Úlohy poté sestavíme do testu. Při NSZ využíváme statický způsob, tzn. úlohy a jejich pořadí jsou dopředu pro všechny dané (dynamický způsob skládá otázky na míru podle předchozích odpovědí a je vhodný např. při rozřazování studentů cizích jazyků do skupin podle pokročilosti). Teprve poté hodnotíme test jako celek. 

Práce od sestavení Specifikace testu po hodnocení obvykle zaberou více než rok. Časově nejnáročnější fázi je vytváření úloh a zapracování připomínek. 

Ani tato úloha v pilotáži neobstála. Klíčový je údaj v pravém horním rohu – diskriminace 16,92. Úloha jen málo rozlišovala mezi nejlepšími a nejhoršími řešiteli, obě skupiny úlohu vyřešily téměř se stejnou úspěšností. Autor chtěl otestovat znalost ustálené vazby, odpověď (B) ale zmátla i řešitele, kteří měli ve zbytku testu dobré výsledky. „Při sestavování testu musíte vycházet z dat. Zkušený člověk může leccos předvídat, ale teprve data z pilotáže ukážou, jestli je úloha pro přijímací zkoušky na vysoké školy vhodná,“ doplňuje Lenka Fiřtová.

Vše řešíme přes online nástroj, finální test vidí pouze jednotky lidí

Veškeré úlohy nahráváme do tzv. Autorského nástroje (AN), což je online databáze otázek, nástroj pro sestavování testů a zároveň i platforma, přes kterou komunikují specialisté zapojení do tvorby testu. Díky tomu se neztrácí žádné informace a můžeme kdykoliv zpětně dohledat jakékoliv úpravy úloh nebo testu. Do AN přidáváme i poznámky, abychom snadno dohledali, v jakém testu byla jaká úloha použita, případně jestli ještě čeká na využití.

Zatímco na přípravě testů se podílí desítky lidí, finální podobu už vidí pouze jednotky zaměstnanců Scio, abychom zaručili férové podmínky pro všechny. Testy jsou uložené v zabezpečeném režimu a dostanou se k nim jen lidé s čipem. Závěrečné kontroly testů navíc většinou probíhají na papíře – zjednodušeně řečeno, testy nikam neposíláme, jen je vytiskneme, předložíme ke kontrole a po dokončení kontroly testy zase vybereme.

Ročně připravíme 50 velkých testů

Pro každý termín (a předmět) Národní srovnávací zkoušky vytváříme unikátní test s originálními úlohami. Za rok tímto způsobem ve Scio vznikne téměř 50 testů, kterými projdou tisíce studentů. Rozsáhlé zkušenosti nabízíme i vysokým školám, které chtějí pomoct s přípravou přijímacích zkoušek na míru – ať už jde o klasickou papírovou formu, nebo online podobu. Rádi pomůžeme i vám, ozvěte se.

PRVNÍ KROK JE NA VÁS

Vším vás provedeme

Kontaktujte nás