Gratulujeme, splnili jste plán. Smysl se cestou ztratil.
Známky, publikace a kliknutí mohou růst, aniž se zlepší to podstatné. Proč měřit dál — a jak poznat, že ukazatel potichu nahradil cíl.
„Bude to v testu?“ ptá se student. Učitel zavrtí hlavou. Student zaklapne sešit. Právě získal důležitou informaci: tomuhle nemusí rozumět.
Představme si takovou hodinu. Student nemusí být líný. Třeba se učí celé večery. Jen se velmi dobře naučil ještě jednu věc: cílem je známka. Porozumění je vítaný vedlejší účinek.
Známka přitom měla pomoci poznat, co umí. Teď určuje, čemu má cenu věnovat čas. Ukazatel se nenápadně posadil do ředitelského křesla.
Jednička není nepřítel
Dobrá známka může znamenat skutečné znalosti. Učit se na zkoušku může být výborný způsob, jak je získat. Problém začíná tam, kde lze zlepšit výsledek a obejít přitom to, co měl výsledek dokládat.
Zkusme dva studenty. Jeden se naučí zlomky. Druhý si zapamatuje odpovědi na stále stejnou sadu příkladů. V té sadě mohou dopadnout stejně. Až budou mít rozdělit jinak velký účet mezi jiný počet lidí, shoda se může rozplynout.
To je rozdíl mezi úspěchem a jeho známkou. Číslo nemusí lhát. Můžeme po něm jen chtít odpověď na jinou otázku. Test přesně ukázal, kdo zvládá tyto příklady. My jsme z něj udělali důkaz, že zvládá zlomky vůbec.
Dva zákony, žádná kletba
Podobné varování se označuje jako Goodhartův zákon. Jeho známá zkratka říká: když se měřítko stane cílem, přestává být dobrým měřítkem. Editorial Mattsona a kolegů připisuje tuto obecnou formulaci Marilyn Strathern; Goodhartova původní úvaha vycházela z měnové politiky.[2]
Donald Campbell popsal příbuzný problém: čím více se podle číselného ukazatele rozhoduje, tím větší tlak vzniká na jeho ohýbání. A tím spíš může ukazatel pokřivit činnost, kterou měl sledovat.[1]
Slovo „zákon“ tu zní pevněji, než je zdrávo. Campbell sám upozorňoval, že jeho tehdejší doklady byly převážně anekdotické.[1] Berme to jako varování před tím, co se za takových podmínek může stát. Ne jako přírodní zákon, podle kterého každý cíl zničí každé měření.
Rozhodující jsou podmínky. Co číslo zachycuje? Co vynechává? Co získáme jeho zvýšením? A lze ho zvýšit levněji než skutečný výkon?
Podvod není podmínkou
Campbell uvádí případ vzdělávacího programu v Texarkaně. Dodavatelé měli dostávat zaplaceno podle zlepšení žáků v testech. Podle jeho popisu pak učili odpovědi na konkrétní testové položky.[1] Je to historický případ z jeho přehledu, ne diagnóza dnešních českých škol.
Není ale nutné ukrást zadání. Představme si učitele, který poctivě procvičuje jen snadno testovatelnou látku. Na diskusi nezbude čas. Nikdo nezfalšoval jediný bod. Přesto se výuka zúžila.
Snadno přehlédneme právě tuhle tichou verzi. Lidé mohou dělat přesně to, co se po nich chce. Jen už nedělají všechno, kvůli čemu jsme danou činnost zavedli.
Věda se nevejde do počítadla článků
Představme si laboratoř, kde se úspěch měří počtem publikací. Jeden pořádný výsledek lze popsat v jednom článku. Nebo ho rozdělit na několik drobnějších. Pokud se odměňuje hlavně počet, druhá možnost získává zvláštní půvab.
Na tlak k takovému porcování výsledků upozorňuje i zmíněný editorial z lékařského vzdělávání.[2] Neznamená to, že každý krátký článek je podvod. Někdy samostatný text opravdu dává smysl. Otázka zní, zda dělení pomohlo poznání, nebo hlavně životopisu.
Ani výměna počtu článků za počet citací nemusí věc vyřešit. Leidenský manifest upozorňuje, že publikační a citační zvyklosti se mezi obory liší. Doporučuje, aby čísla podporovala odborné posouzení, ne ho nahrazovala.[5]
Deklarace DORA zase odmítá používat ukazatele časopisu, například impakt faktor, jako náhražku kvality jednotlivého článku či přínosu vědce.[4] Obě jsou doporučení pro hodnocení, nikoli pokusy dokazující, že určitý formulář napraví vědu.
Můžeme mít dokonale sečtené publikace a stále nevědět, co jsme se díky nim dozvěděli. Účetnictví pracuje bezchybně. Jen omylem vede katedru.
Klikli jste. To ještě není pochvala
Stejný rozdíl si lze představit v redakci. Má pomáhat lidem rozumět světu, ale hodnotí se hlavně počet kliknutí. Titulek „Drobné zpřesnění dosavadního výsledku“ soupeří s titulkem „Vědci přepsali všechno, co víte“.
Druhý slibuje větší podívanou. Jestli přivede více lidí, počítadlo zaznamená úspěch. Samo ovšem nepozná, zda čtenář odchází poučený, nebo napálený. Tohle je modelová situace, ne měření chování všech redakcí.
Záleží také na skutečném cíli. Pokud chceme pouze návštěvu stránky, kliknutí dává smysl. Pokud chceme důvěru a porozumění, nestačí. Spor někdy není o špatné počítání. Je o tom, co vlastně pokládáme za úspěch.
Nevyhazujte tachometr. Dívejte se i ven
Z toho všeho neplyne, že máme čísla nahradit dojmem vedoucího. „Já své lidi poznám“ není automaticky lepší metoda. Leidenský manifest výslovně připomíná, že číselné údaje mohou pomoci zpochybnit zaujatost odborného hodnocení.[5]
Měřit tedy ano. Jen si pravidelně ověřovat, zda měříme ještě to, na čem nám záleží. Následující otázky jsou náš praktický návrh, ne zaručený recept:
- Co chceme bez použití čísla? Třeba aby žák dokázal řešit nový problém. Ne pouze „lepší průměr“.
- Jak by šlo uspět jen na papíře? Naučit odpovědi nazpaměť? Rozdělit jednu práci? Slíbit v titulku něco, co text nedodá?
- Jak zkontrolujeme výsledek jinak? Zadat neznámý příklad, přečíst samotnou práci, ověřit, co si čtenář odnesl.
- Co kvůli cíli zanedbáváme? Důležitá práce může být pomalá, obtížná a špatně počitatelná.
Více ukazatelů může pomoci. Může také vzniknout delší seznam věcí, které se naučíme plnit naoko. I Campbell uváděl více měřítek jako naději, nikoli jisté řešení.[1]
Co by změnilo náš názor
U konkrétní školy či organizace by naše podezření oslabilo, kdyby po zavedení cíle rostlo nejen sledované číslo, ale i výsledek ověřený jiným způsobem. A kdyby se to nedělo na úkor jiné důležité práce.
Naopak samotné splnění plánu nestačí jako důkaz úspěchu. Právě to je otázka, kterou zkoumáme. Odpovědět „ale čísla se zlepšila“ znamená poslat tachometr, aby zkontroloval tachometr.
Měřítko má pomáhat poznat, zda se blížíme cíli. Nemá nám nenápadně vyměnit cíl. Jinak jednou dorazíme k dokonale vyleštěné zdi. Včas a podle plánu.
Meze rešerše: výběrová esej nad Campbellovým textem, odborným editorialem a doporučeními pro hodnocení vědy. Nejde o systematický přehled ani odhad četnosti problémů. Úvodní hodina, zlomky, laboratoř a redakce jsou modelové scény. Ilustrace jsou metafory vytvořené v Higgsfieldu pomocí GPT Image 2, nikoli dokumentární snímky.