Jiří Štipl
@jiri-stipl.com
Psychometrie | Vývoj psychologických testů | Struktura lidských rysů
Toho času dokončující Research Master's studium metodologie a statistiky pro psychologický výzkum na University of Amsterdam @uva.nl
Toho času dokončující Research Master's studium metodologie a statistiky pro psychologický výzkum na University of Amsterdam @uva.nl
Mě ten Taleb bolí číst, je tam hrozně problémů, kdyžtak vám zareaguji na něco konkrétního, co vám tam přijde přesvědčivé, ale nemám kapacitu reagovat na to celé, to by bylo na článek :D Jinak SES vs IQ vs vzdělání vs dědičnost se stále zkoumá a vždy vychází podstatná role dědičnosti.
April 24, 2025 at 11:38 AM
Mě ten Taleb bolí číst, je tam hrozně problémů, kdyžtak vám zareaguji na něco konkrétního, co vám tam přijde přesvědčivé, ale nemám kapacitu reagovat na to celé, to by bylo na článek :D Jinak SES vs IQ vs vzdělání vs dědičnost se stále zkoumá a vždy vychází podstatná role dědičnosti.
Vůbec není vyvrácený, blogposty nějakých ekonomů s výzkumem inteligence nehýbou. Dominantním pojetím inteligence je aktuálně tzv. Catell-Horn-Carroll (CHC) teorie/model (viz zjednodušený přehled jeho struktury na obrázku). Z CHC vychází testy inteligence, které se běžně používají v odborné praxi.
April 24, 2025 at 11:23 AM
Vůbec není vyvrácený, blogposty nějakých ekonomů s výzkumem inteligence nehýbou. Dominantním pojetím inteligence je aktuálně tzv. Catell-Horn-Carroll (CHC) teorie/model (viz zjednodušený přehled jeho struktury na obrázku). Z CHC vychází testy inteligence, které se běžně používají v odborné praxi.
Individuální data máme k dispozici díky
Karlu Vaňkovi, který si je od ČŠI vyžádal přes 106ku pro svou SOČ práci,
@paqresearch.cz zase nabízí v rámci DataPAQ prostorové zobrazení agregovaných výsledků tohoto testu. Mimo jiné by se podle toho dala rozuměji plánovat kapacita GY8/GY6.
Karlu Vaňkovi, který si je od ČŠI vyžádal přes 106ku pro svou SOČ práci,
@paqresearch.cz zase nabízí v rámci DataPAQ prostorové zobrazení agregovaných výsledků tohoto testu. Mimo jiné by se podle toho dala rozuměji plánovat kapacita GY8/GY6.
April 23, 2025 at 8:38 PM
Individuální data máme k dispozici díky
Karlu Vaňkovi, který si je od ČŠI vyžádal přes 106ku pro svou SOČ práci,
@paqresearch.cz zase nabízí v rámci DataPAQ prostorové zobrazení agregovaných výsledků tohoto testu. Mimo jiné by se podle toho dala rozuměji plánovat kapacita GY8/GY6.
Karlu Vaňkovi, který si je od ČŠI vyžádal přes 106ku pro svou SOČ práci,
@paqresearch.cz zase nabízí v rámci DataPAQ prostorové zobrazení agregovaných výsledků tohoto testu. Mimo jiné by se podle toho dala rozuměji plánovat kapacita GY8/GY6.
Na tomto grafu lépe vidíme, jak se ty rozdíly zvyšují čím dále jsme ve spektru schopností od průměru.
Hypotetická třída 30ti studentů gymnázia pro top 5 % dle inteligence by tak měla cca: 18 dětí z nejbohatší třetiny rodin, 8 z prostřední třetiny a 4 ze spodní třetiny.
Hypotetická třída 30ti studentů gymnázia pro top 5 % dle inteligence by tak měla cca: 18 dětí z nejbohatší třetiny rodin, 8 z prostřední třetiny a 4 ze spodní třetiny.
April 23, 2025 at 8:38 PM
Na tomto grafu lépe vidíme, jak se ty rozdíly zvyšují čím dále jsme ve spektru schopností od průměru.
Hypotetická třída 30ti studentů gymnázia pro top 5 % dle inteligence by tak měla cca: 18 dětí z nejbohatší třetiny rodin, 8 z prostřední třetiny a 4 ze spodní třetiny.
Hypotetická třída 30ti studentů gymnázia pro top 5 % dle inteligence by tak měla cca: 18 dětí z nejbohatší třetiny rodin, 8 z prostřední třetiny a 4 ze spodní třetiny.
Zásadní slepá skvrna debaty o "vzdělávacích nerovnostech": děti z bohatších rodin mají V PRŮMĚRU vyšší inteligenci.
Pokud tedy má být na víceletých gymnáziích top 5-10 % žáků, tak jejich složení nikdy nebude SES rovnoměrné i kdyby žádná nespravedlnost skrze SES neexistovala.
Pokud tedy má být na víceletých gymnáziích top 5-10 % žáků, tak jejich složení nikdy nebude SES rovnoměrné i kdyby žádná nespravedlnost skrze SES neexistovala.
April 23, 2025 at 8:38 PM
Zásadní slepá skvrna debaty o "vzdělávacích nerovnostech": děti z bohatších rodin mají V PRŮMĚRU vyšší inteligenci.
Pokud tedy má být na víceletých gymnáziích top 5-10 % žáků, tak jejich složení nikdy nebude SES rovnoměrné i kdyby žádná nespravedlnost skrze SES neexistovala.
Pokud tedy má být na víceletých gymnáziích top 5-10 % žáků, tak jejich složení nikdy nebude SES rovnoměrné i kdyby žádná nespravedlnost skrze SES neexistovala.
(9/10) Z uvedených vztahů lze tedy odvodit, že JPZ výsledky z velké části zřejmě závisí na inteligenci. A protože je rok 2025, zde je AI (o3) shrnutí argumentů, které jsem zde či v jiných diskuzích použil :D Obecně to sedí, každou setinu každého čísla jsem nekontroloval.
April 21, 2025 at 12:52 PM
(9/10) Z uvedených vztahů lze tedy odvodit, že JPZ výsledky z velké části zřejmě závisí na inteligenci. A protože je rok 2025, zde je AI (o3) shrnutí argumentů, které jsem zde či v jiných diskuzích použil :D Obecně to sedí, každou setinu každého čísla jsem nekontroloval.
(7/10) Česká školní inspekce (ČŠI) nalezla silnou korelaci mezi výkonem v jejích testech z matematiky a češtiny a tzv. "testem dovedností usnadňujících učení", což je jinotaj pro test inteligence. Celkem se šetření účastnilo kolem 57 tisíc žáků pátých tříd.
April 21, 2025 at 12:52 PM
(7/10) Česká školní inspekce (ČŠI) nalezla silnou korelaci mezi výkonem v jejích testech z matematiky a češtiny a tzv. "testem dovedností usnadňujících učení", což je jinotaj pro test inteligence. Celkem se šetření účastnilo kolem 57 tisíc žáků pátých tříd.
(6/10) Korelací mezi výkonem v matematice a jazyce (čtení) se zabývala i tato meta-analýza z roku 2023. Autoři došli k závěru, že vztah matematiky a čtení je dominantně způsoben společným vztahem s inteligencí (v grafu označena písmenem G).
April 21, 2025 at 12:52 PM
(6/10) Korelací mezi výkonem v matematice a jazyce (čtení) se zabývala i tato meta-analýza z roku 2023. Autoři došli k závěru, že vztah matematiky a čtení je dominantně způsoben společným vztahem s inteligencí (v grafu označena písmenem G).
(5/10) Oficiálně PISA testy měří praktické kompetence v daných oblastech pro každodenní život. Ale asi vás nepřekvapí, že podle této studie je korelace mezi PISA a inteligencí (Ravenův test) cca mezi 0.7-0.8, což je znovu hodně.
April 21, 2025 at 12:52 PM
(5/10) Oficiálně PISA testy měří praktické kompetence v daných oblastech pro každodenní život. Ale asi vás nepřekvapí, že podle této studie je korelace mezi PISA a inteligencí (Ravenův test) cca mezi 0.7-0.8, což je znovu hodně.
(4/10) Stejně je tomu u JPZ matematiky (r=0.787). PISA testy jsou mezinárodně uznávané testy jazykové a matematické gramotnosti, výkony v JPZ s těmito gramotnostmi zjevně silně souvisí a tedy v nich zřejmě nejde jen o nějaké umělé CERMAToviny!
April 21, 2025 at 12:52 PM
(4/10) Stejně je tomu u JPZ matematiky (r=0.787). PISA testy jsou mezinárodně uznávané testy jazykové a matematické gramotnosti, výkony v JPZ s těmito gramotnostmi zjevně silně souvisí a tedy v nich zřejmě nejde jen o nějaké umělé CERMAToviny!
(3/10) Následující grafy jsou z dokumentu "Sekundární analýza mezinárodního šetření PISA 2022" od MŠMT.
JPZ čeština silně koreluje se čtenářskou gramotností dle PISA (r=0.809) na úrovni škol.
JPZ čeština silně koreluje se čtenářskou gramotností dle PISA (r=0.809) na úrovni škol.
April 21, 2025 at 12:52 PM
(3/10) Následující grafy jsou z dokumentu "Sekundární analýza mezinárodního šetření PISA 2022" od MŠMT.
JPZ čeština silně koreluje se čtenářskou gramotností dle PISA (r=0.809) na úrovni škol.
JPZ čeština silně koreluje se čtenářskou gramotností dle PISA (r=0.809) na úrovni škol.
(2/10) Zajímavost: Přidaná hodnota pražských gymnázií.
Modrá čára = očekávaný výsledek Maturity podle JPZ.
🟢 => žáci v maturitě předčili očekávání z JPZ.
🔴 => žáci se mezi JPZ a maturitou v průměru zhoršili.
CERMAT by tohle mohl spočítat mnohem přesněji, kdyby chtěl...
Modrá čára = očekávaný výsledek Maturity podle JPZ.
🟢 => žáci v maturitě předčili očekávání z JPZ.
🔴 => žáci se mezi JPZ a maturitou v průměru zhoršili.
CERMAT by tohle mohl spočítat mnohem přesněji, kdyby chtěl...
April 21, 2025 at 12:52 PM
(2/10) Zajímavost: Přidaná hodnota pražských gymnázií.
Modrá čára = očekávaný výsledek Maturity podle JPZ.
🟢 => žáci v maturitě předčili očekávání z JPZ.
🔴 => žáci se mezi JPZ a maturitou v průměru zhoršili.
CERMAT by tohle mohl spočítat mnohem přesněji, kdyby chtěl...
Modrá čára = očekávaný výsledek Maturity podle JPZ.
🟢 => žáci v maturitě předčili očekávání z JPZ.
🔴 => žáci se mezi JPZ a maturitou v průměru zhoršili.
CERMAT by tohle mohl spočítat mnohem přesněji, kdyby chtěl...
🧵Co měří CERMAT testy?
🔥První propojená data z přijímaček na začátku studia a maturit na konci studia pro stejné třídy SŠ!
Čím vyšší měla třída průměrný percentil v přijímačkách v roce 2020 → tím vyšší měla percentil na konci studia v maturitě 2024, korelace: 0.894!
🔥První propojená data z přijímaček na začátku studia a maturit na konci studia pro stejné třídy SŠ!
Čím vyšší měla třída průměrný percentil v přijímačkách v roce 2020 → tím vyšší měla percentil na konci studia v maturitě 2024, korelace: 0.894!
April 21, 2025 at 12:52 PM
🧵Co měří CERMAT testy?
🔥První propojená data z přijímaček na začátku studia a maturit na konci studia pro stejné třídy SŠ!
Čím vyšší měla třída průměrný percentil v přijímačkách v roce 2020 → tím vyšší měla percentil na konci studia v maturitě 2024, korelace: 0.894!
🔥První propojená data z přijímaček na začátku studia a maturit na konci studia pro stejné třídy SŠ!
Čím vyšší měla třída průměrný percentil v přijímačkách v roce 2020 → tím vyšší měla percentil na konci studia v maturitě 2024, korelace: 0.894!
Např. tato tato položka C_13 má jednu z nejvyšších korelací s výkonem v matematice: 0.39. Což ale dává smysl, protože vyžaduje aplikaci abstraktních formálních pravidel při analýze těch vět, což je kognitivně příbuzné matematice.
April 20, 2025 at 5:32 PM
Např. tato tato položka C_13 má jednu z nejvyšších korelací s výkonem v matematice: 0.39. Což ale dává smysl, protože vyžaduje aplikaci abstraktních formálních pravidel při analýze těch vět, což je kognitivně příbuzné matematice.
Zajímavý pohled na souvislost češtiny a matematiky přináší korelace na úrovni jednotlivých položek. Průměrná hodnota těchto korelací je 0.279. Vidíme, že výkony v některých položkách matiky relativně více souvisí s češtinou a naopak.
April 20, 2025 at 5:32 PM
Zajímavý pohled na souvislost češtiny a matematiky přináší korelace na úrovni jednotlivých položek. Průměrná hodnota těchto korelací je 0.279. Vidíme, že výkony v některých položkách matiky relativně více souvisí s češtinou a naopak.
SCIO OSP mívá reliabilitu (vnitřní konzistenci) prý okolo 0.9, jeden starší přijímací test na 1. LF UK měl 0.947. Průměr primárních indexů uznávaného testu inteligence WISC-V je 0.88-0.93. Tedy JPZ testy, zejména pro 4leté obory, jsou na tom vlastně celkem dobře. Graf pro 4L.
April 20, 2025 at 5:32 PM
SCIO OSP mívá reliabilitu (vnitřní konzistenci) prý okolo 0.9, jeden starší přijímací test na 1. LF UK měl 0.947. Průměr primárních indexů uznávaného testu inteligence WISC-V je 0.88-0.93. Tedy JPZ testy, zejména pro 4leté obory, jsou na tom vlastně celkem dobře. Graf pro 4L.
V diagonále grafu jsou dvě řecká písmenka α a ω, jsou to tzv. koeficienty reliability, udávají, jak moc je výsledek o skutečném výkonu a jak moc je o náhodné chybě měření. Např. ČJL 1.ř. má α=0.86, tedy zjednodušeně 86 % výsledku je o výkonu a 14 % je o náhodě. Zde pro 6L.
April 20, 2025 at 5:32 PM
V diagonále grafu jsou dvě řecká písmenka α a ω, jsou to tzv. koeficienty reliability, udávají, jak moc je výsledek o skutečném výkonu a jak moc je o náhodné chybě měření. Např. ČJL 1.ř. má α=0.86, tedy zjednodušeně 86 % výsledku je o výkonu a 14 % je o náhodě. Zde pro 6L.
Postupně tento typ grafu více vysvětlím. V zelených políčkách vidíte jednotlivé korelace mezi testy. Např. mezi řádnými termíny češtiny je korelace 0.87 a mezi 1.ř. ČJL a 1.ř. M je korelace 0.72. Což znamená, že výsledky mezi termíny a i mezi předměty silně souvisí. Graf pro 6L.
April 20, 2025 at 5:32 PM
Postupně tento typ grafu více vysvětlím. V zelených políčkách vidíte jednotlivé korelace mezi testy. Např. mezi řádnými termíny češtiny je korelace 0.87 a mezi 1.ř. ČJL a 1.ř. M je korelace 0.72. Což znamená, že výsledky mezi termíny a i mezi předměty silně souvisí. Graf pro 6L.
O kvalitě testů mimo jiné vypovídají vzájemné korelace uvnitř jednoho testu. Zde např. vizuálně vystupuje položka M_13 tím, že má nápadně světlý sloupec, tedy že mnohem méně koreluje s ostatními, což indikuje potenciální nekvalitu (výsledky v ní nesouvisí se zbytkem testu).
April 20, 2025 at 5:32 PM
O kvalitě testů mimo jiné vypovídají vzájemné korelace uvnitř jednoho testu. Zde např. vizuálně vystupuje položka M_13 tím, že má nápadně světlý sloupec, tedy že mnohem méně koreluje s ostatními, což indikuje potenciální nekvalitu (výsledky v ní nesouvisí se zbytkem testu).
🧵Jak spolehlivě (reliabilně) měří CERMAT testy na SŠ? A jak spolu souvisí body v CERMAT testech z češtiny a matiky?
Krátká odpověď: Testy měří celkem dobře a čeština s matikou souvisí hodně!
Krátká odpověď: Testy měří celkem dobře a čeština s matikou souvisí hodně!
April 20, 2025 at 5:32 PM
🧵Jak spolehlivě (reliabilně) měří CERMAT testy na SŠ? A jak spolu souvisí body v CERMAT testech z češtiny a matiky?
Krátká odpověď: Testy měří celkem dobře a čeština s matikou souvisí hodně!
Krátká odpověď: Testy měří celkem dobře a čeština s matikou souvisí hodně!
Naprostá většina uchazečů píše dvakrát češtinu i dvakrát matiku a počítá se jim jen lepší z výsledků. Nějaká větší prostupnost systému by byla dobrá, ale jednotné testy jsou nejobjektivnější, všechny ostatní metody výběru jsou méně spravedlivé.
April 14, 2025 at 11:27 AM
Naprostá většina uchazečů píše dvakrát češtinu i dvakrát matiku a počítá se jim jen lepší z výsledků. Nějaká větší prostupnost systému by byla dobrá, ale jednotné testy jsou nejobjektivnější, všechny ostatní metody výběru jsou méně spravedlivé.
Zajímavější je srovnání těchto "charakteristických" křivek napříč položkami. Vidíme, že ač jsou všechny tyto položky za 1 bod, tak se jejich vztah s potřebným výkonem velmi liší.
⚠️Současné JPZ skórování se ale tváří, že je každá položka za 1 bod stejná, že má stejnou křivku.
⚠️Současné JPZ skórování se ale tváří, že je každá položka za 1 bod stejná, že má stejnou křivku.
April 14, 2025 at 10:49 AM
Zajímavější je srovnání těchto "charakteristických" křivek napříč položkami. Vidíme, že ač jsou všechny tyto položky za 1 bod, tak se jejich vztah s potřebným výkonem velmi liší.
⚠️Současné JPZ skórování se ale tváří, že je každá položka za 1 bod stejná, že má stejnou křivku.
⚠️Současné JPZ skórování se ale tváří, že je každá položka za 1 bod stejná, že má stejnou křivku.
Na ose X je "moderní percentil" (θ) uchazeče, osa Y vyjadřuje pravděpodobnost, že uchazeč se skutečným percentilem x odpoví správně. Tedy např. uchazeč s 50. percentilem má cca 73% šanci položku 28 vyřešit.
April 14, 2025 at 10:49 AM
Na ose X je "moderní percentil" (θ) uchazeče, osa Y vyjadřuje pravděpodobnost, že uchazeč se skutečným percentilem x odpoví správně. Tedy např. uchazeč s 50. percentilem má cca 73% šanci položku 28 vyřešit.
Ukažme si to teď na konkrétní položce z 1. řádného termínu češtiny z minulého roku (viz obrázek), maximálně za ni bylo možné získat 1 bod, takovým položkám říkáme binární či dichotomické. Správně ji vyřešilo 70.47 % uchazečů.
April 14, 2025 at 10:49 AM
Ukažme si to teď na konkrétní položce z 1. řádného termínu češtiny z minulého roku (viz obrázek), maximálně za ni bylo možné získat 1 bod, takovým položkám říkáme binární či dichotomické. Správně ji vyřešilo 70.47 % uchazečů.
IRT metody toto vážení položek podle jejich schopnosti dobře rozlišovat výkony uchazečů dělají skrze tzv. parametr diskriminace označovaný písmenem alfa (α). Čím vyšší diskriminace (schopnost rozlišovat), tím lepší položka. V grafu vidíme, že α udává sklon křivky.
April 14, 2025 at 10:49 AM
IRT metody toto vážení položek podle jejich schopnosti dobře rozlišovat výkony uchazečů dělají skrze tzv. parametr diskriminace označovaný písmenem alfa (α). Čím vyšší diskriminace (schopnost rozlišovat), tím lepší položka. V grafu vidíme, že α udává sklon křivky.