Srovnání stojí na souboru reálných textů, které lidé napsali ještě před nástupem nástrojů typu ChatGPT. Analytici Scio z lidských originálů vypsali klíčová fakta a jednotlivé jazykové modely z nich následně generovaly vlastní verze textů. Speciální hodnotící model pak u každého výstupu odhadoval, s jakou pravděpodobností ho psal člověk. Zatímco lidským originálům přisoudil v průměru 86 %, texty generované umělou inteligencí dosahovaly hodnocení pouze mezi 37 a 57 %.

„Vybíráme AI modely pro naše vlastní vzdělávací produkty a na trhu nám zásadně chybělo srovnání, které by objektivně řeklo, jak dobře a přirozeně který z nich píše česky. Proto jsme vytvořili vlastní testovací metodiku a její výsledky teď komplet zveřejňujeme pro veřejnost i odborníky,“ vysvětluje Jon Šotola, spolumajitel společnosti Scio.

Vede model od Mety

Na špici žebříčku v přirozenosti české psané řeči se umístil model Muse Wonder Full od Mety s vysokým úsilím uvažování. Za ním následuje skupina, v níž jsou rozdíly menší než nejistota měření: Muse Wonder (Meta), Gemini 4 Argon (Google), GPT-6 Astra a GPT-6.1 Sol (OpenAI), Claude Fable 5.1 (Anthropic) a Grok 4.7 (xAI). Testy navíc ukázaly, že i cenově dostupné modely dokážou generovat texty srovnatelné kvality s těmi nejnižšími provozními náklady.

Z analýzy dále vyplynulo, že zadá-li uživatel AI pokyn „piš stručně“, dokáže model délku textu přizpůsobit lidskému standardu. Pokud však dostane neuspořádané poznámky s překlepy, má AI tendenci fakta zkracovat a občas vynechat konkrétní čísla, zatímco pravopisné chyby po člověku opisuje jen výjimečně. Dosavadní české benchmarky (např. projekt BenCzechMark) se zaměřovaly především na porozumění textu, matematické úlohy či všeobecné znalosti, nikoliv na samostatnou tvůrčí psanou řeč.

Na webu www.cestina.ai si může kvalitu jazykových modelů vyzkoušet i veřejnost v anonymním testu „Poznáte, který text psal člověk?“. Deset dvojic ukázek zabere přibližně osm minut a získaná data pomohou analytikům dále zpřesňovat metodiku srovnávání.

Kontakt pro média:
Tomáš Matoušek, tiskový mluvčí Scio
tel.: +420 604 730 130 | e-mail: tomas.matousek@scioskola.cz 

Zdroj obrázku: scio.cz