СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников

Описание

С докладом «СМИНЧ VS БЯМ: экспериментальное исследование возможностей диагностики трудностей чтения у школьников с помощью сгенерированных текстов» выступила Екатерина Костина, магистрант ОП «Языковые технологии в бизнесе и образовании» НИУ ВШЭ.

Доклад посвящен экспериментальной проверке возможностей применения больших языковых моделей (LLM) для диагностики трудностей чтения у младших школьников. В качестве контрольного материала использовался текст из Стандартизированной методики исследования навыков чтения (СМИНЧ; Корнев, 1997), который был сопоставлен c LLM-текстом, наиболее близким по лингвистическим параметрам.
В исследовании приняли участие 10 учеников второго класса общеобразовательной школы, сбалансированные по уровню чтения. Каждый школьник читал два текста — оригинальный и сгенерированный; порядок предъявления был сбалансирован. Фиксировались скорость чтения, количество ошибок, понимание текста и способ чтения.
Эксперимент показал, что по основным показателям оценки уровня чтения статистически значимых различий между оригинальным и сгенерированным текстом нет. Однако LLM-текст обладает большей дифференцирующей способностью: позволяет точнее разделять учащихся по уровню беглости чтения и выявлять взаимосвязь между количеством ошибок и пониманием текста.
Полученные результаты позволяют говорить о сопоставимости оригинального и сгенерированного текста по диагностическим параметрам и о перспективности применения LLM в данной сфере. Однако исследование носит пилотный характер, и для подтверждения выводов необходимо увеличить выборку испытуемых, включив в нее группу школьников с выраженными трудностями чтения, а также расширить диапазон сложности используемых текстов.

Приглашаем к участию в семинаре лингвистов, педагогов, психологов, когнитивистов и всех, кто интересуется исследованиями в области оценки навыков чтения.