У соціальних мережах активно поширюється інформація про нібито проведений «експеримент», у рамках якого носії англійської мови, що є викладачами, проходили тест зовнішнього незалежного оцінювання НМТ з англійської мови та, нібито, не змогли його успішно скласти. Фахівці Українського центру оцінювання якості освіти провели детальний аналіз цієї ситуації, щоб з’ясувати, чи свідчить наведений «експеримент» про реальні проблеми з тестами.
Перш за все, варто звернути увагу на вибірку учасників цього «дослідження»:
- У ньому брали участь лише дві особи – одна з Великобританії, інша зі Сполучених Штатів Америки.
- За інформацією організаторки «експерименту», яка є українською репетиторкою з англійської мови, обидва учасники мають вищу освіту і досвід викладання англійської мови в Китаї.
Далі, потрібно врахувати умови проведення експерименту. Організаторка зазначає, що носії мови розв’язували тест із 32 завдань, який розрахований на сумлінну роботу протягом однієї години, але витратили на це лише 20 хвилин. Таким чином, на кожне завдання було приділено втричі менше часу, ніж передбачено стандартними умовами проведення НМТ.
Крім того, немає жодної інформації про те, наскільки ретельно та усвідомлено учасники проходили тестування, чи розуміли, що їхні результати стануть підставою для масштабних висновків про складність усіх тестів НМТ з англійської мови.
Варто також звернути увагу, що інформація про учасників підтверджується лише скриншотом листування організаторки з невідомим співрозмовником англійською мовою. Це викликає резонні сумніви у достовірності представлених матеріалів у читачів, які звикли критично оцінювати інформацію з інтернету. Проте, відкинувши припущення про потенційну недоброчесність, розглянемо саму суть питання.
З оприлюднених візуальних матеріалів відомо, який саме тест НМТ з англійської мови проходили учасники «експерименту», а також яких помилок припустилася одна з них – пані Ізабель.
Цей тест є частиною п’ятої сесії НМТ 2024 року, опублікованої Українським центром оцінювання якості освіти в другому томі офіційного звіту про результати НМТ за 2024 рік. Тож подальший аналіз базується саме на цікавих показниках цього періоду.
На діаграмі, наведеній нижче, видно розподіл результатів учасників НМТ–2024 з англійської мови.
За даними офіційного звіту (том 1, стор. 117), упродовж всіх сесій 2024 року майже 7% вступників, які, ймовірно, не є носіями мови, набрали 180 балів і вище. З них 1513 здобули максимальний результат – 200 балів. Якщо зосередитися на п’ятій сесії, складній, на думку організаторки «експерименту», яку проходили досліджувані особи, то майже 50%, або 934 учасники, отримали від 150 балів і вище, а 27 абітурієнтів – максимальні 200 балів.
Така успішність є прогнозованою, оскільки структура тесту з англійської мови цілком відповідає Програмі зовнішнього незалежного оцінювання з іноземних мов, яка створена з урахуванням Загальноєвропейських рекомендацій щодо мовної освіти на рівні В1–В2. Цей рівень відповідає очікуваному рівню володіння англійською мовою на завершальному етапі здобуття повної загальної середньої освіти.
Тест НМТ-2024 з англійської мови складається з двох основних частин:
- «Читання», що передбачає уважне опрацювання текстового матеріалу з усвідомленням змісту, а не поверхневе розпізнавання ключових слів;
- «Використання мови», яке перевіряє знання лексичних і граматичних структур англійської мови.
Завдання розділу «Читання» вимагають не тільки розпізнавати слова, а й вміння розуміти зміст текстів іноземною мовою. На жаль, з таким вмінням мають проблеми багато осіб. Наприклад, за результатами міжнародного дослідження PISA–2022, понад 40% українських підлітків не досягли базового рівня читацької грамотності, хоча тест складали рідною мовою.
Розглянемо результати пані Ізабель – однієї з учасниць «експерименту», яка допустила найбільшу кількість помилок у частині «Читання» тесту НМТ-2024, неправильно виконавши завдання № 5, 6, 7, 8, 9, 12, 15, 17, 19 і 22.
Приклади деяких завдань та їх аналіз:
-
Завдання 5:
Перевіряло вміння розуміти основний зміст прочитаного тексту. Тільки 19,8% учасників п’ятої сесії виконали завдання правильно. Помилка у відповіді часто полягає в поверхневому сприйнятті зображення без уважного читання тексту, що міститься на ньому. Ключовими і фразами були «global pet expo» (міжнародна виставка домашніх тварин) та «a look at the latest pet products and trends» (ознайомлення з останніми тенденціями та товарами для домашніх тварин). Відтак правильна відповідь – D (відвідати виставку). - Завдання 6–10:
Потрібно було опрацювати великий текст про Йосі Гінзберга і дати відповіді на питання як по частинах, так і загалом. Пані Ізабель вдалося правильно виконати лише завдання № 10. Особливістю таких завдань є увага до деталей та аналітична робота з текстом, подібна до завдань дослідження PISA.- Завдання 6: 51,4% учасників дали правильну відповідь, зосередившись на першому абзаці, де пояснюється мотивація головного героя для подорожі. Помилки полягали у пошуках ключових слів без розуміння контексту.
- Завдання 7: Правильна відповідь – C (він важко працював, щоб зібрати гроші на подорож), що підтвердили 62,4% учасників тестування.
- Завдання 9: Відповідь, що допомогло вижити в джунглях, – B (пристрій для забезпечення полум’я), яке вибрали 62,8% абітурієнтів.
Ці приклади засвідчують, що вся потрібна для рішення інформація міститься в тексті, однак вимагає скрупульозного, осмисленого читання, аналізу варіантів відповіді та повернення до тексту для уточнення.
-
Завдання 11–16:
Тут пані Ізабель допустила лише дві помилки, що, ймовірно, пояснюється меншою кількістю текстового матеріалу, простотою завдань та умов, адаптованих до швидкого виконання.- Завдання 16, яке вона не виконала, було доволі простим для переважної більшості учасників, і правильної відповіді дотрималося понад 60%. Текст описував полярника Бена Сондерса та його рекордні арктичні подорожі.
- Завдання 17–22:
Спрямовані на перевірку уміння розуміти структуру тексту, знаходити зв’язки між його частинами та граматично правильно заповнювати пропуски у реченнях. Пані Ізабель не впоралася із завданнями № 17 і 22.- Завдання 17: Правильна відповідь – C (соціальна та культурна історія багатьох народів), що за контекстом і граматикою збігається з реченням про чай.
- Завдання 22: Вірний вибір – B (збереження 5000-річних традицій безперервними).
Ці помилки свідчать про неуважне читання текстів та поверхневе виконання завдань, можливо, через обмеженість часу або відсутність мотивації докладати зусиль.
У розділі «Використання мови» пані Ізабель також мала проблеми. Зокрема, у завданні № 30, яке перевіряє знання граматичних форм, була помилка. Це завдання, за статистикою, вважалося легким, і 77,8% учасників його успішно виконали. Відповідь стосувалася правильного вибору відносного займенника, де потрібно було обрати «who» для позначення особи.
Підсумовуючи аналіз, можна виділити два основні спостереження:
- Носій мови не має автоматичного і безумовного переважання при виконанні мовних тестів НМТ та не завжди може отримати максимальний бал.
- Для прикладу, серед 20 206 носіїв української мови, які брали участь у п’ятій сесії НМТ–2024, лише 14 отримали максимальні 200 балів у тесті з української. Водночас у тесті з англійської мови тієї ж сесії із 1933 учасників максимальний бал отримали 27 осіб.
Будь-які освітні дослідження повинні проводитися з дотриманням коректних наукових методик. Тестування двох випадкових осіб, які проходять його неглибоко та випадково, може викликати лише тимчасовий резонанс у медіа, але не дає підстав для ґрунтовної дискусії щодо якості тестів чи процедур оцінювання.
Для отримання всебічних і обґрунтованих висновків країни організовують складні й тривалі дослідження. Наприклад, міжнародне дослідження PISA з участю понад 80 країн триває три-чотири роки, з послідовним контролем усіх етапів фахівцями. Лише такий підхід дозволяє отримати надійні аналітичні дані для формування політики у сфері освіти. Аналіз інструментів оцінювання передбачає експертну експертизу змісту тестів, статистичну обробку результатів, апробацію завдань тощо. Український центр оцінювання якості освіти щорічно публікує звіти за результатами ЗНО/НМТ, що дозволяє зацікавленим особам вивчати реальні дані та формувати власні думки щодо рівня якості освітніх оцінювань.
Зокрема, варто зазначити креативність організаторки згаданого «експерименту». Використання мінімальних зусиль для підготовки публікації дозволило значно розширити аудиторію, яка тепер знає про репетиторку й потенційно може скористатися її послугами або проявити інтерес до її контенту в соціальних мережах.
Однак недостатні навички критичного мислення в багатьох користувачів соцмереж створюють сприятливе середовище для поширення подібного контенту, що стає викликом для освітян і всіх, хто працює над підвищенням медіаграмотності суспільства.
Матеріал підготовлено на основі інформації Українського центру оцінювання якості освіти.