12 октября 2025 года я попробовал перепроверить данные исследования через нейронку (ChatGPT) и с удивлением обнаружил, что она не может посчитать простые данные.
В двух словах – я загрузил список платформ и попросил прикинуть их количество. Нейросеть выдала подсчет с ошибкой и потом долго не могла ее найти.
Тогда я решил создать платформенный тест для ИИ и пройтись по популярным нейросетям. Результат оказался крайне неутешительным. Из 8 тестируемых платформ ошиблись 6. Какие именно – рассказываю.
Что из себя представляет тест?
Это простой список имен, которые надо посчитать. С задачей справится любой ребенок дошкольного возраста. Текст задачи звучал так:
В школе строгий завуч ловил школьников, курящих в туалете и записывал их имена.
Потом он составил список и начал считать, сколько раз кто попался.
Пройдись по списку и посчитай количество уникальных упоминаний каждого имени. Результат выведи в виде таблицы Имя – количество упоминаний.И далее следовал список имен. Полный текст в конце публикации.
Контрольная информация:
| Имя | Количество упоминаний |
| Александр | 12 |
| Алексей | 12 |
| Анатолий | 2 |
| Борис | 1 |
| Василиса | 2 |
| Глафира | 1 |
| Иван | 18 |
| Ксения | 3 |
| Петр | 8 |
| Семен | 2 |
| Итого | 61 |
Я взял 8 популярных нейросетей и закинул им результат. Результат шокирует.
- ChatGPT
- DeepSeek
- Google AI
- Perplexity
- GigaChat
- Алиса
- Grok
- QWEN
ChatGPT – ошибка
| Имя | Количество упоминаний | ChatGPT |
| Александр | 12 | 12 |
| Алексей | 12 | 10 |
| Анатолий | 2 | 2 |
| Борис | 1 | 1 |
| Василиса | 2 | 2 |
| Глафира | 1 | 1 |
| Иван | 18 | 17 |
| Ксения | 3 | 3 |
| Петр | 8 | 6 |
| Семен | 2 | 2 |
| Итого | 61 | 56 |
Как мы видим, у нас пропали Алексеи и Иваны. Петры тоже погибли при подсчете.
DeepSeek – ошибка
Посмотрите, как резко увеличилось количество Иванов, где-то влетел Петр и так далее.
Google AI – ошибка
А вот Google потерял Иванов (и не только). Видимо эти Иваны убежали в DeepSeek.
Perplexity – ошибка
Потеряны Александр и Алексеи. Иванов тоже стало меньше.
А самое забавное – знаете, как он это объяснил? Человеческий фактор:
Потеряны Иваны, Александры, Алексеи и Петр.
GigaChat – ошибка
Александры размножаются в Гигачате пожирая Алексеев и Петров. И отдельно покажу, что такое сортировка по алфавиту в понимании нашей надежды. Курица не птица. Василиса – не человек.
Алиса – ошибка
Алиса потеряла кучу Александров и Петров. Но нашла лишнюю Ксению. Вот она – женская солидарность.
А когда я попросил отсортировать ее таблицу – она отправила меня делать это самостоятельно:
Grok – успех
Продукт Маска справился с задачей максимально четко.
Qwen – успех
Резюме:
- ChatGPT – ошибка
- DeepSeek – ошибка
- Google AI – ошибка
- Perplexity – ошибка
- GigaChat – ошибка
- Алиса – ошибка
- Grok – успех
- QWEN – успех
Даже в простейших вопросах ИИ пытается угадать ответ, в надежде что он будет правильным. И можем ли мы доверять нейронкам после этого – решает каждый сам для себя.
Ну или как минимум внимательно выбирать, какие ИИ для каких задач использовать.
Полный текст задачи со списком.
Можете сами потестировать.
В школе строгий завуч ловил школьников, курящих в туалете и записывал их имена.
Потом он составил список и начал считать, сколько раз кто попался.
Пройдись по списку и посчитай количество уникальных упоминаний каждого имени. Результат выведи в виде таблицы Имя – количество упоминаний.Иван, Александр, Василиса
Александр
Иван, Петр, Алексей, Ксения, Глафира
Александр
Иван, Александр
Александр
Алексей
Иван
Иван, Алексей
Иван, Алексей, Борис, Василиса
Петр
Петр
Иван, Алексей
Петр
Иван, Алексей, Ксения, Семен
Иван, Александр
Петр, Алексей
Иван, Александр
Иван, Семен
Иван, Александр
Иван, Петр, Алексей, Ксения
Александр
Иван, Александр
Иван, Александр
Алексей
Иван
Петр, Алексей
Иван, Александр
Иван, Петр, Алексей, Анатолий
Алексей, Анатолий