ИИ путает бессмыслицу с речью: ключ к пониманию нашего языка

Мы живём в удивительное время: чат-боты, казалось бы, понимают нас почти с полуслова. Но так ли это? Новое исследование нанесло удар по этой иллюзии. Оказывается, даже самые продвинутые языковые модели по-прежнему сбиваются с толку и могут принять откровенную бессмыслицу за осмысленную речь. Учёные из Колумбийского университета считают, что изучение этой «ахиллесовой пяты» — ключ к созданию более умных ботов. А заодно и к разгадке тайны: как же наш, человеческий мозг, так виртуозно справляется с языком?

Почему ИИ путает чепуху с речью, и чему мы у него научимся

• Исследователи устроили масштабную проверку девяти разных языковых моделей, подсунув им сотни пар предложений.

• Людям-добровольцам нужно было выбрать из каждой пары то выражение, которое звучит более естественно и жизненно.

• А потом настал черёд искусственного интеллекта: будут ли его оценки совпадать с человеческими, или же он «клюнет» на нелепицу?

Результаты? Самые современные модели на архитектуре трансформеров, конечно, оказались прозорливее своих более простых собратьев — рекуррентных сетей и старых статистических моделей, которые просто считают частоту слов. Но даже они давали осечку, порой ставя на предложения, от которых у лингвиста волосы встали бы дыбом. Интересно, а мы сами всегда можем сходу отличить глубокомысленный афоризм от искусной псевдонаучной тарабарщины?

«Тот факт, что большие модели справляются лучше, — это намёк. Они ухватили какую-то важную особенность языка, недоступную простым алгоритмам», — поясняет доктор Николаус Кригескорте, ведущий автор исследования. — «Но их всё ещё можно одурачить бессмыслицей, а это ясный сигнал: в их вычислениях не хватает какого-то фундаментального компонента. Того самого, что есть у нас с вами».