Языковую модель обучили на записях речи, которую слышат младенцы за первую тысячу дней жизни
Американские ученые создали языковые модели на основе аудиозаписей первых тысячи дней жизни восьми детей. Рост словарного запаса моделей совпал с динамикой, характерной для реальных детей.
Группа исследователей из Принстонского университета под руководством Ури Хассона обучила языковые модели исключительно на речи, которую слышали восемь детей в первую тысячу дней жизни. Результаты работы опубликовал журнал Science.
Для каждого ребенка создали отдельную модель без каких-либо предварительных языковых знаний. Архитектура «кодировщик-декодер» делила обучение на два этапа: сначала кодировщик разбивал речевой поток на отрезки по 20 миллисекунд, затем декодер искал закономерности и предсказывал следующие элементы по уже пройденному контексту.
Записи обрабатывались последовательно, день за днем, в том же порядке, в каком ребенок получал их в реальной жизни. В конце каждого дня модель повторно обращалась к пройденному материалу — так имитировали консолидацию памяти во время сна.
Моделям потребовался примерно один смоделированный год, чтобы научиться распознавать звуки английской речи, а затем накопить словарный запас в несколько тысяч слов. Динамика его роста почти полностью совпала с показателями реальных детей.
Ключевым фактором оказалась плотность данных: модели, получавшие только часть аудиозаписей, усваивали значительно меньше слов. Не менее важным было и ночное повторение — без него модели с трудом запоминали слова даже при большом объеме дневной информации.
В дальнейшем исследователи планируют добавить в модели жесты и мимику, чтобы приблизить процесс обучения к реальным условиям.
