Группа исследователей во главе с Ником Левином, Дэвидом Дювено и Алеком Радфордом разработала языковую модель Talkie-1930 объемом 13 млрд параметров, обученную исключительно на английских текстах, опубликованных до 1931 года.
Модель не содержит информации об интернете, смартфонах, Второй мировой войне и других событиях, произошедших после начала XX века. По информации исследователей, такой подход позволяет изучить способность языковых моделей к обобщению и исторической логике на ограниченном наборе данных.
Talkie-1930 распространяется как открытая модель, что позволяет другим исследователям воспроизводить результаты и проводить собственные эксперименты. Разработчики подчеркивают, что модель демонстрирует, как языковые модели функционируют при отсутствии современного контекста.
Проект направлен на понимание механизмов обобщения в нейросетях и изучение влияния временного периода обучающих данных на качество работы моделей. Аналитики отмечают, что такие исследования помогают лучше понять, какие знания критичны для функционирования языковых моделей и как они обрабатывают исторический контекст.
Разработка может быть полезна для исследований в области истории, лингвистики и машинного обучения. Открытый доступ к модели позволяет научному сообществу проводить дополнительные тесты и анализ.
Источник: Marktechpost
Реклама: 🔥 Хочешь получить Telegram Premium и стать гуру Polymarket? Кликай сюда!
