Около полутора месяцев назад главный исследователь OpenAI Илья Суцкевер дал подкаст-интервью, где в числе прочего обсуждались ограничения текущих методов обучения больших языковых моделей. Ему задали вопрос следующего вида: а не получится ли так, что при обучении очередной GPT мы используем все доступные нам тексты, и прогресс остановится? Илья на это ответил, что у них еще полно данных, которые модель не видела, однако признал, что такой исход вероятен.

С другой стороны, чем умнее становится модель, тем более сложная для нее требуется обучающая выборка. Набор данных для InstructGPT размечался силами бедных жителей Кении, от которых требовалось лишь знание английского и умение выбрать лучший ответ из двух предоставленных. GPT-4, в свою очередь, сама может генерировать такие ответы, и на них можно обучать неплохие модели (пример - та же Alpaca). Представляете себе, сколько потребуется юристов, чтобы научить GPT-5 разбираться в нюансах контитентальной системы права? Это огромные деньги, и невероятная работа.

И даже если предположить, что наши ресурсы бесконечны, то мы все равно не сможем прыгнуть выше головы. Обучающая выборка будет настолько же хороша, насколько хороши наши лучшие эксперты. Но как мы будем обучать модели, обучающую выборку для которых написать принципиально невозможно? Как стать лучше самого лучшего эксперта?

(продолжение ниже)

#разборы_статей про Хомского (продолжение)

Хомский тоже понимал, что с конечными автоматами особо ничего не получится, поэтому в статье предложил второй способ - разделение предложение на составляющие. Ну условно, у нас есть текст "мама мыла раму", давайте разберем его на крупные блоки, и отдельно каждый блок проанализируем. В таком случае, нам понадобится составить конечный список того, по каким правилам слова могут компоноваться друг с другом в языке. В каком-то смысле, этот подход обратен первому: если изначально мы шли от символов к словам, то теперь мы разбиваем крупное предложение на более мелкие составляющие, пока не дойдем до атомарных слов.

Уже получше, теперь мы сможем разбирать бесконечные цепочки, если правильно сконструируем рекурсивные правила. Но все равно, некоторые ограничения сохраняются - например, такая модель не учитывает, что слова нужно грамматически согласовать друг с другом, и для организации такого разбора в словаре придется прописать все словоформы каждого слова, что кажется избыточным.

3) Для того, чтобы победить последнее ограничение, Хомский предлагает использовать так называемые трансформационные грамматики. Вместо того, чтобы просто складывать слова в предложения, мы вводим дополнительные правила, как после складывания эти слова можно изменять. Например, если мы в результате генерации получили фразу "мама мыть рама", то для правильного построения предложения нужно ввести правило, что рядом со словом "мама" должен стоять глагол "моет" либо "мыла", и далее то же самое для слова "рама". Короче, все снова сводится к тому, что нужно писать правила, но главное то, что их набор снова конечен - а значит, в перспективе такой подход может решить очень много задач обработки естественного языка.

@skrn_ai