Одним из ограничений современных языковых моделей (LMs) является то, что они не могут выполнять действия, они могут только генерировать текст. Это означает, что, несмотря на их огромный потенциал для обработки текстов, они не могут использоваться для решения задач, требующих исполнения конретных дейстий.
Одна из идей, над которой я думаю заключается в том, чтобы просить языковые модели генерировать код на определенном языке программирования, например на Python, и отправлять его на выполнение. Такой подход позволил бы использовать языковые модели для создания автоматических систем, которые могут выполнять действия в ответ на текстовые запросы.
Другая идея заключается в том, чтобы натренировать языковые модели на вызовы конкретных API функций, таких как API для работы с калькулятором, поисковой системой, переводчиком и календарем. Затем, используя эти API функции, модель может выполнять действия, отвечая на запросы.
Ребята из Meta выпустили научную работу "Toolformer: Language Models Can Teach Themselves to Use Tools", в которой они описывают модель Toolformer. Эта модель натренирована на выборе API функций, вызове их, передаче аргументов и интеграции результатов в предсказания будущих токенов.
Интересно можно ли натренировать модель так, чтобы она выполняла вызовы, которые будут оптимизировать ее саму? Возможно, это станет следующим шагом в развитии AI и повышении их функциональности.
Ссылка на научную работу https://arxiv.org/pdf/2302.04761.pdf
Ссылка на реализацию https://github.com/lucidrains/toolformer-pytorch
