Сегодня хотел бы поделиться с вами выдержками из удаленной статьи Humanloop, которая основана на разговоре Sam Altman и 20 разработчиков о планах OpenAI.
1. OpenAI сейчас ограничена GPU-ресурсами, что приводит к сложностям с масштабированием моделей, таких как контекст на 32000 токенов. Масштабирование со сложностью O(n^2) по-прежнему является проблемой. OpenAI готова предоставить выделенные ресурсы, если заказчик сделает предоплату в размере $100k.
2. В ближайших планах OpenAI - создание более дешевой и быстрой GPT-4, увеличение размера контекстного окна, возможность finetuning моделей, а также Stateful API. Мультимодальность (картинки и т.д.) отложена до 2024 года из-за дефицита ресурсов.
3. Плагины скорее всего пока не будут представлены в API из-за низкого спроса. Sam Altman выразил мнение, что большинство людей хотели бы иметь ChatGPT, интегрированный в их приложения, а не наоборот.
4. OpenAI постарается избегать конкуренции с клиентами, за исключением ChatGPT. Цель компании - создать лучший AI и продавать его как API.
5. Регулирование нужно, но на этапе текущего поколения моделей не имеет смысла. OpenAI думает над возможностью выкатывания GPT-3 в Open Source.
6. Закономерности масштабирования все еще существуют: рост размера моделей и наборов данных, хотя и со скоростью в 2-3 раза в год.
🧐 Остается лишь задаться вопросом, почему именно OpenAI попросила удалить оригинальный пост.
Удаленный пост наложился тут: https://humanloop.com/blog/openai-plans
