Друг сегодня рассказал про интересную динамику между пользователем LLM и ее разработчиком: на ранней стадии пользователь не особо знает, что может и чего не может LLM, и поэтому достаточно свободно задает вопросы. Но, спустя время, эта свобода заметно снижается: сталкиваясь с ситуациями, когда чатбот не так отрабатывает на одни, но не на другие вопросы, человек АДАПТИРУЕТ свой стиль общения, тем самым усиливая сильные и “обходя” слабые стороны продукта. Несмотря на то, что спустя время эти слабые стороны уже отработаны новыми версиями продукта, пользователь уже уложил себе на ментальную полочку, что может и что не может этот продукт, и это очень сложно исправить.
В связи с этим несколько мыслей - будет интересно услышать и ваше мнение:
1. Чат-интерфейс по своей сути заметно повышает “свободу” запросов и паттернов использования продукта, но при этом, ожидаемо, снижает точность ответов. На контрасте GUI (графический пользовательский интерфейс) совершает обратное - снижает свободу в угоду точности. Скажу даже больше: в большинстве случаев он вообще не позволяет пользователю допустить неуспешный кейс.
Отсюда 2 предсказания:
- мы будем видеть больше специализированных нетекстовых интерфейсов поверх LLM для доменных областей, где точность важна по совокупности функциональных, эмоциональных и социальных факторов. В эту тему прикольный разговор из YCombinator на тему оберток вокруг базы данных и SaaS, и аналогичной ситуации с LLM.
- там, где важна точность, узкие/специализированные модели будут превосходить general модели, потому что будут свои метрики точности и по отношению к ним снижаться свобода запросов
2. Вообще, это прямо идеальный пример path dependence (зависимость от пути), работы усиливающих обратных связей (привет стрим по системному мышлению) и адаптивных систем из complexity theory, о которой я обязательно сделаю стрим в ближайшие недели.
3. Мне стало интересно, каким образом этот процесс работает в связке: я и читатели канала. Условно, не происходит ли из-за моего внимания к метрикам а-ля reactions per view и forwards per view “оптимизация” и “сужение” контента моих постов. И хорошо это, или плохо.
М?