Андрей Карпати, ранее занимавший пост директора по искусственному интеллекту в Tesla, разместил на GitHub свое новое приложение под названием llm-council. Это приложение напоминает ChatGPT, но вместо одной модели в нем работает «совет ИИ» из нескольких языковых систем, которые параллельно генерируют ответы на один и тот же вопрос и выбирают лучший из них. В текущей конфигурации используются модели GPT-5.1, Gemini 3 Pro, Claude Sonnet 4.5 и Grok 4, подключение осуществляется через OpenRouter, с возможностью выбора других моделей.

Процесс работы состоит из трех этапов: сначала каждую модель просят ответить на один запрос, затем они анонимно оценивают ответы друг друга и, наконец, «председатель» совета, модель Gemini 3 Pro, формирует итоговый ответ на основе полученных оценок. llm-council позволяет пользователю наблюдать за различиями в оценках моделей и использовать его как карманный бенчмарк.

Карпати применяет llm-council для совместного чтения книг и анализа сложных текстов, и чаще всего модель GPT-5.1 оказывается на первом месте по качеству ответов, хотя сам автор не всегда согласен с результатами голосования.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.