Каждый релиз новой модели ИИ сопровождается громкими заявлениями о её впечатляющих возможностях. Однако, чтобы объективно оценить, насколько новая система действительно лучше предыдущих, необходимы бенчмарки — специальные тесты, позволяющие сравнивать ИИ по единственным критериям. Например, они помогают определить, как модель справляется с пониманием запросов или генерацией кода. Существует множество бенчмарков, включая тесты для оценки знаний в точных науках и специализированные, такие как Vending-Bench 2 для управления виртуальными автоматами. Несмотря на лидерство в бенчмарках, это не всегда говорит о реальных преимуществах в повседневных задачах, так как условия тестирования и обновления моделей могут исказить результаты. Также важно помнить, что высокие оценки могут быть достигнуты за счет целенаправленного обучения на популярных тестах, что не отражает истинного уровня знаний модели.