В недавней статье в Nature Machine Intelligence предложен закон уплотнения для больших языковых моделей. Согласно этому закону, максимальная плотность способностей моделей удваивается примерно каждые 3,5 месяца. Вводится новая метрика — плотность способностей, которая позволяет оценить, сколько параметров потребовалось бы референсной модели для достижения аналогичного качества. Анализ нескольких бенчмарков показывает, что плотность моделей растет экспоненциально, что приводит к снижению стоимости инференса. При фиксированном целевом качестве количество необходимых параметров уменьшается, что способствует более доступной реализации мощных моделей на потребительском оборудовании. Важно отметить, что фокус смещается к более эффективным методам обучения, а не просто увеличению параметров и данных. Это требует новых подходов в дизайне и обучении языковых моделей.