Рейтинг моделей для кода

Направление «Программирование» сравнивает ответы моделей на задачи с кодом. Единица выборки — голос в парном сравнении: человек видит два ответа на один запрос и выбирает тот, который считает лучше. Из голосов считается оценка по модели Брэдли — Терри: чем успешнее ответы строки в парных сравнениях, тем выше её значение. Рядом с оценкой источник публикует интервал: чем меньше голосов собрано по строке, тем он шире.

Интервал задан на шкале оценки, а не в местах таблицы. Если интервалы двух строк пересекаются, разница мест между ними не означает разницы в качестве ответов. Поэтому таблицу читают попарно: две строки различаются только тогда, когда их интервалы не пересекаются.

Строка — это модель или её отдельный режим, и место режима не переносится на модель целиком. Таблица — снимок на дату публикации, а не постоянный порядок. Цены, контекста, задержки ответа и доступности у провайдеров в ней нет: эти свойства собраны на страницах моделей.