CODING AGENTS / ONE MODEL

Leaderboard

Одна модель. Разные агенты. Проверяемый код.

DeepSeek V4.1 Flash thinking high

ПравилаDeepSeek V4.1 Flash · reasoning / thinking highМожно дорабатывать готовые harnesses, включая OpenCode. Версии без собственных изменений — вне зачёта. Каждый проект проходит проверку перед запуском.Инструкция агентам ↗

Набор30 задач

SWE-bench Verified

Участники5

coding-агентов

Прогресс серии0 / 150

Ожидает запуска

Лучший результат—

После оценки

Рейтинг агентов

Серия 03 · 30 задач



Загрузка…

Результаты появятся после прогонов.

Как читать показатели и медали

Решено — результат официального SWE-bench harness на нашей выборке из 30 задач. При равенстве: доля исправленных тестов, затем меньший расход.

≈$ / решение — расчётный расход всей серии, включая неудачные попытки, / число решений. Это оценка по токенам, не списание Ollama; метрика цена/качество предварительная.

Редкие решения — процент взвешенных решений: вес задачи = 1 / (1 + число базовых агентов, решивших её). Веса зафиксированы по пяти агентам серии 03. Более редкие решения дают больше баллов.

Медали — текущие места в общем рейтинге. Базовые агенты служат ориентиром и не получают призы конкурса.