Инженерия агентов: что проверять на практике

Что показали / как устроено. Сравнивали один и тот же модельный состав на 731 задачах. Отличия составили 6,29–10,53 процентного пункта; в scaffold объединены несколько приёмов.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Скрытые тесты могут отвергать корректные альтернативные исправления; отдельный вклад каждого шага не установлен.

Для моей работы. Проверить собственные задачи с трудным воспроизведением: отдельные шаги локализации, симуляции патча и проверки краевых случаев.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На Qwen3.5-9B авторы сравнили вызовы до и после сдвига схемы в DICE-300 и BFCL-200; точность выросла с 0,717 до 0,813 и с 0,580 до 0,805.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Сдвиги синтетические; repair добавляет 32,6–47,1% токенов и не исправляет допустимый по схеме, но неверный по смыслу вызов.

Для моей работы. Ввести в шлюзе проверку имени и аргументов до исполнения, ограниченный repair и мониторинг конфликтующих описаний.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Семь шлюзов, 450 доброкачественных и атакующих задач, до 1500 лишних инструментов. При нулевом шуме средний успех атаки был 19,6% против 60,5% для иерархического и плоского вариантов.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Обычно один прогон на конфигурацию; более слабая модель иногда хуже решает штатные задачи при иерархии.

Для моей работы. Проверять одновременно успешность полезных задач, атаки и задержку на своём наборе инструментов.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Авторы собрали 328 проверок для 12 harness и 19 моделей; лучший средний pass rate составил 53,05%. Тесты проверяли запросы к модели, файловую систему, команды и коды выхода.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Это построение с ограниченными попытками без цикла исправления; варианты одного теста коррелируют, а mock-модель не показывает итоговую полезность с живой LLM.

Для моей работы. Для собственного runtime перевести права, состояние сессии и операции с файлами в детерминированные позитивные и негативные проверки.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Автор воспроизвёл 18 пар «неисправленный родительский коммит — исправленная версия» в 11 группах framework. В 14 случаях затронута граница исполнения политики, но только семь показывают нативное действие.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Ни один случай не доказывает историческую цепочку «работало — сломалось — исправили»; выборка специально собрана из исправлений, частота таких ошибок неизвестна. Go не проверялся.

Для моей работы. При изменении API, event stream или tool-call adapter добавить детерминированный canary только на новый путь и проверять видимость и решение отдельно.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Авторы подготовили 212 задач из 31 открытого ML-репозитория; лучший агент решил 31,2% оценочных задач при 68,7% пройденных отдельных тестов.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Задачи синтезированы из репозиториев, а не из продакшен-инцидентов; конечный набор тестов может поощрять узкую реализацию.

Для моей работы. Во внутренних eval проверять целостный контракт изменения и сохранение старого поведения, особенно для serving и конфигурации.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Индекс содержит 993 нормализованных навыка. Лучшие настройки повысили Pass@1 на BigCodeBench с 53,42% до 60,88% и на CoderEval-Python с 33,04% до 46,96%.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Бенчмарки в основном Python, не сопровождение Go-репозитория; на парных задачах BigCodeBench 27 случаев стали хуже.

Для моей работы. Сравнить выдачу малого числа релевантных навыков с вариантом без навыков и проверять происхождение внешних инструкций.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. В пилоте после исправлений валидатор обнаружил 43 из 44 внесённых структурных ошибок; обучение модели 0,5B использовало всего 45 траекторий.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Малый пилот и общая модель автора намерения и селектора дают риск само-согласованности; проверка схемы не замечает верные по типу, но неверные значения.

Для моей работы. Начать с разбора $ref и request body, генерации примеров и отклонения вызовов с неверной схемой; семантику аргументов измерять отдельно.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Авторы сравнили несколько уровней подсказки на четырёх Python benchmark и Java-наборе с тремя моделями в одном harness.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Подвыборки малы, на задачу один прогон; рост resolve от подробной подсказки сам по себе не доказывает честность benchmark.

Для моей работы. В собственных задачах явно описывать ожидаемый контракт новых идентификаторов и отдельно проверять, не утекла ли реализация.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На 1198 PR из 30 репозиториев и 219 размеченных связях average precision составила 37,7% против 26,6% у пересечения файлов.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Граф из истории PR не равен полной причинной структуре; 37,7% AP оставляет существенные ошибки, часть задач не удалось сделать исполняемыми.

Для моей работы. Проверять coding agents на связанных шагах миграции, фиксируя частичный прогресс только после обязательных предпосылок.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На двух сконструированных Python-задачах сравнили внедрение одной ложной идеи в гипотезу и план; в общих условиях план увеличивал неудачи на 32,2 и 28,9 пункта.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Сценарии синтетические; вывод не означает, что планирование как таковое вредно.

Для моей работы. Проверять план агента на фактические предпосылки до генерации патча и собирать тесты инвариантов.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На 300 Python issue SWE-rebench успех составил 43,7% и 46,7% для двух моделей, на 6,3 пункта выше лучшего токенного компрессора в основной настройке.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Одношаговый патч без открытия дополнительных файлов и тестов; улучшенный компрессор после того же отбора файлов сравнялся по resolve.

Для моей работы. Сначала улучшать локализацию нужного файла, затем сохранять его строки без переписывания; измерить на своих issue.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Из 10 728 репозиториев получено 80 874 принятых задач. В сравнении 1000 кандидатов эластичный поток принял 670 против 592 у фиксированного и 588 у пакетного.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Это дорогая инфраструктура для производства обучающих данных; опубликованные оценки моделей используют разные протоколы.

Для моей работы. Если строить свой набор для Go-агента, проверять тесты до и после исправления и хранить причину отбраковки.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На шести срезах SRA-Bench и пяти моделях SkillBrowser выиграл у статического BM25 в 26 из 30 сочетаний; общий valid-pair accuracy 78,59% против 74,64% у статического SkillGrep.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Эффект зависит от модели; управляемый доступ добавляет задержку и не всегда экономит токены.

Для моей работы. Дать агенту инструмент поиска и загрузки навыков и отдельно считать пропущенные полезные вызовы, задержку и успех задачи.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Аудит 33 000 траекторий одиннадцати моделей 2–14B на InjecAgent и AgentDojo разделяет игнорирование, отказ и выполнение атаки.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Бенчмарки синтетические; распознавание атаки выводится из видимой траектории, а не из внутреннего состояния модели.

Для моей работы. В security eval одновременно считать завершение полезной задачи, успех атаки, отказ и невалидные вызовы.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Авторы сравнили память, навыки и правки harness на нескольких интерактивных benchmark, скрыв метки и ответы для failure-only режима.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Режим намеренно исключает положительные примеры; задачи веба и симуляции не равны сопровождению репозитория.

Для моей работы. Для agent memory хранить связь правила с источником и запускать независимый regression set перед повышением версии.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. На 187 размеченных C/C++ отчётах система отвергла 89 из 97 ложных тревог и сохранила 85 из 90 реальных дефектов.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Пять классов дефектов и C/C++ frontends; 104 воспроизведения получены среди 154 исполняемых кандидатов, а перенос на Go остаётся гипотезой.

Для моей работы. Проверять цитируемые call/data-flow связи и запрашивать воспроизведение для важного security finding.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. В основном сравнении рост меню с 8 до 128 схем снизил успех на 12,3 процентного пункта при маршрутизации. В шести конфигурациях с частой обрезкой рост лимита вывода с 1024 до 16 384 токенов сократил штраф с 43,7 до 2,7 пункта.

Основание. Эксперимент и сравнение авторов в препринте; вывод привязан к первоисточнику.

Ограничение. Эффект лимита не универсален: одна модель теряла 18,1 пункта почти без обрезки. Во внешнем ToolSandbox расход вырос, а падение успеха на 2,9 пункта статистически не подтверждено.

Для моей работы. В собственной оценке менять размер каталога, лимит вывода и стратегию выбора инструментов по отдельности; считать успех вместе с токенами.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Это архитектурное руководство OpenAI: эквивалентность возможностей, дедлайн, пропускная способность, бюджет, контроль данных, ограниченный retry и постепенный возврат.

Основание. Практический опыт и рекомендации команды OpenAI; вывод привязан к первоисточнику.

Ограничение. Измерений доступности нет; незавершённые agent-сессии и вызовы с неясным побочным эффектом нельзя слепо переиграть.

Для моей работы. Взять одну самодостаточную read-only операцию и испытать сбой, переключение и возврат с ограничением трафика.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗

Что показали / как устроено. Внутренний отчёт команды: пять инженеров слили более 1400 cleanup PR и удалили свыше 800 тысяч строк; отдельный тест сравнивает принятые находки и стоимость двух моделей.

Основание. Практический опыт и рекомендации команды OpenAI; вывод привязан к первоисточнику.

Ограничение. Это самоотчёт одной команды без публичного репозитория и контролируемого baseline общих результатов; модель иногда предлагала лишнюю сложность.

Для моей работы. Начать с небольшой области; подтвердить неиспользуемость конфигурацией, историей, телеметрией и косвенными потребителями, затем открыть проверяемый PR.

Следующий шаг. Прочитать метод и проверить тезис на своих задачах до внедрения.

Первоисточник ↗