Сокращение LLM-запросов для отладки
Автоматически сокращает большие падающие запросы (репродьюсеры) для поиска минимального воспроизводимого примера ошибки tool-call в LLM.
Проблема
Разработчики тратят много времени на ручное сокращение больших падающих запросов (репродьюсеров) для поиска минимального воспроизводимого примера ошибки tool-call в LLM.
Кто берёт в работу (0)
Пока никто не взял идею в работу. Будьте первым!
Войдите, чтобы взять идею в работу или лайкнутьСвидетельства боли (1)
Разработчики тратят много времени на ручное сокращение больших падающих запросов (репродьюсеров) для поиска минимального воспроизводимого примера ошибки tool-call в LLM.
разработчик Hacker News · ▲ 0 · оригинал
показать оригинальный текст
I was working on a tool for identifying bugs and noticed that sometimes you have to manually remove parts of a broken request and rerun it to obtain a minimal reproducible example. I decided to automate this process and created an open-source CLI tool called ‘toolcall doctor’. It takes a failing request, the error condition and the parts that must not be lost, and then attempts to minimise the request, checking each time that the specified error still occurs. In one of the tested examples, the request size was reduced from 583 to 185 bytes. The project is still in its early stages: it does not automatically diagnose the root cause, and the failure condition and ‘keepers’ are specified by the developer. My top priority right now is to find people with genuine tool-calling bugs and to unders…
Бриф для разработки
Бриф ещё не сгенерирован. Нажмите кнопку — AI составит техническое задание для MVP: фичи, стек, модель данных, где искать первых клиентов.
Оценка
Экономика
Конкуренты (6)
Нужен такой инструмент?
Разместите заявку на столе заказов — укажите, сколько готовы платить, и разработчики увидят реальный спрос.
Разместить заявкуПохожие идеи в категории «Инструменты разработки»
Мониторинг ошибок для малых команд
Предоставляет полноценный трекинг ошибок и метрик здоровья сервиса для малых команд разработчиков.
Дашборд для мониторинга облачных затрат
Единый дашборд для отслеживания текущих затрат и метрик по проектам, раскиданным по разным хостингам и облакам.
AI-помощник для ревью Pull Request
Автоматизирует ревью Pull Request, помогая разработчикам справляться с возросшим объемом кода, генерируемого ИИ.