GLM 5.2 beats Claude in our benchmarks
Semgrep объявил Multimodal — платформу, объединяющую генеративный ИИ‑рассуждение с точными правилами обнаружения, что позволяет сканировать, триажировать и исправлять уязвимости в коде в одном рабочем процессе. Это часть новых решений в области защиты кода и цепочек поставок, интегрированных в их AppSec‑платформу и Workflows. Компания позиционирует сервис как способ, при котором злоумышленники «не могут захватить всё преимущество», подчёркивая, что комбинация машинного обучения и детерминированных правил повышает точность и скорость реагирования.
В рамках публичного теста на кибер‑бенчмарке Semgrep сравнил свой недавно выпущенный GLM 5.2 с Claude 3.5. По данным теста, GLM 5.2 набрал 84 % точности обнаружения, в то время как Claude 3.5 — лишь 71 %. Модель показала более высокий уровень обнаружения уязвимостей — около 15 % лучше, чем у Claude — и значительно снизила количество ложных срабатываний. Эти результаты подтверждают, что гибридный подход Semgrep позволяет достичь как высокой чувствительности, так и низкой ложной тревожности, что критично для практического внедрения в CI/CD пайплайны.