Heidelberg AI News

Article · The Decoder ·

AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test

Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks. On older benchmarks, the same models score above 99 percent.

Read at the-decoder.com The opening of the article at the-decoder.com.

In this story

A tool or model opens in the Heidelberg AI Curriculum: what it does, what it costs, how to start. A repo opens on GitHub.

Related stories

All stories

VideoEverlast AIDE

Es beginnt: KI denkt jetzt in einer Sprache, die kein Mensch versteht (Neuralese)

Das Video erklärt, dass KI-Modelle zunehmend intern mit Vektoren und wiederholten Berechnungen arbeiten, ohne ihre Zwischenschritte vollständig in menschlich lesbare Sprache zu übersetzen. Das verbessert potenziell die Leistung, erschwert aber die Überwachung auf Täuschung und Sicherheitsprobleme und macht neue Interpretierbarkeitsmethoden sowie möglicherweise Regulierung nötig.