Ein Coding-Agent mit lokalen Modellen
Was die großen KI-Programmierhelfer können, nur mit einem Sprachmodell auf eigener Hardware. Ein Prototyp.
Programmieren mit KI-Agenten ist heute Alltag, aber fast immer laufen die Modelle in der Cloud. Ich wollte wissen, wie weit man mit einem Modell auf eigener Hardware kommt.
Daraus ist ein Prototyp geworden, eine kleine Mac-App mit einem Backend dahinter. Der Agent arbeitet in einer Schleife mit Werkzeugen, liest den Code eines Projekts über eine eigene Suche und lässt das Sprachmodell auf meinem GPU-Server die Arbeit machen. Weitere Engines sollen sich austauschen lassen.