KONTEXT
Jede Runde zahlt die ganze Vorgeschichte
Ein langes Gespräch wird gleichzeitig teurer und schwächer, und beides hat dieselbe Ursache. Was im Kontextfenster steht, was beim Überlauf passiert, und was eine Million Token zusagt.
Notizen
Notizen zu dem, woran ich gerade sitze. Kein Ratgeber und keine Anleitung für jemand anderen: Was hier steht, hat bei mir funktioniert oder ist bei mir schiefgegangen. Ein zweites Datum heißt, ich habe später noch einmal hingesehen.
Alle Notizen
TEMPERATUR
Temperatur ist kein Qualitätsregler
Der erste Griff bei einer schlechten Antwort geht zur Temperatur. Bei neun Modellen gibt jeder Wert außer dem Standard einen Fehler zurück. Was der Regler wirklich tat, und woran man dreht.
TRIFECTA
Ein Angriff sagt dem Agenten nicht, was er tun soll
Drei Zutaten, und nur zusammen sind sie gefährlich. Dazu eine Angriffskette, die in 3 von 5 Versuchen durchkam, obwohl sie dem Modell an keiner Stelle sagt, was es tun soll.
ZUSTAND
Ein Weltmodell rechnet in Zuständen, nicht in Token
Zwei Milliarden Parameter, 32,54 GB Grafikspeicher. Bei Weltmodellen sagt die Parameterzahl noch weniger über die Karte aus als bei Sprachmodellen, und zwar in die andere Richtung.
TOKEN
Was ein Modell außer Text noch liest
Bild, Ton, Video, Werkzeuge. Alles davon wird zu Token, und die Token sind der Preis. Werkzeuge kosten bei Opus 5 schon 286 davon, bevor eines benutzt worden ist.
ABLAGE
Paperless-ngx mit eigener KI
Was das Aufsetzen der Dokumentenablage kostet, welche drei KI-Funktionen darin stecken, und an welcher Stelle die eigenen Papiere den Server verlassen.
PAPIERSPUR
AI Paper Trail rechnet aus, was dein Chatverlauf über dich sagt
Ein kostenloses Werkzeug von Proton. Du lädst deinen exportierten Chatverlauf hoch, es gibt dir vier Kategorien zurück, darunter einen Geldwert. Was es misst und was es dafür will.
ABLEGER
Ein Modell, viele Ablagen, und nur eine davon ist deine
Original, Werkzeugfassung, GGUF, Zutat. Vier Sorten Ablage, drei Fallen und zwei Blicke, die vor dem ersten Klick entscheiden, welche davon deine ist.
VERDACHT
Erfunden, oder sieht es nur so aus?
Zwei Fälle aus einem Projekt. Einmal hat das Schema zum Raten gezwungen, einmal war der Verdacht falsch. Woran man das trennt, bevor man am Prompt schraubt.
EXPERTEN
Der Modellname sagt nicht, was in die Karte passt
Ein Modell heißt 30B und braucht 11 GB, ein anderes heißt 20B und braucht auch 11. Ein drittes braucht knapp 77. Wie man das vor dem Herunterladen sieht, statt danach.
OLLAMA
Lokale KI auf einer 12-GB-Karte
Ollama unter Windows, und wie man vorher ausrechnet, welches Modell wirklich in die Grafikkarte passt.