Das Gedächtnis mit Verfallsdatum
Aus Neugier habe ich einmal zugesehen, wohin meine Token wandern. Was zuerst wie Abzocke aussah, erzählt in Wahrheit vom vergesslichen Gedächtnis meines Partners – und davon, wann Feierabend richtig teuer wird.
Ein Blick auf den Tank
Claude und Codex zeigen mir jederzeit, wie viel meines Kontingents ich schon verbraucht habe. Ehrlich gesagt habe ich dort lange nur hingeschaut, wenn das Limit in Sichtweite kam – so wie man die Tankanzeige erst beachtet, wenn die Nadel auf Rot steht.
Neulich war ich einfach neugierig. Ich habe über mehrere Sessions mitverfolgt, was mit meinen Token passiert. Nicht erst am Ende, sondern von der ersten Aufgabe an. Und was ich dabei gesehen habe, hat mich erst erschreckt und dann einiges über Agenten und die Dienste dahinter gelehrt.
Immer wieder das gleiche Bild: Ich starte eine Session, gebe den ersten Prompt ein – und noch bevor wirklich etwas passiert ist, sind schon 20 oder 30 Prozent meines Fünf-Stunden-Limits weg. Mein erster Gedanke war jedes Mal: Oh Gott, was ist denn jetzt passiert? Habe ich aus Versehen das halbe Projekt in den Kontext gekippt?
Doch danach ging es ganz gemächlich weiter. Der Verbrauch beruhigte sich, die nächsten Aufgaben knabberten nur noch in normalem Tempo am Kontingent. Was ich erst für einen Anzeigefehler oder eine undurchsichtige Abrechnung hielt, ließ sich mit ein bisschen Nachdenken dann doch recht einfach erklären.
Kein Anzeigefehler, sondern ein Gedächtnis
Ich habe den Agenten an anderer Stelle einen Kollegen mit Gedächtnisverlust genannt: Er startet jede Aufgabe bei null, alles Wissen muss frisch in seinen Kontext geladen werden. Und das stimmt nicht nur für eine Session, sondern für jeden einzelnen Prompt. Das LLM merkt sich unsere Session nicht; es bekommt sie bei jedem einzelnen Prompt wieder und wieder komplett mitgegeben.
Damit dieses Einlesen nicht bei jedem einzelnen Prompt aufs Neue anfällt, gibt es eine Art Kurzzeitgedächtnis: den Prompt-Cache. Solange die Session läuft, merkt sich das System, was schon eingelesen wurde, und muss es nicht ständig neu verarbeiten. Genau deshalb wird es nach dem teuren Start so angenehm günstig.
Aber ein Cache wird natürlich auch irgendwann invalidiert.
Es kam vor, dass ich eine Session pausieren musste, weil mein Fünf-Stunden-Kontingent aufgebraucht war. Am nächsten Morgen wollte ich die Aufgabe zu Ende bringen, setzte an derselben Stelle wieder an – und sah zu, wie mit dem allerersten Prompt ein riesiger Batzen Token verschwand. Offenbar war der Cache über Nacht nicht mehr nutzbar. Die gesamte Session und das ganze mühsam aufgebaute Wissen mussten wieder als Kontext verfügbar gemacht werden. Danach lief alles wieder im gewohnten, günstigeren Tempo.
Dasselbe passierte, wenn ich eine Session gar nicht pausieren musste, sondern schlicht fortsetzen wollte – weil sie so schön in Fahrt war und ich auf all dem gesammelten Wissen aufbauen konnte. Ein paar Stunden später zurück an den Rechner, weitergemacht: gleicher teurer Kaltstart, gleiches Neu-Einlesen.
Wie lange hält die Erinnerung?
Eine verlässliche, allgemeingültige Zusage dazu, wie lange ein Prompt-Cache hält, habe ich bislang nicht gefunden. Meine Beobachtung: Über Nacht ist er praktisch sicher weg. Unterbrechungen am selben Tag scheinen dagegen häufig unproblematisch zu sein.
Das ist keine offizielle Angabe und vermutlich auch nicht bei jedem Dienst gleich. Es reicht aber für eine praktische Faustregel: Eine kurze Pause ist meist kein Problem. Nach einer längeren Unterbrechung sollte ich damit rechnen, dass die Session ihren Kontext nicht mehr günstig im Kurzzeitgedächtnis hat.
Die Lehre daraus ist unspektakulär, spart aber spürbar Token: Wenn ich Feierabend machen will und noch mitten in einer Aufgabe stecke, setze ich die Session nicht einfach auf Pause in der Hoffnung, morgen nahtlos weiterzumachen.
Stattdessen lasse ich die Session vor dem Ausschalten das Wichtige in einer Datei zusammenfassen: Wo stehen wir? Was ist der nächste Schritt? Welche Entscheidungen sind schon gefallen?
Am nächsten Tag starte ich frisch, lasse diese kompakte Zusammenfassung laden – und baue darauf auf, statt die komplette Vortags-Session teuer wiederzubeleben.
Es ist im Grunde derselbe Gedanke wie bei der Dokumentation: Nicht die vollständige Historie zählt, sondern das kompakte, gut auffindbare Wissen zum richtigen Zeitpunkt. Eine kleine Maßnahme mit großer Wirkung auf die Token-Effizienz.