# IQ3_XXS: größter Cache im 16-GiB-Gesamtbudget gegenüber Minimalcache

Messung vom 27./28. Oktober 2026.

Der größte im getesteten Profil passende Expertencache umfasst **1664 MiB / 987 Slots**, das Minimum **576 MiB / 341 Slots**. Mit dauerhaft geladenem Whisper und pyannote erreichte die aktive Audiokette insgesamt **15,947 GiB VRAM**. Die mediane Antwortzeit sank von **7,062 auf 5,414 s** (23,3 % kürzer). Die Generierung war 1,13-mal so schnell. Der ursprüngliche Betriebszustand ist wiederhergestellt und über den installierten Client geprüft.

## Geschwindigkeit

Je 60 neue Hauptantworten, dieselben Quellen, derselbe Prompt und dieselbe Engine. Pro Fall wird die Reihenfolge ausgeglichen: einmal groß zuerst, einmal minimal zuerst. Cacheänderungen sind aus den Antwortzeiten ausgeschlossen.

| Messgröße | Größter passender Cache | Minimalcache |
|---|---:|---:|
| Eingabetoken, Median | 875,5 | 875,5 |
| Ausgabetoken, Median | 301,0 | 300,5 |
| Ausgabetoken, Summe aller 60 Antworten | 19.293 | 19.733 |
| Zeit bis erstes Token, s | 1,176 | 2,336 |
| Vollständige Antwort, s | 5,414 | 7,062 |
| Promptverarbeitung, ms | 1.153,9 | 2.312,1 |
| Prompttoken/s laut Backend | 736,40 | 377,20 |
| Generierung, ms | 4.256,6 | 4.819,6 |
| Generierung, Token/s laut Backend | 70,30 | 62,05 |
| Generierung, Token/s aus HTTP | 70,40 | 62,13 |
| Host-CPU beschäftigt, % aller logischen Kerne | 49,8 | 50,4 |

Antwortzeitspanne groß 4,244–13,227 s, minimal 6,068–17,415 s. Median der fallweise gepaarten Zeitrelation minimal/groß: 1,325. Zwölf zusätzliche Wiederholungen pro Größe im zusammenhängenden Block: median 5,674 / 7,180 s. Die Tokenraten berücksichtigen die unterschiedlich langen Antworten; die Gesamtzeit allein genügt hierfür nicht.

Eingabetoken je Größe insgesamt 58840. Alle Hauptantworten mit null gemeldeten wiederverwendeten Prompttoken: ja. Verkleinern median 0,021 s, Vergrößern median 0,049 s. Die Engine wurde dabei nicht neu geladen.

## Speichergrenze und Kalibrierung

| Höchster beobachteter Wert | Größter passender Cache | Minimalcache |
|---|---:|---:|
| Strata-Prozess VRAM bei Text, GiB | 7,711 | 6,648 |
| Gesamte GPU bei Text, GiB | 14,717 | 13,654 |
| Strata RSS, GiB | 41,759 | 41,759 |
| Strata Swap, GiB | 0,245 | 0,244 |
| Host-RAM belegt bei Text, GiB | 48,450 | 48,445 |
| Hostswap bei Text, GiB | 6,698 | 6,698 |
| Gesamte GPU bei aktiver Audiokette, GiB | 15,947 | 14,885 |
| Verbleibend bis 16 GiB beim Audiopeak, MiB | 54,2 | 1.142,2 |

Die physische Karte ist eine RTX 3090 mit 24 GiB. Das Gesamtbudget betrug 16384 MiB und umfasst auch Audioworker, Treiberreserve und sonstige GPU-Belegung. Der native Cache wurde in 64-MiB-Schritten angepasst. Anforderung für den gewählten Cache: reserve_mib=9484; Promptchunk groß/minimal 1024/256. Die nächste größere gemessene Cacheallokation wäre 1728 MiB / 1026 Slots. Ihr im Leerlauf gemessener Gesamtbedarf plus höchstem gemessenen Audiozuwachs ergibt 16.389,8 MiB, also 5,8 MiB über dem Budget. Für diese Grenzprobe wurde die Audiolast deshalb nicht zusätzlich gestartet. Das ausgewiesene Maximum gilt für die getestete Allokationsschrittweite und Last.

Whisper und pyannote blieben als dieselben ursprünglichen CUDA-Objekte geladen. Pro Cachegröße liefen je drei echte synthetische 48-Sekunden-Ketten vor und nach der Textmessung; zusätzliche Ketten dienten der Kalibrierung. ASR und Diarisierung liefen nacheinander, Strata blieb resident. ASR-Median groß/minimal 1,255/1,252 s; Diarisierung 0,496/0,500 s.

Strata erhöht beim Vergrößern außerdem automatisch den Promptchunk von 256 auf 1024. Der Geschwindigkeitsvergleich beschreibt das gesamte native Cacheprofil einschließlich dieser geänderten Promptverarbeitung. Die verbleibende Reserve des Maximalprofils ist knapp. Längere Audioblöcke, gleichzeitige Verarbeitung oder andere Treiber können mehr Speicher benötigen. Leistung und Speicherverhalten einer echten 16-GiB-Karte sind mit diesem Budgettest nicht gemessen. Der hohe Hauptspeicherbedarf von IQ3_XXS bleibt bestehen. Der Host hatte vor dem Versuch 5,368 GiB Swap belegt, im Textlauf bis 6,698 GiB. Strata selbst hatte dabei bis 250,8 MiB ausgelagerte Seiten. Die Auswirkung dieser Speicherlage wird nicht getrennt isoliert. Die Engine las im Hauptlauf groß/minimal 0,878/0,775 GiB physisch vom Datenträger; dies ist kein nachgewiesener reiner RAM-Betrieb.

## Qualität

Zwölf vorab definierte Quellenkriterien je Fall, 720 je Cachegröße. V = vollständig korrekt, T = korrekt, aber unvollständig, A = ausgelassen, F = sachlich falsch. Zusätzliche unbelegte Aussagen werden getrennt erfasst. Die 1440 Urteile wurden mit fallweise zufälligen A/B-Labels vor Auflösung der Cachegrößen festgeschrieben.

| Quellenurteil | Größter passender Cache | Minimalcache |
|---|---:|---:|
| Vollständig richtig (V) | 622 | 625 |
| Teilweise richtig (T) | 83 | 76 |
| Ausgelassen (A) | 8 | 7 |
| Sachlich falsch (F) | 7 | 12 |
| Davon F in Prioritätspunkten | 4 | 6 |
| Zusätzliche unbelegte Aussagen | 24 | 17 |

Mehr vollständige Kriterien: großer Cache in 15 Fällen, Minimum in 16, Gleichstand in 29. 664/720 Kriterienurteile stimmen überein. Bytegleiche Antworten zwischen den Größen: 0/60. Auch Wiederholungen bei gleicher Größe unterscheiden sich: groß 0/12 und minimal 0/12 bytegleich. Einzelne Qualitätsunterschiede lassen sich deshalb nicht sicher der Cachegröße zuschreiben. Cachegröße und Quantisierung sind verschiedene Einstellungen; hier wurden dieselben IQ3_XXS-Gewichte verwendet.

Der gleiche KI-Agent hat den Korpus erstellt und die maskierten Antworten bewertet. Die 60 Varianten stammen aus 30 verwandten Gesprächspaaren. Das Ergebnis beschreibt die Detailabdeckung dieser Quellen; es ist keine unabhängige klinische Genauigkeitsquote.

## Reproduzierbarkeit und Wiederherstellung

Strata 0.2.6, Control 0.1.51, CUDA-Engine 0.1.50, Ryzen 5900X, 64 GiB installierter RAM. ISTA-DASLab Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS, 32768 Kontext, ein Slot, int8 KV, MTP an, Thinking aus. Temperatur 0,1, Seed 42, top_k 40, top_p 0,95, min_p 0,05, maximal 2400 Ausgabetoken, Promptcache aus. 120 Hauptantworten, 24 Wiederholungen und acht Aufwärm-/Vorprüfantworten zusätzlich zu Kalibrierungsantworten. Jeder erfolgreiche HTTP-Aufruf bleibt auch bei Formatfehlern im Datensatz.

Telemetrie: 7944 Messpunkte, median 150,0 ms Abstand. Sehr kurze Spitzen zwischen Abtastungen können fehlen. Alle Hauptantworten schemakonform: groß ja, minimal ja. Zwei Vorprüfungen wurden separat aufbewahrt: zunächst fehlte die synthetische Audiodatei; anschließend zeigte die Grenzkalibrierung, dass Strata bei einer Reserveänderung unterhalb einer Segmentgröße den größeren Cache behält. Beide Male stellte der Schutz die Dienste wieder her. Der vollständige ausgewertete Lauf ergänzt die Testdatei und baut den gewählten Cache nach der Grenzprobe vom Minimum aus neu auf.

Die ursprünglichen 15 Dienstzustände, 57 Produktionsdateien und sechs bestehenden Strata-Dateien wurden abschließend geprüft. Standard wieder 9B-Q6 mit drei Slots; 27B weiterhin auswählbar. Der installierte Client bestand Textextraktion und WAV → ASR → Diarisierung → 27B → Rückkehr zu Q6. Alle Testports, Prozesse und Sicherungstimer sind beendet. Die private Konfigurationssicherung verbleibt ausschließlich auf dem Server.

## Dateien

- [Qualitätsbeispiele aus beiden Richtungen](Detailvergleich.md)
- [Alle Quellen, Antworten und Einzelurteile](Einzelfaelle.md)
- [Kompakte Vergleichstabelle als CSV](summary/comparison.csv)
- [Messwerte inklusive Token](summary/measurements.csv)
- [Gepaarte Fälle](summary/paired_cases.csv)
- [1440 Kriterienurteile](summary/fact_reviews.csv)
- [Zusammenfassung als JSON](summary/results.json)
- [Kalibrierung und nächste Cachegrenze](calibration.json)
- [Abschließender Zustandscheck](final-state-check.json)
- [Clientprüfung](restored-client-verification.json)