# Hardwarematrix mit Modell- und Zeitspalten **Referenzhardware für sämtliche gemessenen Zeiten: NVIDIA RTX 3090 mit 24 GiB VRAM (24576 MiB), AMD Ryzen 9 5900X, 64 GB RAM und NVMe.** Die Zelle 24 GiB / 64 GB ist der Referenzhost. Kleinere VRAM-Klassen sind Budgettests/Zuordnungen auf dieser Karte; 16/32/48 GB RAM sind abgeleitet. Die 32-GiB-Zeile ist ausdrücklich hypothetisch; deren Zeiten bleiben 3090-Referenzwerte. **Zeitdefinition nach Nutzerwunsch:** Bei **seriell** ist die Zeit der Median aus **LLM-Laden bis bereit + vollständiger Inferenz je Durchlauf**. Bei **parallel** ist das LLM bereits geladen; die Zeit umfasst die Textanfrage bis zur vollständigen Antwort. Entladezeit, Audio-Parken, Whisper-Restore, Queue-Wartezeit sowie ASR/Diarisierung gehören nicht in diese Zeitspalte. Die gemessenen Ladeanteile stammen aus warmem Dateicache. **Wichtig für den Vergleich:** **K** = fünf warme Wiederholungen des kurzen identischen Audio-Transkripts mit 377 Eingabetoken; **G60** = Median über 60 GP60-Quellen; **G30** = Median über 30 GP30-Quellen. Diese Arbeitslasten unterscheiden sich. Die Tabelle zeigt vorhandene Messwerte, noch keinen einheitlichen Zeitvergleich aller Profile. Für offene serielle Profile wird kein Ladeanteil erfunden. Die Nachtests sollen die Finalisten mit derselben GP60-Arbeitslast inklusive Laden vermessen. **P:** Performance-Alternative, **Q:** Qualitätsoption, **PG:** parallel geladen, **S:** seriell. **M:** dokumentiert gemessen; **A:** Hardwareeignung abgeleitet; **O:** offen; **H:** hypothetisch. Auch bei A/O/H sind angegebene Zeiten nur Messreferenzen vom 64-GB-3090-Host. Parallel bedeutet gemeinsame GPU-Residenz und belegt keine gleichzeitige Inferenz. Erfolgreiche Strata-Läufe enthielten teilweise Swap. **Kontext pro Slot:** 32k = 32768, 87k = 87552, 262k = 262144 Token. Bei drei Slots bezeichnet 87k den effektiven Kontext je Slot. | VRAM ↓ / RAM → | 16 GB · Modell / Kontext | Betrieb | Median s | 32 GB · Modell / Kontext | Betrieb | Median s | 48 GB · Modell / Kontext | Betrieb | Median s | 64 GB · Modell / Kontext | Betrieb | Median s | |---|---|---|---:|---|---|---:|---|---|---:|---|---|---:| | **8 GiB** | **P:** 4B-Q4 · 87k [A]
**Q:** 9B-Q4 · 32k [A] | P: seriell
Q: seriell | P: **2,25 K**
Q: **3,08 K** | **P=Q:** 9B-Q4 · 32k [A] | P=Q: seriell | P=Q: **3,08 K** | **P=Q:** 9B-Q4 · 32k [A]
**Test:** Flash IQ2 · 32k [O] | P=Q: seriell
Test: seriell | P=Q: **3,08 K**
Test: **offen** | **P:** 9B-Q4 · 32k [M]
**Q-Test:** Flash XXS · 32k [O]
**Alt.-Test:** Flash S · 32k [O] | P: seriell
Q-Test: seriell
Alt.-Test: seriell | P: **3,08 K**
Q-Test: **offen**
Alt.-Test: **offen** | | **12 GiB** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A] | P: seriell
Q: seriell | P: **3,08 K**
Q: **3,45 K** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A] | P: seriell
Q: seriell | P: **3,08 K**
Q: **3,45 K** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A] | P: seriell
Q: seriell | P: **3,08 K**
Q: **3,45 K** | **P:** 9B-Q4 · 32k [A]
**Q-Test:** Flash XXS · 32k [O]
**Alt.-Test:** Flash S · 32k [O] | P: seriell
Q-Test: seriell
Alt.-Test: seriell | P: **3,08 K**
Q-Test: **offen**
Alt.-Test: **offen** | | **16 GiB** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A] | P: parallel
Q: seriell | P: **2,55 G60**
Q: **3,45 K** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A] | P: parallel
Q: seriell | P: **2,55 G60**
Q: **3,45 K** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k [A]
**Test:** Flash IQ2 · 32k [O] | P: parallel
Q: seriell
Test: parallel | P: **2,55 G60**
Q: **3,45 K**
Test: **6,12 G60** | **P:** 9B-Q4 · 32k [M]
**Q:** Flash XXS · 32k [M]
**Alt.:** Flash S · 32k [M] | P: parallel
Q: parallel
Alt.: parallel | P: **2,55 G60**
Q: **7,16 G60**
Alt.: **8,24 G60** | | **20 GiB** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 32k [A] | P: parallel
Q: parallel | P: **2,55 G60**
Q: **3,15 G60** | **P:** 9B-Q6 · 32k [A]
**Q:** 27B-Q4 · 32k [A] | P: parallel
Q: seriell | P: **3,15 G60**
Q: **offen** | **P:** 9B-Q6 · 32k [A]
**Q:** 27B-Q4 · 32k [A] | P: parallel
Q: seriell | P: **3,15 G60**
Q: **offen** | **P:** 9B-Q6 · 32k [A]
**Q:** Flash XXS · 32k [A]
**Alt.:** Flash S · 32k [A]
**Alt.:** 27B-Q4 · 32k [A] | P: parallel
Q: parallel
Alt.: parallel
Alt.: seriell | P: **3,15 G60**
Q: **7,16 G60**
Alt.: **8,24 G60**
Alt.: **offen** | | **24 GiB** | **P:** 9B-Q4 · 32k [A]
**Q:** 9B-Q6 · 87k×3 [A] | P: parallel
Q: parallel | P: **2,55 G60**
Q: **2,49 G30** | **P:** 9B-Q6 · 87k×3 [A]
**Q:** 27B-Q4 · 262k [A] | P: parallel
Q: seriell | P: **2,49 G30**
Q: **6,00 K** | **P:** 9B-Q6 · 87k×3 [A]
**Q:** 27B-Q4 · 262k [A] | P: parallel
Q: seriell | P: **2,49 G30**
Q: **6,00 K** | **P:** Flash IQ2 · 32k [M]
**Q:** 27B-Q4 · 262k [M]
**Alt.:** Flash XXS · 32k [M]
**Alt.:** Flash S · 32k [M] | P: parallel
Q: seriell
Alt.: parallel
Alt.: parallel | P: **3,29 G60**
Q: **6,00 K**
Alt.: **7,16 G60**
Alt.: **8,24 G60** | | **32 GiB · hypothetisch** | **P=Q-Basis:** 9B-Q6 · 87k×3 [A]
**Q-Test:** 27B-Q4 · 32k [H] | P=Q-Basis: parallel
Q-Test: parallel | P=Q-Basis: **2,49 G30**
Q-Test: **offen** | **P:** 9B-Q6 · 87k×3 [A]
**Q / Empfehlung:** 27B-Q4 · 32k [H] | P: parallel
Q / Empfehlung: parallel | P: **2,49 G30**
Q / Empfehlung: **Ref. 8,42 G60** | **P:** 9B-Q6 · 87k×3 [A]
**Q / Empfehlung:** 27B-Q4 · 32k [H] | P: parallel
Q / Empfehlung: parallel | P: **2,49 G30**
Q / Empfehlung: **Ref. 8,42 G60** | **P:** 9B-Q6 · 87k×3 [A]
**Q / Empfehlung:** 27B-Q4 · 32k [H] | P: parallel
Q / Empfehlung: parallel | P: **2,49 G30**
Q / Empfehlung: **Ref. 8,42 G60** | - **4B-Q4:** Qwen3.5-4B Q4_K_M - **9B-Q4:** Qwen3.5-9B Q4_K_M - **9B-Q6:** Qwen3.5-9B Q6_K - **27B-Q4:** Qwen3.8-27B UD-Q4_K_M - **Flash IQ2:** Qwen3.8-Flash-Next GSQ-RCO IQ2_XS / Strata - **Flash XXS:** Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS / Strata - **Flash S:** Qwen3.8-Flash-Next GSQ-RCO IQ3_S / Strata **32 GiB VRAM:** Qualitätsziel ist **Qwen3.8-27B UD-Q4_K_M mit parallel geladenem Whisper und pyannote**, zunächst 32k / ein Slot. Die angeführten 8,42 s sind die gemessene Textinferenz auf der 3090, keine Zeitmessung oder Geschwindigkeitsprognose einer 32-GiB-Karte. Größere Kontexte und mehr Slots sind eigene Testoptionen. Mit nur 16 GB System-RAM bleibt die 27B-Eignung offen. Für 20 GiB / 27B seriell bei 32k gibt es bislang keinen gemessenen vollständigen Lade-plus-Inferenz-Median. Als reine Inferenzreferenz existieren 8,42 s G60; diese Zahl wird nicht als Gesamtzeit in die Zelle übernommen. Auch 8-/12-GiB-IQ3-Seriellprofile bleiben zeitlich offen. Die Performance-/Qualitätsauswahl ist weiterhin vorläufig. Für 12/20 GiB und kleinere RAM-Ausstattungen müssen die Gesamtbudgets bestätigt werden. Die Originalberichte und ihre Mediane bleiben unverändert; hier werden die Zeitausschnitte aus den Rohdaten passend zum Nutzerwunsch neu ausgewertet.