Hardwarematrix · Median in Sekunden

Referenz: RTX 3090 · 24 GiB VRAM · Ryzen 9 5900X · 64 GB RAM · NVMe. Alle Zeiten stammen von diesem Rechner; blau = Referenzzelle.

seriell: inklusive LLM-Laden. parallel: Modell und Audio bleiben geladen. Entladen und Whisper-Restore zählen nicht mit. 32 GiB: hypothetisch.

K / G30 / G60: unterschiedliche Testlasten. Einheitliche GP60-Zeiten inklusive Laden liegen für einige Profile noch nicht vor.

Modellqualitäten: alle Modelle, Detailabdeckung, Fehler und Halluzinationsindikator

VRAM
GiB		16 GB RAM
Modell · KontextBetriebs
32 GB RAM
Modell · KontextBetriebs
48 GB RAM
Modell · KontextBetriebs
64 GB RAM
Modell · KontextBetriebs
8
P4B-Q4 87k · A
seriell2,25K
Q9B-Q4 32k · A
seriell3,08K
P=Q9B-Q4 32k · A
seriell3,08K
P=Q9B-Q4 32k · A
seriell3,08K
TestFlash IQ2 32k · O · min
serielloffen
P9B-Q4 32k · M
seriell3,08K
Q?Flash XXS 32k · O · min
serielloffen
Alt.?Flash S 32k · O · min
serielloffen
12
P9B-Q4 32k · A
seriell3,08K
Q9B-Q6 87k · A
seriell3,45K
P9B-Q4 32k · A
seriell3,08K
Q9B-Q6 87k · A
seriell3,45K
P9B-Q4 32k · A
seriell3,08K
Q9B-Q6 87k · A
seriell3,45K
P9B-Q4 32k · A
seriell3,08K
Q?Flash XXS 32k · O · min
serielloffen
Alt.?Flash S 32k · O · min
serielloffen
16
P9B-Q4 32k · A
parallel2,55G60
Q9B-Q6 87k · A
seriell3,45K
P9B-Q4 32k · A
parallel2,55G60
Q9B-Q6 87k · A
seriell3,45K
P9B-Q4 32k · A
parallel2,55G60
Q9B-Q6 87k · A
seriell3,45K
TestFlash IQ2 32k · O · min
parallel6,12G60
P9B-Q4 32k · M
parallel2,55G60
QFlash XXS 32k · M · min
parallel7,16G60
Alt.Flash S 32k · M · min
parallel8,24G60
20
P9B-Q4 32k · A
parallel2,55G60
Q9B-Q6 32k · A
parallel3,15G60
P9B-Q6 32k · A
parallel3,15G60
Q27B-Q4 32k · A
serielloffen
P9B-Q6 32k · A
parallel3,15G60
Q27B-Q4 32k · A
serielloffen
P9B-Q6 32k · A
parallel3,15G60
QFlash XXS 32k · A · min
parallel7,16G60
Alt.Flash S 32k · A · min
parallel8,24G60
Alt.27B-Q4 32k · A
serielloffen
24
P9B-Q4 32k · A
parallel2,55G60
Q9B-Q6 87k×3 · A
parallel2,49G30
P9B-Q6 87k×3 · A
parallel2,49G30
Q27B-Q4 262k · A
seriell6,00K
P9B-Q6 87k×3 · A
parallel2,49G30
Q27B-Q4 262k · A
seriell6,00K
PFlash IQ2 32k · M · groß
parallel3,29G60
Q27B-Q4 262k · M
seriell6,00K
Alt.Flash XXS 32k · M · min
parallel7,16G60
Alt.Flash S 32k · M · min
parallel8,24G60
32Hypothese
P=Q9B-Q6 87k×3 · A
parallel2,49G30
Q?27B-Q4 32k · H
paralleloffen
P9B-Q6 87k×3 · A
parallel2,49G30
Q27B-Q4 32k · H
parallel8,42G60 · Ref.
P9B-Q6 87k×3 · A
parallel2,49G30
Q27B-Q4 32k · H
parallel8,42G60 · Ref.
P9B-Q6 87k×3 · A
parallel2,49G30
Q27B-Q4 32k · H
parallel8,42G60 · Ref.

P / Q: Performance / Qualität · M / A / O / H: gemessen / abgeleitet / offen / hypothetisch. Auswahl vorläufig.

Modellnamen, Kontext und Messquellen

32k = 32768, 87k = 87552, 262k = 262144 Token pro Slot; ×3 = drei Slots. Sonst ein Slot. Parallel bedeutet gemeinsame GPU-Residenz, keine bestätigte gleichzeitige Inferenz.

K: fünf warme Wiederholungen mit 377 Eingabetoken, Median der gepaarten Summe Laden + Inferenz. G60/G30: 60/30 unterschiedliche Quellen mit bereits geladenem Modell. Diese Werte sind keine gemeinsame Zeitrangfolge. Die laufenden Tests werden zunächst abgeschlossen und eingearbeitet; die Vereinheitlichung folgt danach.

32 GiB: 27B mit geladenem Audio ist die hypothetische Qualitätsoption. 8,42 s bleiben eine 3090-Textreferenz; bei 16 GB RAM ist die Eignung offen. Kleinere RAM-Ausstattungen sind nicht vollständig bestätigt. Strata-Läufe enthielten teilweise Swap.

Exakte Messwerte und Quellen · Markdownfassung