Kienzledoku · Modellbenchmark für KI-Dokumentation

60 synthetische Patientengespräche einer Hausarztpraxis, KI-generiert. Benchmarking von Sprachmodellen für die KI-Dokumentation mit Kienzledoku. GP60 umfasst 30 Fallpaare mit je zwei Varianten und 720 Prüfpunkten je Modelllauf.

Acht Modellpakete · 15 Bewertungsstände · Stand: 28.10.2026 · Referenz: RTX 3090, Ryzen 9 5900X, 64 GB RAM, NVMe.

Beide Grafiken: absteigend nach gewichteter Detailabdeckung sortiert. Halluzinationen H = zusätzliche unbelegte Aussagen; in der Gesamtpunktzahl nicht separat bestraft. Mehrere Zeilen pro Modell stehen für unterschiedliche Messungen; Details siehe Tabellen.

Abdeckung als SVG öffnen

GP60: getrennte Balken für falsche Angaben, vollständige Auslassungen, teilweise erfüllte Kriterien und Halluzinationen als unbelegte Zusätze.

GP60: weighted_percent; alle Werte in der Datentabelle.

GP60: F; alle Werte in der Datentabelle.

GP60: A; alle Werte in der Datentabelle.

GP60: T; alle Werte in der Datentabelle.

GP60: H_unsupported_claims; alle Werte in der Datentabelle.

Welche Hardware für welches Modell?

Hardwarematrix · Modelloptionen und Medianzeiten

Hardwarematrix separat öffnen

GP60-Tabelle · Übersicht aller acht Modellpakete

GP60 · Modellleistung, Halluzinationen und Fehler
Modell	Abdeckung	V	T	A	F	F prio.	Halluzinationen H	Stände
4B-Q4	68,8 %	416	158	128	18	12	15	1
9B-Q4	81,4 %	528	116	58	18	13	8	1
9B-Q6	82,4 %	541	104	53	22	14	6	1
27B-Q4	92,0–93,0 %	620–638	63–85	14–17	1–2	0	17–20	2
35B-A3B	82,6 %	526	137	41	16	9	22	1
Flash IQ2	88,5–90,4 %	584–602	98–114	11–24	5–10	2–5	3–8	4
Flash XXS	92,1–92,5 %	622–625	76–83	5–8	7–12	4–6	7–24	3
Flash S	91,1–92,5 %	612–626	80–88	8–11	6–9	4–6	14–16	2

Spannen = kleinster bis größter beobachteter Wert über die unten einzeln gezeigten Profile und Bewertungen. Keine Mittelwerte oder Konfidenzintervalle. V/T/A/F je 720 Prüfpunkte; H je 60 Antworten. Mehr Abdeckung/V ist besser; weniger F/A/T/H ist besser.

GP60-Tabelle · Halluzinationen, Fehler und Auslassungen · alle Einzelwerte

Abdeckung = (2V + T) / 1440. Diese Punktzahl enthält keinen zusätzlichen Abzug für H. F prio. ist eine Teilmenge von F. Ein Stern kennzeichnet die 27B-Neubewertung derselben Antworten.

GP60 · Halluzinationen, Fehler und Auslassungen · alle Einzelwerte
Nr.	Modell · Profil	Review	Punkte	Abdeckung	V	T	A	F	F prio.	Halluzinationen H	JSON
01	4B-Q432k · 1 Slot	R09	990/1440	68,8 %	416	158	128	18	12	15	60/60
02	9B-Q432k · 1 Slot	R09	1172/1440	81,4 %	528	116	58	18	13	8	60/60
03	9B-Q632k · 1 Slot	R09	1186/1440	82,4 %	541	104	53	22	14	6	60/60
04	27B-Q432k · 1 Slot	R09	1339/1440	93,0 %	638	63	17	2	0	17	60/60
05	27B-Q432k · 1 Slot · NeubewertungDieselben Antworten wie R09; erneut maskiert bewertet.	R12*	1325/1440	92,0 %	620	85	14	1	0	20	60/60
06	35B-A3B32k · 1 Slot	R14	1189/1440	82,6 %	526	137	41	16	9	22	60/60
07	Flash IQ2512 MiB Cache	R11	1302/1440	90,4 %	602	98	15	5	2	6	60/60
08	Flash IQ2512 MiB CacheEine Antwort verletzt das JSON-Schema.	R12	1284/1440	89,2 %	585	114	11	10	5	6	59/60
09	Flash IQ2groß · 12-GiB-Prozessziel	R09	1277/1440	88,7 %	586	105	21	8	5	8	60/60
10	Flash IQ26196 MiB Cache	R11	1274/1440	88,5 %	584	106	24	6	3	3	60/60
11	Flash XXS576 MiB Cache	R12	1332/1440	92,5 %	625	82	5	8	5	7	60/60
12	Flash XXS576 MiB Cache	R13	1326/1440	92,1 %	625	76	7	12	6	17	60/60
13	Flash XXS1664 MiB CacheGrenzprofil: nur 54,2 MiB Reserve bis 16 GiB beim Audiopeak.	R13	1327/1440	92,2 %	622	83	8	7	4	24	60/60
14	Flash S640 MiB Cache	R12	1332/1440	92,5 %	626	80	8	6	4	16	60/60
15	Flash S9472 MiB CacheGrenzprofil: nur 36,2 MiB Reserve bis 24 GiB beim Audiopeak.	R14	1312/1440	91,1 %	612	88	11	9	6	14	60/60

GP30 · ältere Messreihe vollständig anzeigen

30 Antworten mit je acht Prüfpunkten, insgesamt 240 Kriterien und maximal 480 Punkte. Andere Last und teilweise andere Kontext-/Slotprofile: kein gemeinsames Ranking mit GP60.

Abdeckung als SVG öffnen

GP30: getrennte Balken für falsche Angaben, vollständige Auslassungen, teilweise erfüllte Kriterien und Halluzinationen als unbelegte Zusätze.

GP30: weighted_percent; alle Werte in der Datentabelle.

GP30: F; alle Werte in der Datentabelle.

GP30: A; alle Werte in der Datentabelle.

GP30: T; alle Werte in der Datentabelle.

GP30: H_unsupported_claims; alle Werte in der Datentabelle.

GP30 · Halluzinationen, Fehler und Auslassungen · alle Einzelwerte
Nr.	Modell · Profil	Review	Punkte	Abdeckung	V	T	A	F	F prio.	Halluzinationen H	JSON
H01	4B-Q487552 Token · 1 Slot	R05	351/480	73,1 %	150	51	36	3	—	8	—
H02	9B-Q432k · 1 Slot	R05	416/480	86,7 %	185	46	5	4	—	5	—
H03	9B-Q6Originalprofil · 3 Slots	R05	429/480	89,4 %	196	37	4	3	—	7	—
H04	27B-Q4262144 Token · 1 Slot	R05	456/480	95,0 %	218	20	1	1	—	8	—
H05	35B-A3B32k · 1 Slot	R08	432/480	90,0 %	198	36	4	2	—	7	30/30
H06	Flash IQ232k · 1 Slot	R08	442/480	92,1 %	204	34	2	0	—	7	30/30

„—“: nicht in der verwendeten Primärzusammenfassung ausgewiesen bzw. nicht separat erhoben; kein Nullwert.

Vollständige Modellnamen

4B-Q4: Qwen3.5-4B Q4_K_M

9B-Q4: Qwen3.5-9B Q4_K_M

9B-Q6: Qwen3.5-9B Q6_K

27B-Q4: Qwen3.8-27B UD-Q4_K_M

35B-A3B: Qwen3.6-35B-A3B UD-Q4_K_XL / Strata

Flash IQ2: Qwen3.8-Flash-Next GSQ-RCO IQ2_XS / Strata

Flash XXS: Qwen3.8-Flash-Next GSQ-RCO IQ3_XXS / Strata

Flash S: Qwen3.8-Flash-Next GSQ-RCO IQ3_S / Strata

Bewertung und Grenzen

Gesamtpunktzahl: V = 2, T = 1, A/F = 0 Punkte. Abdeckung = (2V + T) / (2 × Prüfpunkte). GP60: maximal 1440 Punkte; GP30: maximal 480. Das ist ein Maß der ausgewählten Detailabdeckung, kein bereits um sämtliche Fehler und Halluzinationen bereinigter Qualitätsscore.
V / T / A / F: V vollständig richtig; T teilweise richtig bzw. unvollständig ohne falschen Bestandteil; A vollständig ausgelassen; F mindestens ein falscher Bestandteil oder Widerspruch. T und A zeigen unterschiedliche Grade fehlender Details. Manche unklaren Angaben dürfen laut Originalprompt ausgelassen werden.
H / Halluzinationen: H zählt zusätzliche, nicht durch die Quelle gestützte Aussagen außerhalb der ausgewählten Prüfpunkte. F kann ebenfalls erfundene Inhalte enthalten. Daher ist H ein Halluzinationsindikator und keine vollständige Halluzinationsrate. H zählt Aussagen pro 60/30 Antworten, F/T/A zählen Prüfpunkte pro 720/240; diese Zahlen nicht addieren.
F prio.: Fehler an im Korpus priorisierten Prüfpunkten, bereits in F enthalten. Für GP30 nicht separat erhoben; „—“ bedeutet nicht null. JSON bezeichnet schema-konforme Antworten.
Vergleichbarkeit: GP60 hat 30 Fallpaare mit 60 Varianten und 720 Prüfpunkten, keine 60 unabhängigen Fälle. Die Kriterien sind gleich, die Antworten und Bewertungsdurchgänge unterscheiden sich. Das 27B erhielt für identische Antworten erst 638, dann 620 V; gewichtete Abdeckung 93,0 bzw. 92,0 %. Diese Differenz zeigt Bewertungsstreuung. Die maskierte Bewertung stammt wie der Korpus aus KI-Arbeit, ohne unabhängige fachliche Validierung. Kleine Abstände rechtfertigen keine sichere Rangfolge.
Profile: GP60 verwendet 32768 Token konfigurierten Kontext und einen Slot. Cachezahlen sind MiB Expertencache, keine VRAM-Gesamtanforderung. R13/1664 und R14/9472 sind gemessene Grenzprofile mit sehr kleiner Audioreserve. Sie sind keine Empfehlung mit Betriebsreserve. Getrennte Läufe und weitere Engine-Unterschiede erlauben keine alleinige Kausalaussage über Cachegröße und Qualität.
Abdeckung der Auswertung: Alle acht in GP60 bewerteten Modellpakete sowie alle 15 dort vorhandenen Bewertungsstände und sechs GP30-Stände sind enthalten. Kopierte historische Zeilen werden nicht doppelt gezählt. Technische K-Kurztests, Lade-/Parkzyklen und Wiederholungen ohne vollständiges Kriterienreview bekommen keinen erfundenen Qualitätsscore. Die Hardware-Nachtests R15 enthalten zum Erstellungsstand keine neue vollständige Qualitätsbewertung; ihre importierten historischen GP60-Zeilen sind keine neuen Messungen.

Primärquellen und überprüfbare Daten

Die Summen V/T/A/F und priorisierte F wurden gegen sämtliche Einzelurteile geprüft. Die Exportdatei enthält alle 21 Zeilen mit Quellenpfaden; JSON ergänzt Dateiprüfsummen.

Vollständige Daten und Provenienz · CSV · Textfassung