whichllm

Bei der Wahl eines lokalen LLM verlassen sich die meisten auf die Parameterzahl: Man nimmt an, ein 70B-Modell schlage ein 7B, und merkt dann, dass es nicht in den VRAM passt oder nur wenige Tokens pro Sekunde liefert. whichllm, ein CLI von Andyyyy64, schließt genau diese Lücke. Das Tool erkennt die Hardware (GPU, CPU, RAM) und sortiert jene Modelle nach oben, die auf der konkreten Maschine wirklich gut laufen, bewertet anhand echter Leaderboards statt allein nach Größe. Die Idee ist schlicht: Statt zu raten, ob ein quantisiertes 32B-Modell die bessere Wahl ist als ein kleineres, neueres, bekommt man ein faktenbasiertes Ranking, das an die eigenen Grenzen gekoppelt ist. Es ist ein Entscheidungswerkzeug für den unübersichtlichen Bereich zwischen reinen Benchmarks und dem, was die Hardware tatsächlich verkraftet.

Die Hardware-Erkennung deckt NVIDIA (über nvidia-ml-py), AMD unter Linux, Apple Silicon über Metal und reine CPU-Setups mit AVX-Prüfung ab. Spannend wird es beim Ranking. Es bündelt eine Live-Ebene (LiveBench, Artificial Analysis, Aider) und eine eingefrorene Ebene (Open LLM Leaderboard v2, Arena ELO, Vision-Indizes) und bewertet Modelle nach Benchmark-Qualität, Größe, Quantisierungsabschlägen, Evidenz-Vertrauen, Laufzeit-Eignung und geschätzter Geschwindigkeit. Bemerkenswert ist die Ehrlichkeit gegenüber Unsicherheit: Markierungen kennzeichnen geschätzte, selbst berichtete oder fehlende Daten, und veraltete Leaderboards werden entlang von Modell-Linien gedämpft, damit alte Werte neuere Varianten nicht aufblasen. Über das reine Ranking hinaus fragt plan, welche GPU ein Zielmodell braucht, upgrade vergleicht zwei Karten, und run lädt ein Modell herunter und startet direkt den Chat.

Die natürliche Zielgruppe sind alle, die Modelle lokal betreiben und Versuch und Irrtum satt haben: Entwickler, Forschende und Hardware-Enthusiasten, die eine belastbare Antwort statt einer Forenmeinung wollen. Konkrete Anwendungsfälle stechen heraus. Vor dem Kauf einer Karte simuliert whichllm --gpu "RTX 5090" diese Hardware und zeigt, was sie freischaltet, und plan "llama 3 70b" arbeitet vom Modell zurück zu seinen Anforderungen. Für Automatisierung lässt sich die --json-Ausgabe über jq leiten, um die top model_id programmatisch zu wählen, praktisch in Provisionierungs-Skripten. Aufgaben-Profile wie --profile coding oder --profile vision grenzen die Ergebnisse ein, und snippet gibt kopierfertigen Python-Code aus. Es belohnt alle, die die Modellwahl als echte Entscheidung mit Budget- und Latenz-Abwägungen behandeln.

Die Einschränkungen zählen, und das Projekt benennt die meisten erfrischend offen. Geschwindigkeitswerte sind Schätzungen mit Vertrauensbereichen, keine gemessenen Garantien: Der tatsächliche Durchsatz hängt von Backend, Quantisierung und Kontextlänge ab, daher sind tok/s-Angaben als Orientierung zu verstehen, nicht als Versprechen. Der Ollama-Weg ist holprig, da Ollama-Modellnamen nicht zuverlässig zu HuggingFace-Repo-IDs passen, sodass vor einem ollama run ein manueller Mapping-Schritt nötig bleibt. Es läuft nur unter Python 3.11+, und die Live-Benchmark-Ebenen hängen davon ab, dass externe Quellen verfügbar und aktuell bleiben, mit teils nachlaufendem Caching. Vor allem ist es früh, in einer 0.x-Version, sodass sich Gewichtungen und Datenabdeckung weiter verschieben werden. Nichts davon ist fatal, aber es ist eine Planungshilfe, kein Benchmark-Harness.

Eine direkte kommerzielle Alternative gibt es eigentlich nicht: Der Vergleich ist das eigenhändige Durchforsten von Leaderboards, Reddit-Threads und VRAM-Rechnern, also genau die Reibung, die whichllm verdichtet. Das macht es im Moment der Entscheidung wirklich nützlich, wenn man wählt, was man laufen lässt oder welche GPU man kauft, und einen geordneten Startpunkt auf Basis mehrerer Benchmarks statt einer einzelnen Zahl möchte. Setze es als schnellen ersten Durchgang und als Plausibilitätsprüfung der eigenen Auswahl ein, und validiere dann die ein bis zwei Favoriten auf der eigenen Maschine. Zu früh ist es, wenn man gemessenen, reproduzierbaren Durchsatz vor der Festlegung braucht: Dafür installiert man das Modell und misst direkt. Als Triage-Werkzeug verdient es sich aber seinen Platz.