whichllm
Andyyyy64
CLI, das deine Hardware erkennt und das lokale LLM rankt, das auf ihr tatsächlich gut läuft, bewertet anhand echter Benchmarks.
Was ist whichllm?
Ein CLI, das deine Hardware erkennt (GPU, CPU, RAM) und das lokale LLM rankt, das auf ihr tatsächlich gut läuft, bewertet anhand echter Benchmarks (LiveBench, Artificial Analysis, Aider, Arena ELO) statt allein nach Parameterzahl.
Vor- & Nachteile
Pros
- Evidenzbasiertes Ranking aus mehreren Leaderboards, keine Größen-Heuristik
- Konfidenz-Marker (~ für geschätzt, ? für keine Daten), ehrlich gegenüber Unsicherheit
- Skriptfähige JSON-Ausgabe, plus GPU-Simulation für Kaufplanung
Cons
- Geschwindigkeitswerte sind Schätzungen, keine gemessenen Garantien
- Ollama-Integration braucht manuelles Mapping der HuggingFace-ID
- Frühe 0.x-Phase (v0.5.8)
Lizenz
MIT (OSI-open)
Wann interessant
zu entscheiden, was du laufen lassen sollst, oder welche GPU du kaufen sollst, bevor du dich festlegst.
Wann zu früh
wenn du gemessenen Durchsatz statt Schätzungen brauchst.
Dieses Repo war in der Ausgabe 2026-06 des Open-Source-KI-Radars.
oMLX
jundot
macOS-nativer LLM-Inference-Server für Apple Silicon mit Continuous Batching und SSD-gestütztem KV-Cache.
apfel
Arthur-Ficial
Das On-Device-Apple-Intelligence-Modell auf macOS 26 als Zero-Setup-OpenAI-kompatible lokale API verfügbar machen.
shimmy
Michael-A-Kuykendall
Lokale Inference-Engine in reinem Rust mit OpenAI-kompatibler API, als eine Binary.