Skip to main content
AI Tool Radar
OSI-openLokale Inference und "was läuft auf meiner Maschine"

needle

cactus-compute

Modell mit 26M Parametern und offenen Weights für Single-Shot-Function-Calling auf Handys, Uhren und Brillen.

2.6k Stars(Stand 2026-06-26)Auf GitHub ansehenHomepage
Überblick

Was ist needle?

Ein 'Simple Attention Network' mit 26 Millionen Parametern für Single-Shot-Function- und Tool-Calling auf ressourcenarmen Geräten wie Handys, Uhren und Brillen. Es nimmt eine Nutzeranfrage plus JSON-Tool-Schemas und gibt den passenden Function-Call aus, und kommt mit Weights, einer Dataset-Generierungs-Pipeline, einem CLI, einer Python-Library und einem Web-Playground.

Analyse

Vor- & Nachteile

Pros

  • Voll MIT für Code und Weights, keine Auflagen, selten für ein On-Device-Modell
  • Winzig (26M Parameter), läuft also auf Handys, Uhren und Brillen, mit offenen Weights und Dataset-Generierung
  • Komplettes Tooling out of the box: CLI, Python-API, Web-Playground und lokales Finetuning auf gewöhnlichem Mac/PC

Cons

  • Mit 26M Parametern ein enger Single-Shot-Function-Caller, nicht konversationell oder generell
  • Plakative Speed- und Benchmark-Siege sind unverifizierte Anbieter-Angaben, teils auf Cactus-eigener Hardware gemessen
  • Keine formalen Releases oder Versionierung, ausdrücklich als 'experimental run' bezeichnet
Lizenz

Lizenz

MIT (OSI-open) - Modell-Lizenz: MIT

Sowohl der Code als auch die Modell-Weights sind MIT (geprüft gegen die LICENSE-Datei und die Hugging-Face-Model-Card), ohne zusätzliche Nutzungsauflagen, ungewöhnlich sauber für ein On-Device-Modell.

Wann interessant

ultragünstiges, voll offenes, finetunbares On-Device-Tool-Calling auf eingeschränkter Hardware wie Wearables.

Wann zu früh

wenn du Konversation, mehrstufiges Reasoning oder ein stabiles versioniertes Release brauchst.

Dieses Repo war in der Ausgabe 2026-07 des Open-Source-KI-Radars.

Ähnliche Repositories

oMLX

jundot

16.6k

macOS-nativer LLM-Inference-Server für Apple Silicon mit Continuous Batching und SSD-gestütztem KV-Cache.

OSI-openLokale Inference und "was läuft auf meiner Maschine"

apfel

Arthur-Ficial

5.8k

Das On-Device-Apple-Intelligence-Modell auf macOS 26 als Zero-Setup-OpenAI-kompatible lokale API verfügbar machen.

OSI-openLokale Inference und "was läuft auf meiner Maschine"

shimmy

Michael-A-Kuykendall

5.3k

Lokale Inference-Engine in reinem Rust mit OpenAI-kompatibler API, als eine Binary.

OSI-openLokale Inference und "was läuft auf meiner Maschine"