openlake
openlake-project
Rust-Object-Storage-Engine auf io_uring, die Daten den kürzesten Weg von NVMe in den GPU-Speicher bringt, für Training und Inference.
Was ist openlake?
Eine Rust-Object-Storage-Engine auf io_uring, die Daten den kürzesten Weg von NVMe in den GPU-Speicher bringen will, mit GPUDirect Storage und RDMA, einem Thread-per-Core-Design und SIMD-Erasure-Coding. Sie ist S3-wire-kompatibel und zielt auf Training-Checkpoints, Inference-Modell- und KV-Cache-Loads und Vektor/RAG-Segment-Reads.
Vor- & Nachteile
Pros
- Echtes Low-Level-Systems-Engineering (io_uring, GPUDirect/RDMA, SIMD-Erasure-Coding) unter Apache-2.0
- S3-wire-kompatibel, fügt sich also ohne Rewrites in PyTorch-, vLLM-, Ray-, Triton-, FAISS- und Milvus-Stacks
- Eine eng abgegrenzte, klar erklärte Nische: der NVMe-zu-VRAM-Datenpfad
Cons
- Sehr früh (v0.4.0, nur Source-Build, keine Stabilitätsaussage)
- Effektiv nur Linux (io_uring) und auf spezialisierte RDMA/GPUDirect-Hardware angewiesen, um die Claims einzulösen
- Plakative Durchsatz-Multiplikatoren sind unverifizierte interne Benchmarks
Lizenz
Apache-2.0 (OSI-open)
Wann interessant
NVMe-zu-GPU-Daten-Loading ist dein Training- oder Inference-Flaschenhals und du fährst RDMA/GPUDirect-fähige Linux-Hardware.
Wann zu früh
für Produktion oder Commodity-Setups (ohne RDMA); es ist vor 1.0 mit Nischen-Hardware-Anforderungen.
Kommerzielle Alternative & Verwandtes
- Kommerzielles Pendant: VAST Data
Dieses Repo war in der Ausgabe 2026-07 des Open-Source-KI-Radars.
oMLX
jundot
macOS-nativer LLM-Inference-Server für Apple Silicon mit Continuous Batching und SSD-gestütztem KV-Cache.
apfel
Arthur-Ficial
Das On-Device-Apple-Intelligence-Modell auf macOS 26 als Zero-Setup-OpenAI-kompatible lokale API verfügbar machen.
shimmy
Michael-A-Kuykendall
Lokale Inference-Engine in reinem Rust mit OpenAI-kompatibler API, als eine Binary.