LMCache

LMCache/LMCache

LMCache: Supercharge Your LLM with the Fastest KV Cache Layer

⭐ 11.3k ⑂ 1.8k Python Apache-2.0 · 10 小时前推送
https://lmcache.ai/
amdcudafastinferencellmpytorchrocmspeedvllmkv-cache
11.3k
Watchers
0
贡献者
0
Commits
0
Releases
569
Open Issues
10 小时前
最近推送

📦 版本动态

nightly-cu129 预发布 18 小时前
nightly 预发布 19 小时前
nightly-rocm 预发布 20 小时前
v0.5.4-cu129 2 天前
v0.5.4 2 天前
原文 中文
暂无 README