Changroro

Changroro/llmux

Run and manage both vLLM and llama.cpp model servers from one terminal UI + CLI — shared Docker Compose profiles, live tok/s, and cross-backend port/GPU conflict checks. NVIDIA + Linux.

⭐ 23 ⑂ 1 Python MIT · 4 天前推送
23
Watchers
0
贡献者
0
Commits
0
Releases
0
Open Issues
4 天前
最近推送
原文 中文
暂无 README