guoqingbao/xinfer

Blazing-fast LLM inference in pure Rust. No PyTorch and Python runtime.

⭐ 304 ⑂ 43 Rust MIT · 1 天前推送

http://guoqingbao.github.io/xinfer/

agent llm qwen rust vllm

304

Watchers

0

贡献者

0

Commits

0

Releases

47

Open Issues

1 天前

最近推送

原文中文

暂无 README