Mesh LLM

Mesh LLM 是一个开源的分布式 LLM 推理工具，能将多台机器上的闲置 GPU 算力整合为统一的推理资源池，暴露为 OpenAI 兼容 API（localhost:9337）。密集模型自动使用流水线并行分层到各节点，MoE 模型使用专家分片实现零跨节点推理流量。支持零传输 GGUF 加载（模型加载从 111 秒降至 5 秒）、Speculative Decoding（代码生成吞吐量提升 38%）、多模态请求（视觉+音频）。提供 Web 控制台查看拓扑和 VRAM 状态。支持公共网格自动发现或创建私有命名网格进行团队协作。基于 Rust + TypeScript 构建，使用修改版 llama.cpp 作为底层推理引擎。