分类 AI Model 下的文章

  1. 首页
  2. AI Model

vllm 参数解读

模型加载与配置1、--model说明要使用的模型名称或模型权重文件在本地的存放路径，如不选择本地路径默认会去huggingface拉取默认值faceboo...

  • Kevin
  • 2025 年 03 月 05 日
  • 暂无评论

    • Ray Cluster + Vllm 部署满血版DeepSeek R1 671B

    系统环境系统版本IP地址主机名vllm版本ray版本显卡Ubuntu 22.04.5 LTS10.84.10.24server1Version: 0.7....

  • Kevin
  • 2025 年 02 月 14 日
  • 暂无评论

    • 部署各种AI Model

    使用TEI部署模型安装 Rust建议安装 Rust 的最新版本 1.75.0，安装命令如下curl --proto '=https' --tlsv1.2 ...

  • Kevin
  • 2024 年 10 月 22 日
  • 3 条评论