LM Studio 本地部署大模型

coverImg

介绍

LM Studio 完全支持在 Mac 机器上运行和部署大模型。它是一款专为在个人电脑上本地运行大型语言模型（LLM） 而设计的工具，尤其对苹果芯片的 Mac 提供了良好的支持。

下面这个表格整理了 LM Studio 在 Mac 上的核心信息：

项目	详细信息
核心功能	本地部署和运行各类开源大语言模型（如 Llama, DeepSeek, Qwen 等），提供图形化界面和聊天功能，完全离线，保护隐私。
系统支持	完美支持 macOS，特别是搭载 M1/M2/M3/M4 系列芯片的 Apple Silicon Mac。
操作系统版本	需要 macOS 13.4 或更高版本；如需运行 MLX 格式的模型，则需要 macOS 14.0 或更高版本。
硬件要求	中央处理器（CPU）必须支持 AVX2 指令集。
内存建议	建议配备 16GB 或以上内存。如果只有 8GB，仍可运行一些小型模型，但性能会受限。

下载LM Studio

下载步骤

下面以个人机器为Mac来演示。

进入到LM Studio 的下载地址：https://lmstudio.ai/download

点击下载即可，下载完成安装即可，安装打开后如下图所示：

进入后效果如下：

Mac上使用指南

介绍

使用 LM Studio 在 Mac 上部署和运行大模型非常简单，基本遵循“下载-安装-选模型-对话”的流程。

下载与安装 你可以从 LM Studio 的官方网站下载专为 macOS（尤其是 Apple Silicon 芯片）设计的安装包。安装过程与其他 Mac 软件无异。
选择与下载模型 这是最关键的一步。LM Studio 内置了模型市场，你可以直接搜索和下载 Hugging Face 上兼容的模型。

- 模型格式：推荐选择 GGUF 格式的模型，这种格式针对本地推理进行了优化，资源利用效率高。
- 模型选择：对于 Mac 用户，除了 GGUF 格式，还可以运行专为 Mac 优化的 MLX 格式模型。初次使用时，可以从参数量较小的模型（如 7B 版本）开始尝试，它们对硬件的要求更低。

举例：

运行与对话 下载模型后，在 LM Studio 的界面中选择加载该模型，然后就可以在聊天界面中像使用 ChatGPT 那样直接提问并获得 AI 的回答了。所有的计算都发生在你的 Mac 上，无需联网。

MLX介绍

M芯片Mac想跑大模型，强烈推荐LM Studio。因为它支持专门为M系列芯片优化过的模型文件，运行速度快了不止亿点点！intel mac 不支持哦！

本地运行大模型的工具中，LM Studio和Ollama是最受欢迎的两款。最近LM Studio新增了对MLX的支持。

苹果公司开源的一个机器学习框架，专门为M系列芯片做了优化，如采用了统一内存模型、对应统一内存架构。所以，使用这个框架就可以非常高效地部署和运行模型。

官方文档：https://ml-explore.github.io/mlx/build/html/index.html

github地址：https://github.com/ml-explore/mlx

Linux环境下载

需要有图形化界面

下载地址：https://lmstudio.ai/download

mkdir /opt/tools/lm-studio
cd /opt/tools/lm-studio

# 下载
wget https://installers.lmstudio.ai/linux/x64/0.3.30-1/LM-Studio-0.3.30-1-x64.AppImage

# 授权
chmod 777 LM-Studio-0.3.30-1-x64.AppImage

# 执行
./LM-Studio-0.3.30-1-x64.AppImage --appimage-extract

进入到squashfs-root目录：

./lm-studio

基础操作

查询 & 下载模型

1、搜索下载模型

首先先搜索一个coder

即可查询，这里选择一个coder模型：

查看下载的进度：

2、加载模型

正在加载中：

在当前界面就可以正常问答啦：

本地llm服务启动（兼容openai协议）

启动llm服务

我们左边第二个部分点击打开启动：

测试普通对话（openai接口调用）

测试一下：

curl http://10.10.10.39:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
  "model" : "qwen2.5-coder-1.5b-instruct",
  "messages" : [ {
    "role" : "user",
    "content" : "你好"
  } ],
  "temperature" : 0.7,
  "stream" : false
}'

测试效果如下：

测试function tools调用（openai协议）

curl http://192.168.0.104:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer EMPTY" \
  -d '{
  "model" : "qwen2.5-coder-1.5b-instruct",
  "messages" : [ {
    "role" : "user",
    "content" : "1+2=多少？请使用sum方法返回"
  } ],
  "stream" : false,
  "tools" : [ {
    "type" : "function",
    "function" : {
      "name" : "sum",
      "description" : "计算两个或多个数字的总和。当需要计算数值的总和、合计或加法运算时，应调用此工具。",
      "parameters" : {
        "type" : "object",
        "properties" : {
          "arg0" : {
            "type" : "array",
            "description" : "要相加的数字列表，支持多个参数",
            "items" : {
              "type" : "number"
            }
          },
          "arg1" : {
            "type" : "string",
            "description" : "深入分析当前任务和可用资源，考虑前后步骤，输出本次调用的依据，举例示范：因为涉及到用户说明的xxx问题，当前将会使用xxx工具进行获取xxx信息。要求尽量口语化一些说明的时候"
          }
        },
        "required" : [ "arg0", "arg1" ]
      }
    }
  }, {
    "type" : "function",
    "function" : {
      "name" : "get_current_weather",
      "description" : "获取指定城市的实时天气信息。当用户询问当前天气、温度或天气状况时，应调用此工具。",
      "parameters" : {
        "type" : "object",
        "properties" : {
          "arg0" : {
            "type" : "string",
            "description" : "城市名称，例如：北京、上海、Paris"
          },
          "arg1" : {
            "type" : "string",
            "description" : "温度单位，可选值为摄氏度（celsius）或华氏度（fahrenheit）"
          },
          "arg2" : {
            "type" : "string",
            "description" : "深入分析当前任务和可用资源，考虑前后步骤，输出本次调用的依据，举例示范：因为涉及到用户说明的xxx问题，当前将会使用xxx工具进行获取xxx信息。要求尽量口语化一些说明的时候"
          }
        },
        "required" : [ "arg0", "arg1", "arg2" ]
      }
    }
  } ]
}'

返回值：

切换中文

点击右下角的设置：

选择中文：

参考文章

[1]. LM Studio让你的Mac秒变AI神器！：https://www.cnblogs.com/JavaEdge/p/18529100