LocalAI快速本地部署大模型

官方文档：https://localai.io/docs/overview/#core-components

认识LocalAI

LocalAI是一款开源的AI框架，能让你在自己的电脑上部署和运行各类AI模型。它的核心目标是让AI技术的使用变得更简单、私密和低成本。

特点维度	具体说明
🛡️ 隐私与安全	所有数据处理都在本地完成，敏感信息无需上传至第三方云端。
💰 成本效益	完全免费使用，无需为云服务支付订阅费用。
🌐 离线运行	不依赖互联网连接，在没有网络的环境中也能稳定使用。
🔌 兼容性	完美兼容OpenAI的API接口，现有项目可以轻松迁移。
💻 硬件要求	对硬件要求低，无需高端GPU，CPU即可运行，并支持消费级显卡加速。
🧠 多模型支持	支持多种类型的模型，包括文本大模型（如LLaMA系列）、图像生成（Stable Diffusion）、语音识别（Whisper）等。

官方文档：https://localai.io/basics/getting_started/

The fastest way to get started is with our one-line installer:

curl https://localai.io/install.sh | sh

CPU版本镜像：

在终端中执行以下命令，即可拉取并运行LocalAI的CPU版本镜像：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu

GPU版本镜像：

拥有NVIDIA显卡，可以使用支持GPU的镜像来获得更好的性能

sudo docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

测试貌似不太行，本地跑不起来，通过homebrew方式可以启动

use Docker for a quick start:

docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu

或者通过homebrew的方式跑起来：

brew install localai

执行命令启动：

local-ai

1、运行LocalAi的docker镜像

CPU版本镜像：

在终端中执行以下命令，即可拉取并运行LocalAI的CPU版本镜像：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest-cpu

**2、**点击 Gallery，在跳转页面选择一个大模型

访问网址：http://172.16.114.23:8080

进入到模型选择页：http://172.16.114.23:8080/browse

安装一个1.7B的：

安装报错：

[1]. 无需昂贵GPU：本地部署开源AI项目LocalAI你在消费级硬件上运行大模型：https://community.sslcode.com.cn/6780771561f6a61b946763af.html