用 MLC LLM 打造你自己的离线 ChatGPT，轻松实现智能对话

摘要

前不久，伯衡君介绍过一款离线的 ChatGPT-4，反响不错，具体可以参看下方的前情提要那篇文章。这次再介绍一个——MLC LLM，不仅支持桌面版，还能在 iPhone 和 iPad 上运行，同时在网页端也能实现哦，虽然功能上不如 ChatGPT-4 强大，但是作为离线版的 ChatGPT，功能上去解决日常的一些问题也足够用了……

开篇寄语

前不久，伯衡君介绍过一款离线的 ChatGPT-4，反响不错，具体可以参看下方的前情提要那篇文章。这次再介绍一个——MLC LLM，不仅支持桌面版，还能在 iPhone 和 iPad 上运行，同时在网页端也能实现哦，虽然功能上不如 ChatGPT-4 强大，但是作为离线版的 ChatGPT，功能上去解决日常的一些问题也足够用了。

前情提要

• 《简单操作实现离线版 ChatGPT-4，操作手册敬上》

官方网站

• MLC LLM

项目地址

• MLC LLM

内容详情

MLC LLM 是一个通用的解决方案，它可以让任何语言模型在不同的硬件后端和原生应用上本地运行，而不需要服务器或云端支持。它还提供了一个高效的框架，让每个人都可以根据自己的需求进一步优化模型性能。MLC LLM 使用了基于 Meta LLaMA 的轻量级语言模型 Vicuna-7B-V1.1，它虽然不如 GPT3.5 或 GPT4 那么强大，但却更加轻便和快速。

要使用 MLC LLM，你可以在 GitHub 上查看它的源码和文档，也可以在网页浏览器上尝试 WebLLM。WebLLM 是 MLC LLM 的伴侣项目，它可以让语言模型在浏览器中运行，无需任何服务器支持。目前，MLC LLM 支持 Windows, Linux, macOS 和 iOS 平台，但还没有 Android 版本。

在桌面端需要在命令行（terminal）才能运行，步骤如下：

• 安装 Miniconda 或者 Miniforge
• 在 Windows 和 Linux 上，聊天机器人应用程序通过 Vulkan 平台在 GPU 上运行。对于 Windows 和 Linux 用户，请安装最新的 Vulkan 驱动程序。对于 NVIDIA GPU 用户，请确保安装 Vulkan 驱动程序，因为 CUDA 驱动程序可能不太好

• 创建一个新的 Conda 环境并激活它。

conda create -n mlc-chat
conda activate mlc-chat

• 安装 Git 和 Git-LFS，它们用于从 Hugging Face 下载模型权重。

conda install git git-lfs

• 从 Conda 安装聊天 CLI 应用。

conda install -c mlc-ai -c conda-forge mlc-chat-nightly

• 创建一个目录，从 HuggingFace 下载模型权重，并从 GitHub 下载二进制库。

mkdir -p dist
git lfs install
git clone https://huggingface.co/mlc-ai/demo-vicuna-v1-7b-int3 dist/vicuna-v1-7b
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/lib

• 输入这一行并享受与本地运行的机器人聊天的乐趣！

mlc_chat_cli

运行效果如下：

在 iOS 上则可以按照以下步骤：

要在 iOS 上运行 MLC LLM，你需要使用 TestFlight，苹果的开发者系统，在你的设备上安装测试应用。关于 TestFlight，想必常常观看本站的读者朋友并不陌生，曾经伯衡君专门写过一篇文章来介绍它安装 App Store 上没有的 APP，具体可以参看这篇文章：《突破壁垒，通过testflight大量安装苹果App Store不让上架的应用》。

安装链接：传送门

测试过程中发现它的表现效果并不是很好，比如让它写个短诗竟然需要 30 秒时间，编写个剪刀石头布游戏，竟然需要 20 分钟时间，还不支持连续对话，有兴趣的朋友尽可一试。