用 MLC LLM 打造你自己的离线 ChatGPT,轻松实现智能对话

已收录   阅读次数: 1,276
2023-05-0516:14:02 发表评论
摘要

前不久,伯衡君介绍过一款离线的 ChatGPT-4,反响不错,具体可以参看下方的前情提要那篇文章。这次再介绍一个——MLC LLM,不仅支持桌面版,还能在 iPhone 和 iPad 上运行,同时在网页端也能实现哦,虽然功能上不如 ChatGPT-4 强大,但是作为离线版的 ChatGPT,功能上去解决日常的一些问题也足够用了……

分享至:
用 MLC LLM 打造你自己的离线 ChatGPT,轻松实现智能对话

开篇寄语

前不久,伯衡君介绍过一款离线的 ChatGPT-4,反响不错,具体可以参看下方的前情提要那篇文章。这次再介绍一个——MLC LLM,不仅支持桌面版,还能在 iPhone 和 iPad 上运行,同时在网页端也能实现哦,虽然功能上不如 ChatGPT-4 强大,但是作为离线版的 ChatGPT,功能上去解决日常的一些问题也足够用了。

前情提要

官方网站

项目地址

内容详情

MLC LLM 是一个通用的解决方案,它可以让任何语言模型在不同的硬件后端和原生应用上本地运行,而不需要服务器或云端支持。它还提供了一个高效的框架,让每个人都可以根据自己的需求进一步优化模型性能。MLC LLM 使用了基于 Meta LLaMA 的轻量级语言模型 Vicuna-7B-V1.1,它虽然不如 GPT3.5 或 GPT4 那么强大,但却更加轻便和快速。

要使用 MLC LLM,你可以在 GitHub 上查看它的源码和文档,也可以在网页浏览器上尝试 WebLLM。WebLLM 是 MLC LLM 的伴侣项目,它可以让语言模型在浏览器中运行,无需任何服务器支持。目前,MLC LLM 支持 Windows, Linux, macOS 和 iOS 平台,但还没有 Android 版本。

在桌面端需要在命令行(terminal)才能运行,步骤如下:

  • 安装 Miniconda 或者 Miniforge
  • 在 Windows 和 Linux 上,聊天机器人应用程序通过 Vulkan 平台在 GPU 上运行。对于 Windows 和 Linux 用户,请安装最新的 Vulkan 驱动程序。对于 NVIDIA GPU 用户,请确保安装 Vulkan 驱动程序,因为 CUDA 驱动程序可能不太好
  • 创建一个新的 Conda 环境并激活它。
conda create -n mlc-chat
conda activate mlc-chat
  • 安装 Git 和 Git-LFS,它们用于从 Hugging Face 下载模型权重。
conda install git git-lfs
  • 从 Conda 安装聊天 CLI 应用。
conda install -c mlc-ai -c conda-forge mlc-chat-nightly
  • 创建一个目录,从 HuggingFace 下载模型权重,并从 GitHub 下载二进制库。
mkdir -p dist
git lfs install
git clone https://huggingface.co/mlc-ai/demo-vicuna-v1-7b-int3 dist/vicuna-v1-7b
git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git dist/lib
  • 输入这一行并享受与本地运行的机器人聊天的乐趣!
mlc_chat_cli

运行效果如下:

用 MLC LLM 打造你自己的离线 ChatGPT,轻松实现智能对话

在 iOS 上则可以按照以下步骤:

要在 iOS 上运行 MLC LLM,你需要使用 TestFlight,苹果的开发者系统,在你的设备上安装测试应用。关于 TestFlight,想必常常观看本站的读者朋友并不陌生,曾经伯衡君专门写过一篇文章来介绍它安装 App Store 上没有的 APP,具体可以参看这篇文章:《突破壁垒,通过testflight大量安装苹果App Store不让上架的应用》。

安装链接:传送门

测试过程中发现它的表现效果并不是很好,比如让它写个短诗竟然需要 30 秒时间,编写个剪刀石头布游戏,竟然需要 20 分钟时间,还不支持连续对话,有兴趣的朋友尽可一试。

  • 我的微信
  • 微信扫一扫加好友
  • weinxin
  • 我的微信公众号
  • 扫描关注公众号
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: