原标题：开源 AI 谈天机器人 MLC LLM 发布，彻底本地运转无需联网

  IT之家 5 月 2 日音讯，现在大多数 AI 谈天机器人都需求连接到云端进行处理，即便能够本地运转的也装备要求极高。那么是否有轻量化的、无需联网的谈天机器人呢？

  一个名为MLC LLM的全新开源项目已在 GitHub 上线，彻底本地运转无需联网，乃至集显老电脑、苹果 iPhone 手机都能运转。

  MLC LLM 项目介绍称：“MLC LLM 是一种通用解决方案，它答应将任何言语模型本地布置在一组不同的硬件后端和本地使用程序上，此外还有一个高效的结构，供每个人进一步优化自己用例的模型功能。一切都在本地运转，无需服务器支撑，并经过手机和笔记本电脑上的本地 GPU 加快。咱们的任务是让每个人都能在设备上本地开发、优化和布置 AI 模型。”

  IT之家查询 GitHub 页面发现，这个项目的开发者来自卡内基梅隆大学的 Catalyst 方案、SAMPL 机器学习研讨小组以及华盛顿大学、上海交通大学和 OctoML 等。他们还有一个名为Web LLM的相关项目，该项目能够彻底在网络浏览器中运转 AI 谈天机器人。

  此外，ThinkPad X1 Carbon（第 6 代）也测验成功运转 MLC LLM，这是一款搭载 i7-8550U 处理器的笔记本，没有独立显卡，配有英特尔 UHD 620 GPU。MLC LLM 在 PC 渠道需求经过命令行运转，外媒测验体现一般般，回复时刻需求将近 30 秒，并且几乎没有接连对话才能，期望能在后续版别中得到改善吧。