自己运行AI模型,能得到什么,又要放弃什么
在自己电脑上跑的模型,是唯一一种你的文字完全不会离开这台机器的方案。代价是硬件、配置花的时间,以及答案的质量,因为能装进普通电脑的模型,比托管聊天背后用的模型要小。私密的托管聊天则要求你信任运营方定下的规则。对大多数个人问题来说,这个交换是划算的;但对那些不能发送到任何地方的数据来说,只有本地模型或你自己的服务器才行。
"私密AI"这个说法被用来指两种很不一样的东西:一种是承诺尽量少保留你信息的托管聊天,另一种是运行在你自己掌控的硬件上的私密LLM。它们解决的是不同的问题,选哪一种,要从你的文字到底是什么开始想起。
本地模型能给你什么
当模型运行在你自己的电脑上时,你输入的任何内容都不会被发送到任何地方。没有运营方,没有留在别人服务器上的日志,也没有明年可能改变的条款。它在没有网络连接的情况下也能用。对于不允许分享出去的文件,比如合同规定的客户资料,这是唯一一种不需要依赖任何人承诺的方案。
它要你付出什么代价
首先是硬件:普通笔记本能跑一些小模型,但更大的模型需要一块显存很大的显卡。其次是配置:你得安装软件、选择模型,还要让两者都保持更新。然后是质量:能装进家用电脑的模型,比托管聊天背后的模型要小,遇到难题时这个差距就会显现出来。
私密的托管聊天能给你什么
托管聊天不需要安装,在任何设备上都能在几秒内运行更大的模型。代价是信任:你的文字会送达运营方的服务器,之后会发生什么取决于运营方的规则。这些规则是可以核实的:需要账号吗?会保留日志吗?文字会不会被用于训练?会不会交给另一家公司?一个能就这4个问题都给出书面答案的聊天,能给你一个判断的依据。
对企业而言的私密AI
一家在找私密AI平台的企业,通常问的是一个合同层面的问题:数据在哪里处理,谁能访问,会不会被用来训练什么东西。一个运行在公司自己服务器上的模型,在设计上就能回答这3个问题,但也需要有人来运维它。托管服务则在数据处理条款里回答这些问题,而这份条款正是在有人把客户数据粘贴进去之前,法务团队应该读的东西。
一个简单的判断方法
问问自己,如果这段文字被运营方看到,你会不会有麻烦。如果不会,一个不需要账号的私密托管聊天就够了,而且更快。如果会,那就自己运行模型,或者在公司自己的服务器上运行。如果拿不准,先把文字里的姓名、数字和地点去掉试试:大多数问题去掉这些之后依然成立,这样一来这个选择的重要性也会随之降低。
关于私密AI的常见问题
什么是私密LLM?
一种运行在你或你公司掌控的硬件上的语言模型,因此你给它的文字不会被发送到外部服务。
本地模型是不是什么都能回答?
不会自动如此。它没有服务方在中间插入的环节,但训练数据仍然决定了它对什么问题、怎么回答。一些公开模型被训练成和托管模型一样会拒绝回答。
这个聊天运行在哪里?
运行在我们自己位于荷兰的服务器上,没有账号,也没有个人资料。它是一个托管聊天,适合那些你能接受这种交换的问题。
日常问题,不需要账号也不需要安装,直接在这里问。
打开私密聊天