Co získáš a ztratíš, když si model AI spustíš sám
Model na tvém vlastním počítači je jediné řešení, kde tvůj text nikdy neopustí počítač. Stojí hardware, čas na nastavení a kvalitu odpovědí, protože modely, které se vejdou na běžný počítač, jsou menší než ty za hostovanými chaty. Soukromý hostovaný chat tě žádá, abys místo toho důvěřoval pravidlům provozovatele. Pro většinu osobních otázek tenhle kompromis funguje; pro data, která nesmíš nikam poslat, se hodí jen lokální model nebo tvůj vlastní server.
"Soukromá AI" se používá pro 2 velmi odlišné věci: hostovaný chat, který slibuje uchovat o tobě málo, a soukromý LLM, který běží na hardwaru, který ovládáš. Řeší jiné problémy, a volba mezi nimi začíná tím, co je tvůj text.
Na této stránce
Co ti dá lokální model
Když model běží na tvém vlastním počítači, nic z toho, co napíšeš, se nikam neposílá. Není tu žádný provozovatel, žádný záznam na cizím serveru ani pravidlo, které by se příští rok mohlo změnit. Funguje i bez připojení k internetu. Pro dokumenty, které nesmíš sdílet, jako jsou klientská data vázaná smlouvou, je to jediné uspořádání, které nepotřebuje slib nikoho jiného.
Co tě to stojí
Nejdřív hardware: běžný notebook zvládne malé modely, a ty větší potřebují grafickou kartu s velkým množstvím paměti. Za druhé nastavení: nainstaluješ software, vybereš model a oba udržuješ aktuální. Za třetí kvalita: modely, které se vejdou na domácí počítač, jsou menší než ty za hostovanými chaty, a u těžkých otázek je ten rozdíl vidět.
Co ti dá soukromý hostovaný chat
Hostovaný chat spouští větší model bez instalace, na jakémkoli zařízení, během sekund. Cenou je důvěra: tvůj text dorazí na server provozovatele, a co se s ním stane, závisí na pravidlech provozovatele. Ta pravidla lze ověřit. Vyžaduje účet? Uchovává záznam? Používá se text k trénování? Posílá se jiné firmě? Chat, který na všechny tyto 4 otázky odpoví písemně, ti dá něco, čeho se můžeš držet.
Soukromá AI pro firmu
Firma, která žádá o soukromou AI platformu, se obvykle ptá na smluvní otázku: kde se data zpracovávají, kdo k nim má přístup a jestli se používají k trénování čehokoli. Model na vlastním serveru firmy odpoví na všechny 3 otázky už svou podstatou, ale potřebuje také někoho, kdo ho bude provozovat. Hostovaná služba na ně odpovídá ve svých podmínkách zpracování dat, a právě tyto podmínky by si mělo přečíst vaše právní oddělení dřív, než kdokoli vloží klientská data.
Jednoduchý způsob, jak se rozhodnout
Zeptej se, jestli by ti vadilo, kdyby tento text přečetl provozovatel. Pokud ne, stačí soukromý hostovaný chat bez účtu, a je rychlejší. Pokud ano, spusť model sám nebo na vlastním serveru firmy. Pokud si nejsi jistý, nejdřív z textu odstraň jména, čísla a místa; většina otázek to přežije, a pak na volbě záleží míň.
Otázky o soukromém AI
Co je soukromý LLM?
Jazykový model běžící na hardwaru, který ovládáš ty nebo tvá firma, takže text, který mu zadáš, se neposílá do externí služby.
Odpovídá lokální model na všechna témata?
Ne automaticky. Nestojí mezi tím žádná dodatečná vrstva ze strany služby, ale to, na co a jak odpovídá, pořád rozhoduje jeho trénink. Některé otevřené modely jsou trénované odmítat stejně často jako ty hostované.
Kde tento chat běží?
Na našich vlastních serverech v Nizozemsku, bez účtu a bez profilu. Je to hostovaný chat, takže se hodí pro otázky, u kterých ten kompromis přijímáš.
U běžných otázek se ptej tady, bez účtu a bez instalace.
Otevřený soukromý chat