Uttrycket ”kör din egen AI-flickvän” får det att låta som ett enda program. I praktiken är det tre delar som pratar med varandra, och att förstå vilken del som gör vad sparar det mesta av frustrationen.
De tre delarna
Vad som pratar med vad i en typisk lokal installation.
Front-end är det du ser: chattfönster, karaktärer, avatarer, inställningar. SillyTavern är standardvalet för karaktärschatt. Det körs i webbläsaren, lagrar karaktärer och chattar som filer på din disk och kan kopplas till nästan vilken back-end som helst. Det genererar ingen text själv.
Back-end laddar modellen och genererar svar. KoboldCpp är ett enda program utan installation som är populärt för rollspel eftersom det visar alla genereringsinställningar. Ollama är det enklaste sättet att få igång en modell med några kommandon. LM Studio är en skrivbordsapp med en lättanvänd modellbläddrare. Vilken som helst av dem serverar modellen på en lokal adress som front-end ansluter till.
Modellen är en stor fil, oftast i formatet GGUF, nedladdad från Hugging Face. Dess storlek i parametrar, 8B, 12B, 24B, och dess kvantisering avgör hur bra den är och vilken hårdvara den kräver.
Hårdvarufrågan
Vad som avgör om en modell går bra är grafikminnet (VRAM). Modellen måste rymmas, plus utrymme för själva samtalet. Kvantisering krymper modeller så att de passar: ”Q4_K_M” är det vanliga kompromissvalet mellan storlek och kvalitet.
| Modellstorlek | Ungefärligt minne vid Q4 | Typisk hårdvara | Vad du kan vänta dig |
|---|---|---|---|
| 7–8B | 5–6 GB | Grafikkort med 8 GB | Sammanhängande, snabb, glömmer detaljer i långa scener |
| 12–14B | 9–10 GB | Kort med 12 GB | Märkbart bättre karaktärer och prosa |
| 22–24B | 14–16 GB | Kort med 16–24 GB | Nära bra värdbaserade appar för rollspel |
| 70B | 40 GB+ | Två kort eller en Mac med mycket minne | Utmärkt, långsam och dyr |
De här siffrorna är grova: längre kontext kräver mer minne ovanpå. Apple Silicon-Macar delar minne mellan processor och grafik, så en MacBook med 32 GB kan köra modeller som ett grafikkort med 12 GB inte klarar. En modell som inte ryms spiller över på huvudprocessorn och går i snigelfart. Om svaren kommer med några få ord per sekund, gå ned till en mindre modell innan du provar en hårdare kvantisering. En mindre modell med bra kvalitet slår oftast en större som pressats för hårt.
Vad du vinner
- Integritet som inte hänger på en policy. Inget lämnar maskinen. Ingen lagringstid, ingen träning, ingen personalåtkomst, inget att radera senare.
- Inget filter utöver modellens eget. Du väljer modellen, även sådana som trimmats specifikt för rollspel. Det lagliga golvet för innehåll gäller fortfarande dig, men ingen operatör lägger regler ovanpå.
- Ingen prenumeration och inga krediter. Generera hur mycket du vill.
- Karaktärer du äger. Karaktärskort är vanliga PNG-bilder med karaktärsbladet inbäddat. De flyttar mellan front-ends och kan inte tas ifrån dig av en uppdatering.
- Stabilitet. En modell som fungerar i dag fungerar likadant om fem år. Ingen kan byta ut den under dig, den risk som beskrivs i när din AI-kompanjon förändras över natten.
Vad du ger upp
- Installationstid. Räkna med en kväll för den första fungerande chatten och veckor av pyssel om du gillar det.
- Minne är ditt jobb. Värdbaserade appar sammanfattar och lagrar tyst fakta om dig. Lokalt hanterar du det med SillyTaverns lorebooks, sammanfattningar och karaktärsanteckningar, samma tre mekanismer som förklaras i hur minnet hos en AI-kompanjon fungerar, men med kontrollerna öppna.
- Bilder och röst är separata projekt. Bildgenerering kräver en egen modell och oftast mer grafikminne, och röst kräver verktyg för taligenkänning och talsyntes. Allt går, inget är automatiskt.
- Mobilen är krånglig. Du kan öppna front-end från mobilen på hemmanätverket. Att använda det borta hemifrån innebär att exponera datorn mot internet, vilket kräver omsorg.
- Kvalitetstak. De bästa värdbaserade modellerna är större än något de flesta kan köra hemma, särskilt för långsiktig konsekvens.
Mellanvägen och dess hake
Många kör SillyTavern på sin egen maskin men kopplar det till ett betalt moln-API i stället för en lokal modell. Du får front-endens kontroll och karaktärsfiler, mycket större modeller och pris per meddelande som kan vara billigt vid lätt användning.
Det är dock inte privat. Varje meddelande går till API-leverantören, under dess loggning, lagring och innehållsregler, som ofta är strängare mot rollspelsinnehåll än dedikerade kompanjonappar. Det är en annan avvägning, inte en lokal installation.
Säkerhetsgrunder
- Ladda bara ned programvara från projektens officiella sidor på GitHub eller projektets egen webbplats.
- Ladda ned modeller från välkända uppladdare på Hugging Face, och föredra GGUF-filer, som innehåller modelldata snarare än kod.
- Läs modellens licens. Vissa begränsar kommersiell användning, några begränsar visst innehåll.
- Håll SillyTavern bundet till din egen maskin eller ditt hemmanätverk om du inte har satt ett lösenord och förstår vad du exponerar.
SillyTavern utvecklas öppet på GitHub.
Vem det är till för
Kör en kompanjon lokalt om integritet är din huvudfråga, du redan har kapabel hårdvara eller du gillar att konfigurera lika mycket som att använda. Stanna med en värdbaserad app om du vill ha röst, bilder och långt minne som fungerar direkt, eller mest chattar på mobilen. Vår guide till att välja en första app tar upp den vägen. Gott om människor hamnar i båda: en värdbaserad app för bekvämlighet och en lokal installation för de samtal de helst inte vill lagra någon annanstans.