Privat AI – avslöjar inte dina affärskritiska hemligheter

AI är ett väldigt brett område som innefattar en mängd olika koncept och användningsområden. Här diskuterar vi främst Generativ AI och LLM (Large Language Model) som slagit igenom på bred front genom ChatGPT och Copilot. Här är några användningsområden med faktiskt affärsvärde:

Formulera meddelanden och rapporter
Skapa illustrationen till presentationer av olika slag
Analysera och sammanfatta stora dokument, och besvara frågor utifrån innehållet
Skriva programkod för systemutveckling av olika slag.

Problemet, i korthet

Att skicka företagets data, dokument och källkod till en SaaS-tjänst har en mängd komplikationer, inte minst legala.

GDPR?
Industrispionage?
Insiderbrott?

AI är också väldigt resursintensiv, vilket gör att kostnaden blir betydande. För ett företag med 50 anställda kostar exvis ChatGPT cirka 150.000 SEK /år, eller lite mindre än dubbelt så mycket som kostnaden för Office 365 eller Google G Suite för företagets dokument- och meddelandetjänster.

Modeller som är “Open Source”

Relativt nyligt började stora organisationer som Google, Microsoft och Meta göra sina LLM:er tillgängliga för nerladdning och användning av gemene man, vi frågar en av dessa modeller (Llama 3.2) vad betydelsen av detta är:

			>>> Vad är Open Source AI i samband med nedladdningsbara LLM:er, och varför kallas det "Open Source"?

I samband med nedladdningsbara stora språkmodeller (LLMs), hänvisar Open Source AI till modeller som görs fritt tillgängliga för alla att använda, modifiera och distribuera. Dessa modeller släpps vanligtvis under
öppen källkodslicenser, såsom MIT-licensen eller Apache 2.0-licensen.
Termen "öppen källkod" betyder i detta sammanhang att:
1. Koden är allmänt tillgänglig: Den underliggande koden för LLM-modellen delas med andra, så att de kan studera, förbättra och modifiera den.
2. Inga äganderättsliga begränsningar: Det finns inga begränsningar för användning, delning eller distribution av LLM för personliga eller kommersiella ändamål.
Öppen källkod till LLM har flera fördelar:
1. Ökad användning: Genom att göra modellen fritt tillgänglig kan fler utvecklare, forskare och organisationer ta till sig och bygga vidare på den, vilket påskyndar innovation inom naturlig språkbehandling.
2. Minskade kostnader: Genom att utnyttja ett LLM med öppen källkod kan organisationer undvika kostnaderna för utbildning och underhåll av sina egna proprietära modeller.
>>> /bye

		

På samma sätt som Linux ända sedan 1990-talet möjliggjort revolutionerande tjänster på internet, finns nu möjligheten att skapa nya produkter och tjänster där AI ingår på olika sätt.

Möjligheter och begränsningar med Privat AI

Så, vad innebär detta för mig? I korthet innebär det att om du köper en lämplig server och laddar ned och installerar LLM:er på den kan du för en fast kostnad låta din organisations medlemmar använda AI till t.ex. dokumentanalys och generering, till analys av kunddata, samtidigt som du kringgår problemet med att skicka iväg känslig information till tredje part. Vad som utgör en “lämplig server” beror lite på hur organisationens IT-miljö ser ut i övrigt, men kan vara så enkelt som en vanlig stationär dator med några kraftiga GPU-kort (grafikkort) installerade.

Host all your AI locally (Youtube)

I ekosystemet som uppstått kring Open Source LLM:erna finns en mängd olika applikationer som syftar till att integrera en lokal AI-server, t.ex. ett webgränssnitt för de som vill interagera med den på samma sätt som med Chat GPT, eller extensions till Visual Studio code, som integrerar AI:n i programvarautvecklingen för att skapa, refaktorera och testa den kod som utvecklaren skrivit.

Tekniska begränsningar

Vad är då begränsningarna?

En begränsning är att modellerna ofta inte är tränad på det allra senaste datat. Google, Microsoft m.fl. släpper inte fritt en modell som är tränad på den nyaste datan. Llama är t.ex. tränad på tre år gammal information från internet och Phi-3 likaså. För dokumentanalys, där du själv laddar upp datat spelar det dock väldigt liten roll. Och när det gäller systemutveckling är det inte alltid en fördel att använda det absolut senaste, ofta kan en mer beprövad teknik vara bättre ur många perspektiv.

En annan begränsning är kontextstorleken. Typiskt kan de nedladdningsbara LLMerna hantera mellan fyra tusen och hundra tusen ord samtidigt. Det är inte en begränsning vid sammanfattning av t.ex. medicinska artiklar som är på typiskt 5000 ord – det är inga problem att jämföra information från 10 artiklar, men det kan bli ett problem om man vill analysera t.ex. en stort antal kundsupportärenden eller källkod från ett eller flera stora projekt.

Att använda LLM för systemutveckling

LLMer är experter på systemutveckling, eftersom de tränats på den stora mängd källkod som finns på internet. Här är en screencast som exemplifierar när editorn (Visual Studio Code) är direktkopplad till en privat AI-server. Det är Starcoder som används för autocomplete, och Llama 3 som används för chat.

Observera att videon är uppsnabbad. Den privata AI:n körde på en Intel core i7-processor, ej en dedikerad server.

Mer information

Om du vill veta mer om Privat AI, Open Source LLM eller något annat här ovan, kontakta mig så berättar jag mer.

Beställ en egen AI-server

Tor Åke Fransson, Linefeed AB

tor-ake.fransson(a)linefeed.se

linkedin.com/in/tor-åke-fransson-b07a859