Slik bygger vi en AI-chat som ikke lekker

Det tar ti minutter å få opp en AI-chat på en demo. Det tar litt lenger tid å få den til å tåle en sikkerhetsgjennomgang. Her er byggeklossene jeg bruker for å komme dit.

1. Alt går gjennom API Management

Ingen klient snakker direkte med modellene. API Management står i døra og gir oss:

• én plass å styre nøkler og kvoter per team
• policyer som kan stoppe eller vaske forespørsler
• logging av hvem som spurte om hva, og hvor mye det kostet

2. Et privat nettverk fra start

Vi starter med en IP-plan før vi oppretter noe som helst. Et lite utdrag:

10.20.0.0/16   vnet-ai-chat
  10.20.1.0/24   snet-apim
  10.20.2.0/24   snet-app
  10.20.3.0/24   snet-private-endpoints

Foundry og andre tjenester får private endepunkter, og offentlig tilgang skrus av. Da finnes det rett og slett ingen vei inn fra internett.

3. Vern om persondata

Før en melding når modellen, sjekker vi den for personopplysninger (PII). Det som ikke skal ut av huset, blir stoppet eller maskert.

4. Ferske svar med Bing

Modellene vet ikke hva som skjedde i går. Med grounding med Bing kan assistenten slå opp før den svarer, og vise hvor svaret kommer fra.

5. Logg alt

Til slutt samler vi logger fra APIM, appen og modellene på ett sted. Når noen spør «hva skjedde her?», skal svaret være ett søk unna.

Mer om hver bit kommer i egne innlegg. Si fra hvis det er noe du vil at jeg skal grave i først.