Bli säker-podden

Sedan många år kämpar en skara politiker för att införa bakdörrar i totalsträckskrypterade meddelandeappar, till exempel Apples meddelandeapp. Genom massövervakningsförslaget Chat Control 2.0 vill EU-kommissionen kräva bakdörrar som kan utnyttjas för att skanna efter barnövergreppsmaterial. Det svenska förslaget om så kallad anpassningsskyldighet för leverantörer av totalsträckskrypterade meddelandetjänster kräver liknande bakdörrar men av andra skäl.

Än så länge har ingen sådan bakdörrslag gått igenom i den demokratiska delen av världen. Det betyder inte att totalsträckskrypteringen står ohotad. Förra veckan lanserade Open AI en ny Chat GPT-funktion som i praktiken fungerar likt en bakdörr till Apples meddelandeapp.

Den nya funktionen kan bland annat användas för att hitta eller sammanfatta Imessage-konversationer. Problemet är att konversationerna då laddas upp till Open AI:s molntjänst, vilken till skillnad från Imessage inte tillämpar totalsträckskryptering. Open AI påpekar att ingen uppladdning görs utan användarens samtycke men missar att en konversation består av flera parter. En person som skickar meddelanden via Imessage förväntar sig Imessages nivå av konfidentialitet, inte Chat GPT-säkerhet.

I veckans podd pratar Peter och Nikka om problemet som uppstår när en konversationspart tar sig friheten att bestämma hur gemensamma konversationer ska skyddas. Nikka poängterar att risken för att data läcker är värd att ta på allvar. Open AI har redan lämnat ut Chat GPT-konversationer. I fjol tvingades Open AI att ge New York Times tillgång till 20 miljoner konversationer på grund av en upphovsrättsrelaterad rättstvist.

Podduon pratar också om DN:s fortsatta granskning av Tiktoks moderering och om risken för så kallade Eviltoken-attacker. Den risken har visat sig vara betydligt större än Nikka tidigare trodde.

Se fullständiga shownotes på https://go.nikkasystems.com/podd366.

Den andra augusti trädde en ny del av EU:s ai-akt i kraft. Nu måste ai-verktyg som genererar bilder, videofilmer, ljudklipp och texter infoga en maskinläsbar ai-märkning. Utöver den redan etablerade Content Crendentials-taggningen (podd #343) har många ai-tjänster börjat väva in en osynlig vattenstämpel som inte kan plockas bort på något enkelt vis.

Ett exempel på sådan vattenstämpel är Synth ID, vilken används av bland annat Google, Open AI, Anthropic och Elevenlabs. För människor lämnar Synth ID-vattenstämpeln inga spår. Den gör bara att dedikerade skanningsverktyg kan identifiera vattenstämpeln och avslöja att materialet är ai-genererat.

Veckans poddavsnitt är en uppföljning till förra veckans avslöjande om Tiktoks oförmåga att efterleva den egna ai-policyn. Peter och Nikka pratar om hur de nya ai-märkningarna kan hjälpa de stora plattformarna att enklare upptäcka ai-genererat material.

Podduon pratar också om att flera plattformar (äntligen) har bestämt sig för att ta itu med ai-slaskproblemet. Under sommaren har bland annat Youtube, Linkedin och Snap meddelat att de vill minska mängden ai-slask som användarna ser. Youtube tar bort möjligheten att tjäna pengar på ai-slaskvideor. Linkedin prioriterar ner ai-genererat material och ger användare en ny knapp för att rapportera det som Linkedin kallar ”ai-skräp”. Snap tar ytterligare ett steg och slutar visa fullständigt ai-genererade videoklipp i sin så kallade Spotlight-vy.

I veckans podd pratar Peter och Nikka också om ett välgjort e-handelsbedrägeri, en sårbarhet i Copilot och en synnerligen beklaglig upptäckt hos Amazon.

Se fullständiga shownotes på https://go.nikkasystems.com/podd365.

Ai-modellerna som genererar videoklipp har blivit riktigt bra. Kanske rent av lite för bra. Nu för tiden är det svårt att avgöra om ett videoklipp är äkta. Världens bedragare passar självfallet på att utnyttja situationen.

Tiktok har en policy som kräver att kreatörerna ai-märker ”syntetisk eller manipulerad media som visar realistiska scener”. Under sommaren har DN och Nikka undersökt om den policyn faktiskt efterlevs. Granskningen visar att Tiktok varken har tillräcklig förhandsskanning eller fungerande rapporteringsfunktioner. Av 164 rapporterade ai-klipp utan ai-märkning valde Tiktoks moderatorer att ta bort ett klipp och att plocka bort fyra klipp från rekommendationsflödet. Resterande rapporter avslogs utan åtgärd. Det var först när DN kontaktade Tiktoks pressavdelning som de rensade bort ai-klippen.

De anmälda videoklippen marknadsförde någon form av bedrägeri. 100 klipp föreställde dansande tjejer vars profiler länkade till privata Telegram-kanaler och betalsajter. 64 klipp visade barn och vuxna med olika sjukdomar eller kroppsskador. De ai-genererade personerna marknadsförde handgjorda väskor, konstföremål, flaggor och kläder. Produkterna var i själva verket så kallade dropshipping-produkter som skickas direkt från fabriker i Asien.

I veckans poddavsnitt pratar Peter och Nikka om Tiktok-bedrägerierna och om problemet som uppstår när det blir svårt att skilja verklighet från fiktion. Podduon pratar också om en ny version av en klassisk usb-attack samt om en ai-agent som bestämde sig för att hjälpa sin ägare att gå före i kön till ett gympass. Det enda agenten behövde göra var att utnyttja en sårbarhet i gymmets bokningssystem.

Se fullständiga shownotes på https://go.nikkasystems.com/podd364.

Mitt i sommaren blev det stora rubriker när webbtjänsten Hugging Face avslöjade att de hade blivit attackerade av autonoma ai-agenter. Det visade sig senare vara Open AI som låg bakom attacken. På grund av en sårbarhet hade ai-agenter lyckats smita ut från testmiljön där Open AI utvärderade sina ai-modeller.

När Open AI:s konkurrent Anthropic såg rubrikerna ställde de sig frågan: månntro om vi har råkat göra samma misstag? Svaret var ja. Förra veckan publicerade Anthropic ett blogginlägg där de erkände att de hade orsakat tre liknande incidenter. Den första dokumenterade incidenten hade inträffat redan i april, flera månader före attacken mot Hugging Face. I ett av fallen hade ai-modellen Opus 4.8 lyckats utföra ett intrång och stjäla hundratals rader ur ett oskyldigt företags databas.

Listan över oavsiktliga attacker från autonoma ai-agenter förlängdes ytterligare nu i veckan. Brittiska AISI (AI Security Insitute) meddelade att de hade råkat låta ai-modellerna Mythos 5 och GPT 5.6 Sol attackera oskyldiga måltavlor. Mythos 5 hade bland annat försökt lura underhållarna av ett Github-projekt att godkänna ett infekterat bidrag.

Dessa incidenter kan vara bakgrunden till ett öppet brev som har undertecknats av över 1 300 medarbetare vid de ledande amerikanska ai-företagen, däribland ai-forskningscheferna hos Open AI, Anthropic, Meta och Google. Medarbetarna anser att världen behöver ”tid för att hantera framväxande risker, utveckla säkerhetsåtgärder och stärka tillsynen”. De ber därför den amerikanska regeringen att stödja ett internationellt samarbete för att ta fram de nödvändiga styrverktygen.

I veckans poddavsnitt pratar Peter och Nikka om de nyligen avslöjade ai-attackerna och oron som de orsakar hos ai-företagens medarbetare. Podduon pratar också om två brister i Icloud privacy-tjänster. Apples tjänst ”Dölj min e-postadress” hade en sårbarhet som röjde användarnas riktiga e-postadresser. ”Privat reläservice” är än i dag implementerat på ett vis som gör att webbplatser kan se användarnas ip-adresser även om användarna har aktiverat privacy-funktionen.

Se fullständiga shownotes på https://go.nikkasystems.com/podd363.

Det pågår en intensiv kapprustning mellan de amerikanska och de kinesiska ai-företagen. I USA har Open AI och Anthropic satsat på stängda ai-modeller som de driftar i egen regi. De ledande kinesiska företagen har tvärtemot satsat på så kallade öppenviktsmodeller, det vill säga ai-modeller som även kan driftas av andra tjänsteleverantörer.

Hittills har de amerikanska företagen burit ledartröjan. Nu börjar de kinesiska konkurrenterna komma i kapp. Kimi K3, den senaste öppenviktsmodellen från Moonshot, ligger bara en generation efter de amerikanska toppmodellerna, åtminstone när det handlar om programmering. Frågan är vad som händer när öppenviktsmodellerna blir lika bra på att hitta sårbarheter som Anthropics rubrikskapande Mythos-modell.

Brittiska AISI (AI Security Institute) har redan hunnit utvärdera Kimi K3-modellens cybersäkerhetsförmågor. Deras tester visar att Kimi K3 presterar betydligt sämre än de senaste amerikanska toppmodellerna. Kimi K3 lyckades dock lösa AISI:s test ”The Last Ones”. Det är anmärkningsvärt eftersom det bara var tre månader sedan Mythos-modellen blev den första ai-modell i världen som lyckades lösa uppgiften.

Open AI och Anthropic har genom sina respektive inbjudningsprogram gett utvalda organisationer exklusiv tillgång till de kraftfullaste modellerna. Ai-företagen har också begränsat hur deras allmänt tillgängliga modeller svarar på frågor som berör cybersäkerhet. Motsvarande begränsningar går inte att införa för öppenviktsmodeller eftersom de kan driftas av vem som helst.

Men kraftfulla öppenviktsmodeller behöver inte bara vara negativt för världens cyberförsvar. Tvärtom. Tillgången till öppenviktsmodeller kan bidra till att stärka cybersäkerheten. Det skriver flera av världens största företag i ett öppet brev som tycks vara adresserat till Vita huset. Till och med de amerikanska jättarna Google, Microsoft och Open AI har signerat brevet. Anthropics underskrift lyser däremot med sin frånvaro.

I veckans poddavsnitt pratar Peter och Nikka om ai-kapprustningen mellan USA och Kina. Podduon pratar också om Googles nya selfie-inloggningsmetod för att återfå förlorad åtkomst till Google-konton. Nikka varnar återigen för sökresultatsliknande annonser som sprider skadeprogram. Varningen blir extra relevant eftersom Anthropic har upprepat ett av Googles misstag, vilket underlättar för angripare som vill sprida skadeprogram från Anthropics riktiga domän.

Se fullständiga shownotes på https://go.nikkasystems.com/podd362.