Webperf
Verktyg som Matomo har börjat visa upp AI-assistenter som en egen kategori av förvärv i sina analysrapporter. Befintliga verktyg som Screaming Frog har fått nya anledningar att lyfta fram loggfilsanalys, nu för att identifiera olika AI-botar.
Allt detta är värt att förstå och förhålla sig till. Men om vi skalar bort det som är nytt i samtalet och tittar på de underliggande mönstren, så visar det sig att diskussionen bygger på principer och utmaningar som har funnits ända sedan webbens tidiga dagar. Det som kallas AI-trafik i dag är i grunden en utveckling av samma fråga som webben har brottats med sedan 1990-talet. Vem besöker egentligen min webbplats, och varför?
Botar har alltid funnits på webben
1993 skapade Matthew Gray sin bot, World Wide Web Wanderer, en av de allra första webbcrawlarna. Ungefär samtidigt började problemen med att botar överbelastade webbservrar.
Dessa incidenter ledde till att det 1994 föreslogs en lösning genom det som kom att kallas Robots Exclusion Protocol. Martijn Koster har skrivit om historien och beskriver den informella atmosfär som präglade webbens barndom.
Standarden, som formaliserades genom filen robots.txt, var enkel. En textfil i webbplatsens rotkatalog som talade om för robotar vilka delar av webbplatsen de fick besöka och vilka de borde undvika. Det var ett frivilligt system, byggt på tillit och god sed snarare än teknisk kontroll. Mer än trettio år senare fungerar det fortfarande på samma sätt. Filen robots.txt är fortfarande en de facto-standard.
→ robots.txt är en basal del av din webbplats som du inte kan ignorera (Webperf)
Det som har förändrats är inte principen utan skalan och mångfalden av aktörer. I stället för en handfull sökmotorcrawlers som respekterade robots.txt har vi nu hundratals AI-botar med namn som GPTBot, ClaudeBot och PerplexityBot. Search Engine Journal har sammanställt en verifierad lista över AI-crawlers och deras user-agent-strängar som ger en bild av hur landskapet ser ut idag. Och precis som på 1990-talet finns det botar som ignorerar reglerna. En studie som Reuters rapporterade om 2024 visade att flera AI-företag inte följde robots.txt. En prepubliceringsartikel från Duke University 2025 bekräftade att många botar inte ens kontrollerade om filen fanns, något som Plagiarism Today har skrivit om i sin genomgång av robots.txt-standardens relevans.
Det är en påminnelse om att frivilliga protokoll alltid har haft begränsningar. Men det betyder inte att de saknar värde. Att följa etablerade standarder är ett uttryck för respekt mot dem som driver webbplatser, och det signalerar att man tar det digitala ekosystemets spelregler på allvar.
Loggfilsanalys är webbens äldsta analysverktyg
Långt innan verktyg som Google Analytics och Matomo fanns hade webbadministratörer tillgång till serverloggar. Varje förfrågan mot en webbserver loggas med information om vilken IP-adress som besökte, vilken sida som begärdes, vilken user-agent-sträng som skickades med och vilken statuskod som returnerades. Att analysera dessa loggar var det första sättet att förstå vad som hände på en webbplats.
Under sent 1990-tal och tidigt 2000-tal växte verktyg som Webalizer och AWStats fram. AWStats, skrivet i Perl och publicerat år 2000, hade redan då funktionalitet för att identifiera robotbesök och separera dem från mänsklig trafik. Verktyget kunde skilja ut kända crawlers baserat på user-agent-strängar och presenterade robotstatistik som en egen kategori i sina rapporter. I AWStats dokumentation om loggfilsanalys påpekades att verktyg utan robotdetektering kunde visa upp till 25 procent felaktiga siffror om webbplatsen hade relativt få besökare.
Det innebär att frågan om att skilja mänsklig trafik från automatiserad trafik inte alls är ny. Det är exakt samma fråga vi ställer idag, fast med nya aktörer. Screaming Frogs Log File Analyser, som idag marknadsförs med stöd för AI-botidentifiering, bygger vidare på samma tradition.
→ How to Monitor AI Bots in the Log File Analyser (Screaming Frog)
Verktyget läser serverloggar, identifierar crawlers genom verifiering av user-agent och IP-adress och presenterar data om hur olika botar beter sig på webbplatsen. Även Googles egen dokumentation om sina crawlers beskriver de tre klassiska identifieringsmetoderna som fortfarande gäller, nämligen:
- user-agent-strängar
- käll-IP-adresser
- reverse DNS-uppslag
Matomo har tagit ett liknande steg genom att integrera AI-assistenttrafik som en egen rapportkategori. Det gör det möjligt att se hur AI-chatbotar och AI-agenter interagerar med webbplatsen, vilka sidor de besöker och hur deras beteende förändras över tid. Det är ett välkommet tillägg, men det bygger på exakt samma princip som AWStats tillämpade för över tjugo år sedan. Identifiera automatiserad trafik, separera den från mänsklig trafik och presentera resultaten så att webbansvariga kan fatta informerade beslut.
Skalan har förändrats, inte grundproblemet
Det som verkligen har förändrats är proportionerna. Enligt Impervas Bad Bot Report 2025 utgjorde automatiserad trafik 51 procent av all webbtrafik under 2024, varav 37 procent klassificerades som skadliga botar. Cloudflares årsrapport för 2025 visade att AI-botar stod för i genomsnitt 4,2 procent av alla HTML-förfrågningar, medan enbart Googlebot stod för 4,5 procent. Icke-AI-botar genererade hälften av alla förfrågningar till HTML-sidor, sju procentenheter mer än vad mänskliga besökare stod för.
Det här är siffror som förändrar förutsättningarna. Men utmaningen i sig, att förstå vilka som besöker ens webbplats och vad de gör där, är densamma som alltid. Verktygen har blivit bättre och mer sofistikerade, men den grundläggande metoden är oförändrad. User-agent-strängar, IP-verifiering genom reverse DNS-uppslag och beteendeanalys baserad på åtkomstmönster är samma tekniker som har använts sedan webbens barndom.
Osynligt värdeskapande
Det som AI-eran tillför är nya dimensioner av samma problem. AI-agenter som agerar på uppdrag av användare skapar besök som liknar mänskliga sessioner men inte är det. AI-chatbotar som sammanfattar innehåll utan att länka tillbaka förstärker mönstret av osynligt värdeskapande, men som liknar koncept som Microformat (2005) och Schema.org (2011). Det där som kallas zero-click.
→ Webbanalysens mätetal behöver spetsas till när allt mer blir zero-click (Webperf)
"Microformat är en sådan standard som exempelvis via XFN anger relationer i länkar, bland annat kan det anges att en utgående länk är till en kollegas webbplats vilket anger relationen även för en dator."
– Webb 3.0 inte fullt så publikfriande som 2.0 (Webperf, 2008)
Crawlers som hämtar data för modellträning ställer upphovsrättsliga och etiska frågor som den ursprungliga robots.txt-standarden inte var utformad för att hantera. Men för oss webbanalytiker handlar det fortsatt om att mäta, förstå och agera. Det är samma process som webbanalys alltid har handlat om.
Att navigera framåt
Det finns en tendens att framställa AI-relaterad trafik som något helt nytt som kräver helt nya förhållningssätt. I verkligheten handlar det om att tillämpa beprövade principer med uppdaterade erfarenhet.
Att regelbundet granska sin robots.txt-fil och ta ställning till vilka botar man vill ge tillgång till sin webbplats är en god vana som har varit relevant sedan 1994. Att analysera serverloggar för att förstå vilka aktörer som besöker webbplatsen är en metod som är lika giltig nu som när AWStats introducerades. Att använda webbanalysverktyg som kan skilja mellan mänsklig och automatiserad trafik är en förutsättning för att kunna tolka sina data korrekt, oavsett om det handlar om traditionella sökmotorcrawlers eller nya AI-agenter.
Det som är värt att ta med sig är att grunderna inte har förändrats. Standarder och protokoll finns av en anledning, och de organisationer som följer dem bidrar till ett sundare digitalt ekosystem. De som granskar sina loggar och analyserar sin trafik med rätt verktyg har bättre förutsättningar att förstå vad som pågår och fatta välgrundade beslut.
Webben har alltid varit en plats där människor och maskiner samsas. Det som AI-eran måhända gör är att den synliggör den dynamiken på ett sätt som gör det svårare att blunda för den. Och det är en positiv utveckling, för den öppnar upp för bättre mätpraxis, bättre förståelse av våra webbplatser och i förlängningen bättre underlag för beslut.
