Code: Select all
User-agent: *
Allow: /
Crawl-delay: 20
User-agent: Applebot
User-agent: Sogou
User-agent: AhrefsBot
User-agent: emrushBot
User-agent: bingbot
User-agent: meta-externalagent
User-agent: Bytespider
User-agent: PetalBot
User-agent: dotbot
User-agent: ClaudeBot
User-agent: yandex.com/bots
User-agent: YandexBot
User-agent: MJ12bot
User-agent: httpx
User-agent: Twitterbot
Disallow: /
Sitemap: https://www.viska.nu/index.htmlNu såg jag att filen var försvunnen igen, kan bero på att jag återställde från en backup, men nu har jag lagt dit den igen. Så förhoppningsvis slipper vi en bot-invasion.