# nie-jenite.com
#
# ВНИМАНИЕ: краулърът изпълнява САМО най-специфичната група, която го напасва, и
# игнорира всички останали. Затова всяко ново правило Disallow трябва да се повтори
# във всяка именована група по-долу - иначе за Googlebot то просто не съществува.
#
# Техническите страници (/tags/, /categories/) НЕ се блокират оттук. Disallow спира
# краулването, не индексирането - блокирана страница пак може да влезе в индекса,
# при това без Google да види какво има в нея. Те носят noindex в мета тага, което
# изисква да са краулваеми.

User-agent: *
Allow: /

# Google AdSense - контекстно таргетиране на рекламите
User-agent: Mediapartners-Google
Allow: /

User-agent: AdsBot-Google
Allow: /

User-agent: AdsBot-Google-Mobile
Allow: /

# AI търсачки - изрично разрешени
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

Sitemap: https://nie-jenite.com/sitemap.xml