User-agent: YandexNews
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /server/
Allow: /server/yandex.rss
Allow: /server/news.rss
Crawl-delay: 3

User-agent: YandexNews/3.0
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /server/
Allow: /server/yandex.rss
Allow: /server/news.rss
Crawl-delay: 3

User-agent: YandexNews/4.0
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Allow: /server/yandex.rss
Allow: /server/news.rss
Crawl-delay: 3

User-agent: Zen_Bot/2.0
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /server/
Allow: /server/yandex.rss
Allow: /server/news.rss
Crawl-delay: 3


User-agent: Twitterbot/1.0
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: /server/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /video/
Crawl-delay: 3

User-agent: Twitterbot
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: /server/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /video/
Crawl-delay: 3

User-agent: GPTBot
Disallow: /

User-agent: Mediapartners-Google
Disallow:
Allow: /

User-agent: AhrefsBot
Disallow: /

User-Agent: *                     # правила для всех роботов
Disallow: /cgi-bin                # папка на хостинге
Disallow: /manager/
Disallow: /core/
Disallow: /search?*
Disallow: *?hauth_action
Disallow: /admin/
Disallow: /index.php              # дубли страниц index.php
Disallow: /logs/
Disallow: /assets/
Disallow: /connectors/
Disallow: *?*                     # ссылки с параметрами
Disallow: *utm*=                  # ссылки с utm-метками
Disallow: *openstat=              # ссылки с метками openstat
Disallow: *from=                  # ссылки с метками from
Disallow: /server/
Allow: /assets/*.jpg        # здесь и далее открываем для индексации изображения, файлы и скрипты
Allow: /assets/*.jpeg
Allow: /assets/*.gif
Allow: /assets/*.png
Allow: /assets/*.pdf
Allow: /assets/*.doc
Allow: /assets/*.docx
Allow: /assets/*.xls
Allow: /assets/*.xlsx
Allow: /assets/*.ppt
Allow: /assets/*.pptx
Allow: /assets/*.js
Allow: /assets/*.css
Allow: *?page=              # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical)
Allow: /server/yandex.rss
Allow: /server/news.rss
Clean-param: hauth_action *
Clean-param: switch_user *
Crawl-delay: 3

Host: https://vestirama.ru
Sitemap: https://vestirama.ru/sitemap.xml