Настройка robots.txt

Формирование файла robots.txt в режиме мультирегиональности

В готовом решении «Некстайп: Магнит» разработан удобный механизм для формирования служебного файла robots.txt:
"Магазин" > "Некстайп: Магнит" > "Настройка robots.txt":

Галка "Отключить стандартный вызов robots.txt" галка должна быть активирована при использовании функционала мультирегиональности с использованием поддоменов.

1. Отключая вывод стандартного robots.txt, в корневой директории сайта происходит переименование вышеназванного файла в robots.txt.back
2. В тексте файла можно использовать следующие переменные:
- #HOST# - адрес сайта с протоколом
- #SITE_DIR# - путь до папки с текущим сайтом (аналог константы SITE_DIR)

Однако, если несколько разных сайтов находятся на одном ядре, то при попытке сформировать robots.txt инструментом готового решения мы столкнемся с проблемой, при генерации файла на одном сайте на другом сайте он слетает.

В ситуации, когда на одном ядре есть сайт с мультирегиональностью и один или более сайтов без мультирегиональности можно поступить следующим образом:

• Для сайта с мультирегиональностью сгенерировать robots.txt инструментом готового решения;
• Для сайта(ов) без мультирегиональности сгенерировать файл robots.txt стандартными инструментами Битрикс.