Часто для реализации мультирегионального интернет-магазина, требуется создать файл robots.txt, который был бы одинаков для всех поддоменов содержанием исключений, но разными переменными Host и Sitemap.


1. Создайте в корне сайта файл robots.php с содержанием:

<?php header('Content-Type: text/plain'); ?>
User-Agent: *
Disallow: /*?*
Disallow: /bitrix
Disallow: /upload/
Disallow: /personal/

<?php
$port = "http://";
$host = str_replace(":443", "", str_replace(":80", "", $_SERVER['HTTP_HOST']));
?>
Sitemap: <?=$port . $host?>/sitemap/sitemap_<?=$host?>.xml
Host: <?=$port . $host?>

2. В файле .htaccess после строки:

RewriteEngine On

добавить

Rewriterule ^robots.txt$ /robots.php [L]