Правильный Robots txt для сайта на WordPress

Опубликовано: 01.09.2018

видео Правильный Robots txt для сайта на WordPress

WordPress SEO #2. Настройка robots.txt

Чтобы исключить все возможные проблемы с индексацией вашего сайта, нужно обязательно правильно составить и заполнить robots.txt. Это очень важный файл, который создается собственноручно вебмастером для управлением индексацией отдельных категорий и страниц сайта.



Эта статья входит в цикл материалов про внутреннюю оптимизацию сайта . Вместе с ней также будет полезно почитать правильную структуру сайта .

В сети написано немало информации про этот must-have файл каждого сайта, поэтому я не буду расписывать здесь то, что уже давно написано и вряд ли изменилось с тех пор (лучше Яндекса никто не расскажет). Вам важно понимать, что этот файл нужен для того, чтобы закрыть от индексации ПС всякий ненужный мусор, который генерируется WP. Итак, без лишних слов даю вам то, что нужно для отличной индексации.


Файл robots txt для сайта. Как создать правильный robots txt

Сразу хочу заметить, что файл этот дорабатывался мною годами и проверен на личном опыте и более 30-ти сайтах. Поэтому зуб даю, что он вам точно не навредит. Но также имейте ввиду, что это стандартный вариант и для нетипичных сайтов или блогов его придется доработать. Но таких сейчас почти нет и если вы новичок, то можете не брать это в расчет.


SEOподготовка. Часть 3. Главное зеркало сайта и файл robots.txt

Также перед публикацией этого файла я специально прошелся по популярным блогам и глянул на их Robots.txt. Результат всего вышесказанного можете наблюдать чуть ниже.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 User -agent : Yandex Disallow : / cgi -bin Disallow : / wp -admin Disallow : / wp -login .php Disallow : / wp -register .php Disallow : / xmlrpc .php Disallow : / wp -includes Disallow : / wp -content /plugins Disallow : / wp -content /cache Disallow : / wp -content /themes Disallow : / author / Disallow : / feed Disallow : */ feed Disallow : /*?* Disallow: /*? Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /search/*/ feed Disallow : / search /*/* Disallow: /tag/ Disallow: /page/ Disallow: */ comments / Disallow : */ comment -page -* Disallow : */ trackback / Allow : / wp -content /uploads / Host : whiteprofit .ru User -agent : * Disallow : / cgi -bin Disallow : / wp -admin Disallow : / wp -includes Disallow : / xmlrpc .php Disallow : / wp -content /plugins Disallow : / wp -content /cache Disallow : / wp -content /themes Disallow : / wp -trackback Disallow : / wp -feed Disallow : / wp -comments Disallow : */ trackback Disallow : */ feed Disallow : */ comments Disallow : / author / Disallow : / page / Disallow : / wp -login .php Disallow : / wp -register .php Disallow : / tag / Disallow : */ comment -page -* Disallow : / webstat / Disallow : / ?feed = Disallow : / ?s = Disallow : / trackback Disallow : /*?* Disallow: /*? Disallow: /comments Sitemap: https://whiteprofit.ru/sitemap.xml

User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /author/ Disallow: /feed Disallow: */feed Disallow: /*?* Disallow: /*? Disallow: /*.js$ Disallow: /*.inc$ Disallow: /*.css$ Disallow: /search/*/feed Disallow: /search/*/* Disallow: /tag/ Disallow: /page/ Disallow: */comments/ Disallow: */comment-page-* Disallow: */trackback/ Allow: /wp-content/uploads/ Host: whiteprofit.ru User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /author/ Disallow: /page/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /tag/ Disallow: */comment-page-* Disallow: /webstat/ Disallow: /?feed= Disallow: /?s= Disallow: /trackback Disallow: /*?* Disallow: /*? Disallow: /comments Sitemap: https://whiteprofit.ru/sitemap.xml

Кстати, не забудьте поменять URL на свой в директивах Host и Sitemap. Этот файл я применяю на всех сайтах и отлично себя чувствую. Здесь закрыты всевозможные страницы, скрипты и другие ненужности, генерируемые движком.

Объяснять все подробно думаю нет смысла, вам ведь лениво будет все читать. Да и зачем это делать, когда нужно просто копировать данный кусок куда и вставить в свой robots.txt, а потом залить его в корневую папку сайта.

Если будут вопросы или доработки, то обязательно пишите в комментариях. А пока можете добавить свой роботос в панель вебмастера от Я и Г для спокойствия.

rss