сторінки кожного сайту регулярно обходяться пошуковими роботами, які обробляють знаходиться на сайті інформацію, щоб вона була доступна за запитами користувачів в пошукових системах. Візити відвідувачів, що прийшли з пошукових систем, позитивно впливають на відвідуваність сайту і стимулюють розвиток ресурсу. Але, якщо на сайті є сторінки, інформація на яких не призначена для інтернет-аудиторії (наприклад, особисті сторінки користувачів або сторінка реєстрації), то перехід з пошукових систем на такі сторінки не потрібен і цю інформацію краще заборонити до індексації.

Вам знадобиться

- мати власний сайт
- знати посилання до сторінок, індексацію яких потрібно заборонити.
- мати хоча б початкові знання HTML

Інструкція

Для того щоб заборонити пошуковому роботу індексувати певні сторінки сайту, необхідно провести зміни в файлі robots.txt, якщо він вже є на вашому сайті, або створити цей файл.

Якщо файл robots.txt вже залитий на сайт і можливо змінювати цей файл прямо з панелі управління ресурсом, то відкрийте robots.txt через веб-сервіс для редагування.

Якщо можливості вносити зміни в потрібний файл прямо з панелі управління немає, то відкрийте robots.txt в браузері, перейшовши за посиланням до цього файлу. Скопіюйте всі дані з відкрилася сторінки і вставте на лист в програмі «Блокнот».

При відсутності robots.txt на сайті, відкрийте програму «Блокнот», в новий документ якої потрібно буде вписати необхідний код.

На порожньому аркуші текстового документа напишіть першу обов`язкову сходинку:
User-agent: *

Потім перейдіть на наступну сходинку, натиснувши клавищи Enter, і наберіть наступний код:
Disallow: / index / page3Disallow: позначає заборону індексації, а / index / page3 - це посилання на сторінку, яку не потрібно індексувати. Замість посилання / index / page3 вставте посилання на сторінку вашого сайту, яку потрібно заборонити для обробки роботами.

Зауважте, що на початку посилання відсутнє саме ім`я домену, його наявність в запису на увазі похила риса. Пошуковий робот при обході сайту автоматично підставляє в такі посилання доменне ім`я. Тому посилання на потрібні сторінки пишіть саме таким чином.

Після Disallow: можна поміщати не тільки посилання на конкретну сторінку, але і посилання на який-небудь розділ або директорію сайту. Подібним чином можна заборонити індексацію потрібної частини сайту.

При необхідності заборони обробки роботами декількох різних ділянок ресурсу, посилання на кожен розділ або сторінку пишіть з нового рядка, на початку якої не забувайте поміщати запис Disallow :.

Щоб завершити реорганізацію robots.txt, натисніть кнопку «Зберегти» при редагуванні файлу в панелі управління або збережіть текстовий документ із записами під ім`ям robots.txt і залийте цей файл на сайт.

Рада 2: Як заборонити індексацію сайту

Проіндексовані пошуковими системами сторінки забезпечують стабільну відвідуваність ресурсу. Але якщо в даний момент ваш сайт знаходиться в розробці, то поява пошукових роботів на сторінках ресурсу вкрай не бажано, так як потрапила в пошук інформація про незаповнених розділах може на довгий час позбавити ваш ресурс цільових відвідувачів. Щоб на час захистити сайт від сканування роботами, потрібно заборонити його до індексації. Для цього досить зробити кілька нескладних змін в коді ресурсу.

Вам знадобиться

- мати хоча б початкові знання HTML
- знати, як відкрити кореневу папку каталогу файлів вашого сайту

Інструкція

Спочатку перевірте, чи є на вашому сайті файл robots.txt, який відповідає за правильну індексацію ресурсу. Для цього перейдіть за адресою http: &frasl- &frasl- www·-site·-ru &frasl- robots.txt &frasl-, замінивши http: &frasl- &frasl- www·-site·-ru на адресу вашого сайту.

Якщо при при переході по цьому посиланню відкривається запис виду "User-agent: * Disallow ...", То це означає, що потрібний файл присутній на вашому сайті. В цьому випадку зайдіть в кореневу папку, де зберігаються всі файли вашого сайту, і знайдіть файл robots.txt.

Якщо система управління вашим сайтом дозволяє редагувати цей файл прямо з кореневої папки, то відкрийте robots.txt через допоміжний сервіс. При неможливості твори будь-яких змін з файлом через інтерфейс системи збережіть документ на комп`ютер, а потім відкрийте його через програму «Блокнот».

Змініть перші два рядки документа на такі:
"User-agent: *
Disallow: /".
напис "User-agent: *" показує, що наступні за записом правила відносяться до всіх пошукових роботів, а "Disallow: /" означає заборону індексації всього сайту. Після корекції змісту збережіть файл.

У разі відсутності на сайті файлу robots.txt створіть новий документ в програмі «Блокнот». Впишіть в нього ті ж самі два записи, розташовуючи кожну з них на новій сходинці, і збережіть файл за допомогою команди «Файл-Зберегти як ...» під ім`ям robots.txt.

Залийте створений документ в кореневу папку вашого сайту і спробуйте знову, знову перейшовши за посиланням http: &frasl- &frasl- www·-site·-ru &frasl- robots.txt &frasl-, де замість "http: &frasl- &frasl- www·-site·-ru" впишіть адресу вашого ресурсу.

Іншим способм заборони індексації є вставка спеціальних метатегов в HTML-код сторінок сайту. Для того, щоб скористатися цим методом, знайдіть в коді одній зі сторінок сайту написи "" і помістіть відразу після "" рядок "".

Якщо ваш сайту написаний на мові HTML, то такий код необхідно вставляти на кожній сторінці. Для ресурсу на PHP досить помістити такий запис у файлі header.php.

Корисна порада

Не використовуйте для написання посилань у файлі robots.txt літери верхнього регістру. Запис User-agent: * обов`язково має бути присутня в коді файлу-інструкції для пошукових роботів. Після кожного Disallow: вказуйте посилання на одну сторінку, директорію або файл.

Увага, тільки СЬОГОДНІ!