Як закрити сайт від індексації
Практично кожен веб-майстер намагається оптимізувати сторінки свого сайту таким чином, щоб отримати якомога більше кількість проіндексованих елементів. Але в деяких випадках потрібно навпаки приховати деякі сторінки, наприклад, форма введення реєстраційних даних, відновлення паролів і т.д.
Вам знадобиться
- Редагування файлу Robots.txt.
Інструкція
1
Найпростіший спосіб закрити індексацію декількох розділів або конкретного всього сайту - Це внесення відповідних записів в файл robots.txt. Його використовують як поводиря для пошукових систем. При заході на сторінки сайту пошуковий робот звертається до цього файлу, якщо його немає, він індексує весь сайт, інакше слідує рекомендаціям, вказаним в цьому файлі.
2
Якщо ви створювали свій сайт самостійно, і у вас немає такого додатка, у вигляді текстового документа із зазначенням заборон, його легко створити самому. Відкрийте новий текстовий документ, наприклад, через програму «Блокнот». У тілі документа розмістіть наступні рядки: User-agent: * Disallow: /файл.htmlDisallow: / директорія /
3
Тепер давайте розбиратися, що ви задали пошуковій системі в якості завдання. Знак «*» навпроти User-agent означає, що цей посібник необхідно виконати абсолютно всім файловим системам. Наприклад, якщо ви пропишіть замість «*» значення «Yandex», дане звернення прочитає тільки робот пошукової системи Яндекс. Оператори Disallow забороняють індексацію конкретного розділу (директорія) або файлу (файл.html).
4
Після складання файлу robots.txt можна перейти безпосередньо до текстів на сторінках сайту. Як вам відомо, пошукові системи не люблять, коли на ваших сторінках розташовуються більш 3 зовнішніх активних посилань. Що робити, якщо потрібно кров з носа, але розмістити 5 або більше посилань. У цих випадках можна використовувати атрибут rel = "nofollow" або тег
5
Для закриття посилань від індексації пошукової системи Google необхідно привести посилання в наступний вигляд: анкор посилання. Тіло атрибута необхідно вставити в будь-яку частину посилання, не забуваючи про поділ прогалиною, тобто атрибут можна розмістити між «a» і «href» або між посиланням і її анкором.
6
Для закриття посилань від індексації пошукової системи Яндекс необхідно привести посилання в наступний вигляд: . Тег ставиться на початку і в кінці посилання. Не забувайте, що цей тег парний: друга частина, на відміну від першої, йде зі знаком «/».
Зверніть увагу
Як закрити від індексації сторінки за допомогою файлу robots.txt. Це службовий файл, який вказує пошуковому роботу, які сторінки вашого блогу варто індексувати, а які ні. Прийшовши на сайт, робот в першу чергу шукає цей файл і якщо не знаходить, починає індексувати всі підряд - в тому числі і ваші адмінських сторінки, плагіни, і інше, поки йому не набридне.
Корисна порада
При пошукової оптимізації у багатьох виникають проблеми, і однією з них є те, що пошуковик індексує не те, що хотілося б. Якщо ж ви маєте кілька піддоменів на сайті, то слід для них розміщувати окремий файл robots.txt. Даний файл вказує пошуковикам, які саме файли і директорії не слід враховувати при індексації. Як він влаштований? Його структура проста.
Статті за темою "Як закрити сайт від індексації"
Оцініть, будь ласка статтю
