Як індексує яндекс
Індексація - процес сканування файлів, розташованих на інтернет-ресурсі, пошуковим роботом. Дана процедура здійснюється для того, щоб сайт був доступний в результатах пошуку за різноманітними запитами в пошуковій системі. Серед найбільш великих пошукачів на сьогоднішній день є «Яндекс», який по-своєму проводить дане сканування.
1
Індексацією інтернет-сайту займаються спеціальні автоматичні програми - пошукові роботи, які автоматично відстежують появу нових сайтів у всесвітній павутині, проводячи постійне сканування знаходяться в мережі інтернет-сторінок, файлів і посилань на них на кожному ресурсі.
2
Для сканування робот переходить в директорію, на якій розташовується ресурс на тому чи іншому сервері. При виборі нового сайту робот керується його доступністю. Наприклад, існує думка, що «Яндекс» виконує сканування спочатку сайтів, створених в російськомовному домені і російською мовою - ru, рф, su або ua, і лише потім переходить в інші регіони.
3
Робот переміщається на сайт і переглядає його структуру, спочатку займаючись пошуком вказують на подальший пошук файлів. Наприклад, сайт сканується на наявність Sitemap.xml або robots.txt. У цих файлах може бути задано поведінку пошукового робота при скануванні. За допомогою карти сайту (sitemap.xml) робот більш точно отримує уявлення про структуру ресурсу. Через robots.txt веб-майстер задає файли, які він не хотів би, щоб вони видавалися в результатах пошуку. Наприклад, це може бути особиста інформація або інші небажані дані.
4
Просканувавши ці два документа і отримавши потрібні інструкції, робот починає аналізувати HTML-код і обробляти отримані теги . За замовчуванням, при відсутності файлу robots.txt пошуковик починає обробляти всі документи, що зберігаються на сервері.
5
Переходячи по посиланнях в документах, робот також отримує інформацію про інших сайтах, які потрапляють в чергу по скануванню слідом за цим ресурсом. Проскановані файли на сайті зберігаються в якості текстової копії і структури на серверах в дата-центрах «Яндекса».
6
Необхідність повторного сканування визначається також автоматично роботами. Програма порівнює наявний результат сканування з оновленою версією сайту при повторному проходженні індексації. Якщо отримані програмою дані різняться, проводиться оновлення копії сайту і на сервері «Яндекса».
Корисна порада
Можливості використання директив в robots.txt визначені у відповідному розділі для веб-майстрів на сайті «Яндекса».
Статті за темою "Як індексує яндекс"
Оцініть, будь ласка статтю