функції
Вся проіндексована інформація записується в загальну базу даних.
Пошукової робот - програма, яка автоматично подорожує по сторінках інтернету, запитуючи потрібні документи і отримуючи структуру сканованих сайтів. Робот самостійно вибирає сторінки, які повинні бути просканувати. У більшості випадків скановані сайти вибираються в довільному порядку.
типи ботів
Неправильно функціонуючий робот значно збільшує навантаження на мережу і сервер, що може стати причиною недоступності ресурсу.
У кожної пошукової системи існує кілька програм, які називаються роботами. Кожна з них може виконувати певну функцію. Наприклад, у «Яндекса» деякі роботи відповідають за сканування новинних стрічок RSS, які будуть корисні при індексації блогів. Є також програми, які займаються тільки пошуком картинок. Проте найголовнішим є індексує бот, який формує базу для проведення будь-якого пошуку. Також є допоміжний швидкий робот, призначений для пошуку оновлень по новинних стрічках і заходам.
процедура сканування
Іншим способом заборони на сканування вмісту є створення доступу до сайту через панель реєстрації.
Відвідуючи сайт, програма проводить сканування файлової системи на предмет наявності файлів інструкції robots.txt. При наявності документа, починається зчитування директив, прописаних в документі. Robots.txt може забороняти або, навпаки, дозволяти, сканування тих чи інших сторінок і файлів на сайті.
Процес сканування залежить від типу програми. Іноді роботи зчитують тільки заголовки сторінок і кілька параграфів. У деяких випадках сканування проводиться по всьому документу в залежності від HTML-розмітки, яка також може працювати в якості засобу для вказівки ключових фраз. Деякі програми спеціалізуються на прихованих або мета-тегах.
Додавання в список
Кожен веб-майстер може заборонити сканування сторінок пошуковою системою через robots.txt або тег META. Також творець сайту може вручну додати сайт в чергу індексування, проте додавання зовсім не означає, що робот негайно просканує потрібну сторінку. Щоб додати сайт в чергу, пошуковики також надають спеціальні інтерфейси. Додавання сайту значно прискорює процес індексування. Також для швидкої реєстрації в пошуковій системі можуть бути використані системи веб-аналітики, каталоги сайтів і т.п.
