Top

User-agent

EVERTOP.PRO / Термины  / User-agent

User-agent

User-agent – это директива, с помощью которой можно регулировать поведение поисковых роботов путем установления для них определенных правил поведения. Прописывается в файле robots.txt с общей инструкцией для всех поисковых систем или отдельными инструкциями для каждого робота в отдельности. 

User-agent позволяет закрыть от индексации одну страницу или несколько разделов с сохранением индексации картинок, расположенных на страницах внутри этих разделов.

Поделиться

Контент-менеджер

Собирательный образ всей команды агентства EVERTOP.