index php do lostpassword
Создаем файл Robots.txt и карту сайта в XML. Марафон, день 7.
Продолжаю марафон, в ходе которого я рассказываю, как создать хороший сайт для заработка на продаже вечных ссылок и контексте. После прохождения 6 статей марафона, сайт почти готов. Теперь нужно его немного оптимизировать для поисковых систем.
Во-первых, рекомендую почитать рекомендации Яндекса по созданию сайта. Нужно было раньше дать на них ссылки, но и сейчас «самое время». Так вот, в этом руководстве для правильного индексирования сайта, веб-мастерам рекомендуется использовать файл robots.txt и создать карту сайта в формате XML. Начнем с карты сайта.
Sitemaps XML
Sitemaps — это XML-файл с информацией для поисковых систем (таких как Google, Yahoo, Ask.com, MSN, Яндекс) о страницах веб-сайта, которые подлежат индексации
Чтобы создать карту сайта XML в WordPress нужно скачать плагин Google XML Sitemaps и установить его. Про установку читайте тут.
Чтобы сделать sitemap.xml в DLE нужно зайти в админку и в списке всех разделов найти пункт «Карта сайта для Google и Yandex. Данный модуль предназначен для создания карт сайта для поисковых систем Google и Yandex.» Дальше разберетесь 
.
Если вы используете другой движок, ищите информацию по созданию карты сайта в XML в поисковиках.
Файл Robots.txt
О том, что такое robots.txt и для чего он нужен, читайте здесь. Разобравшись с этой статьей, вы поймете как сделать правильный robots.txt и что в нем писать.
Говоря простым языком, файл Robots.txt нужен для того, чтобы запретить индексацию ненужных страниц нашего сайта. Под ненужными страницами понимаются страницы не содержащие полезной информации и делающие сайт менее качественным в глазах поисковой системы. Например страницы RSS фида, страницы поиска, регистрации, профили пользователей, страницы, дублирующие информацию и т.д.
Я приведу свои примеры файла robots txt для wordpress и для DLE и коротко их прокомментирую.
Robots.txt для wordpress
User-agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: */trackback/
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Disallow: /*page/
Disallow: /tag/
Disallow: /?s=
Что у нас получается:
Allow: /wp-content/uploads/
Разрешаем индексировать папку wp-content/uploads/. Чтобы робот индексировал картинки и прочие файлы, которые мы загрузили.
Disallow: /cgi-bin
Запрещаем индексировать все, что лежит в папке cgi-bin
Disallow: /wp-login.php
Запрет индексации страницы wp-login.php. Вход в админку не несет никакой полезной информации и его нужно запретить к индексации.
Disallow: /wp-register.php
То же самое и со страницей регистрации — wp-register.php.
Disallow: /xmlrpc.php
Запрещаем индексацию файла xmlrpc.php. Какой-то файлик, который отвечает за вызов удаленных процедур в WP.
Disallow: /wp-admin/
Запрещаем индексировать админ панель WordPress.
Disallow: /wp-includes/
Даем указание не индексировать файлы, находящиеся в директории wp-includes
Disallow: /wp-content/
Запрещаем индексацию в директории wp-content. Внутри нее у нас лежат папки: с темами themes, плагинами – plugins, папка cache, если используются плагины для кеширования страниц и т.д. То есть, куча бесполезного, что не нужно индексировать. Единственное что представляет ценность это папка wp-content/uploads/, но мы ее уже разрешили индексировать в начале.
Disallow: /trackback/
Disallow: */trackback/
Что-то связанное с трекбеками. Подглядел где-то и включил в свой файл robots.txt
Disallow: /feed/
Disallow: */feed/
Disallow: /?feed=
Запрещаем индексацию всего, что связано с фидами. Тоже где-то подглядел, особо не разбирался.
Disallow: /page/
Запрет индексации страниц с постами. (Страница 1 из 12345678»…В конец ») В принципе страницы содержат полезную информацию, но индексировать их не нужно. Потому что страницы не оптимизируются по каким-либо запросами содержат дублированный контент.
Disallow: /tag/
Также будет правильным запретить тэги (метки). Яндекс не очень любит их из-за дублированного контента. Но если грамотно распределять посты по меткам и в анонсах статей писать уникальные описания, и к каждой статье не добавлять кучу меток, а одну-две, то можно и разрешить индексировать тэги. Лично я на своем новом сайте запрещаю.
Disallow: /?s=
Не индексируем страницы результатов поиска. Вот это просто обязательно.
Sitemap: http://vash-site.ru/sitemap.xml
Указываем поисковому роботу путь к карте сайта в формате xml.
Host: vash-site.ru
Обозначаем что сайт vash-site.ru является главным зеркалом.
Robots.txt для DLE
Правильный robots.txt для dle также как и для Worrdpress должен запретить индексацию ненужных страниц. В зависимости от типа выбранного ЧПУ в настройках DLE файл роботс.тхт будет различным. Вот что я пишу в общем случае в файле robots.txt для dle:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=search
Disallow: /index.php?do=pm
Disallow: /engine/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /user/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?subaction=newposts
Disallow: /newposts/
Disallow: /*print
Disallow: /*page/
Disallow: /templates/
Disallow: /tags/
Теперь подробнее:
Disallow: /cgi-bin/
Папка cgi-bin не будет индексироваться.
Disallow: /admin.php
Закрываем от индексации админ панель DLE
Disallow: /index.php?do=lastcomments
Запрещаем индексить страницу с последними комментариями.
Disallow: /index.php?do=feedback
Запрет индексации страницы «Обратная связь».
Disallow: /index.php?do=lostpassword
Страница восстановления пароля тоже не будет индексироваться.
Disallow: /index.php?do=search
Запрещаем индексировать страницы с результатами поиска.
Disallow: /index.php?do=pm
Не индексируем персональные сообщения пользователей (ПМ)
Disallow: /engine/
Запрещаем индексировать каталог engine, в котором у нас хранится cache, modules и прочее.
Disallow: /index.php?do=register
Закрываем от поисковиков страницу регистрации новых юзеров.
Disallow: /index.php?do=addnews
И страницу добавления новостей.
Disallow: /autobackup.php
Disallow: /backup/
Прячем от индексации бекапы.
Disallow: /user/
Запрет на индексацию профилей пользователей.
Disallow: /language/
Запрещаем языковые фалы.
Disallow: /favorites/
Не индексируем то, что находится в избранном у пользователя.
Disallow: /statistics.html
Disallow: /index.php?do=stats
Запрет на индексацию страницы «Статистика».
Disallow: /*print
Не индексируем «распечатанные страницы». Это будет правильным, не только потому что так мы избавляемся от дублированного контента, но еще и потому, что в поиске могут участвовать распечатанные страницы, а не основные страницы. Тогда пользователь не увидит рекламы, а просто текст новости – нам это не выгодно.
Disallow: /templates/
Запрет на индексацию каталога с шаблонами – templates.
Disallow: /tags/
Не индексируем тэги. Это не обязательно, но я бы закрывал тэги от индексации.
Index php do lostpassword
Когда Google переписывает теги title: 9 сценариев
Facebook анонсировал новые инструменты для бизнес-коммуникации
Перечитал уже кучу тем по поводу robots.txt для DLE, но все-же, если вам не сложно, посмотрите на мой файлик и оцените его. Что еще добавить или убрать?
Сайт под НЧ и некоторые СЧ запросы.
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*print
Disallow: /user/
Disallow: */page/*
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /language/
Disallow: /tags/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /*group=*
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /search.html
Disallow: /rules.html
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Host: http://site.net/
noex:
Перечитал уже кучу тем по поводу robots.txt для DLE, но все-же, если вам не сложно, посмотрите на мой файлик и оцените его. Что еще добавить или убрать?
Сайт под НЧ и некоторые СЧ запросы.
Вот именно: написано куча тем, а ведь правило довольно простое:
Index php do lostpassword
Одноклассники запустили нейросеть для борьбы с кликбейтом
Новости интернет-рекламы за июль-август 2021 года
вот как я прописал
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011*
Disallow: /2012*
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /admin.php
Disallow: /backupurl.php
Disallow: /autobackup.php
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /forum/search.php?
Disallow: /forum/member.php?
Disallow: /forum/memberlist.php?
Sitemap: http://мой_домен/sitemap.xml
User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011*
Disallow: /2012*
Disallow: /backup/
Disallow: /language/
Disallow: /templates/
Disallow: /page/
Disallow: /tags/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /user/
Disallow: /favorites/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /admin.php
Disallow: /backupurl.php
Disallow: /autobackup.php
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /engine/go.php
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /autobackup.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /index.php?do=rules
Disallow: /index.php?subaction=userinfo
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /forum/search.php?
Disallow: /forum/member.php?
Disallow: /forum/memberlist.php?
Host: мой_домен
Спасибо зарание, буду признателен любому вашему мнению и ответу.
Index php do lostpassword
Страницы для печати, пагинацию, календарь можно закрыть. И проверьте может index.php тоже прописать?
Вот такой файл я использую:
User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://ваш_домен.ru/sitemap.xml
User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /tags/
Disallow: /2012/
Disallow: /2013/
Disallow: /engine/
Disallow: /engine/download.php
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /banners/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Sitemap: http://ваш_домен.ru/sitemap.xml
Host: ваш_домен.ru
А потом будет куча тем про мобильный редирект и прочие взломы))