Индексация закрытого материала

В плагине plugins/system/jcscomponent.php находится вот такая строка: ``` if (@strpos($_SERVER['HTTP_USER_AGENT'], $bot))

Её менять на это:
``` if (@strpos($_SERVER['HTTP_USER_AGENT'], $bot) !== FALSE)

Так, для примера, вот ссылки на метриалы: 1. http://f.myeffort.ru/microcontrollers/59-terminator-lf-c-string-com-port.html 2. http://f.myeffort.ru/microcontrollers/56-stm32f4discovery-com-port-matlab-lis320dl.html

Give me also access to backend.

То есть пока настроить доступ к материалам для всех посетителей?

Guest То есть пока настроить доступ к материалам для всех посетителей?

Ну тогда не будет защиты так ведь? Все будет открыто. Надо что бы все было закрыто, но поисковики могли зайти. Для этого надо послать на закрытый урл запрос где HTTP_USER_AGENT будет ну например Yandexbot и проверить откроется или нет.

Добавил поправки в исходные файлы. Послал запрос методом Get на закрытый url с рекомендуемыми параметрами, перевод на страницу авторизации/покупки подписки. Так ведь и должно быть.

А если бы меня пропустило и я бы увидел материла? Тогда бы любой пользователь смог зайти таким образом?

В инструменте Яндекс.Вебмастер я проверил закрытые страницы. Результат такой: "Страница обходится роботом, но отсутствует в поиске, поскольку дублирует уже имеющиеся на вашем сайте страницы. HTTP-статус: Смотри другой ресурс (303)". Похоже, что содержимое видно поисковой системе.

Guest А если бы меня пропустило и я бы увидел материла? Тогда бы любой пользователь смог зайти таким образом?

Нет. По идее если в user agent стоит то что пропускается то это можно увидеть. Тоесть если пеользователь знает что вы отаныры для поисковиков то продвинутый пользователь сможет все просмотреть. В этом риск этой фичи. В крайнем случае есть кешь страниц. И если по переходу у вас просят оплаты то обратно в поисковик и посмотреть кешь страници. Ведь поисковик то видел старницу.

По идее при запросе гет с нужным агентом вы должны былы увидеть страницу.

Sergey

Guest А если бы меня пропустило и я бы увидел материла? Тогда бы любой пользователь смог зайти таким образом?

Нет. По идее если в user agent стоит то что пропускается то это можно увидеть. Тоесть если пеользователь знает что вы отаныры для поисковиков то продвинутый пользователь сможет все просмотреть. В этом риск этой фичи. В крайнем случае есть кешь страниц. И если по переходу у вас просят оплаты то обратно в поисковик и посмотреть кешь страници. Ведь поисковик то видел старницу.

По идее при запросе гет с нужным агентом вы должны былы увидеть страницу. Ваша новая система Emerald обладает такой же особенностью получать доступ к материалам через get-запрос?

Привожу пример. Вот есть сайт: http://www.education-tvoy-start.ru/trainings . Он создан на вашей системе, только там используется плагин Emerald 8. Проверяю тот же get-запрос, а результат, как и на моём сайта: переводит на страницу с покупкой подписки. Получаетя, что ребята закрыли для доступа поисковые системы?

Вы можете привести примеры сайтов на membership, где работает такая схема проверки пропуска поисковых роботов?

Какие гарантии с индексацией страниц на новой Emerald? Если бы я знал, что такие мороки будут - купил бы сразу Emerald, тем более стоимость одинаковая.

Guest Вы можете привести примеры сайтов на membership, где работает такая схема проверки пропуска поисковых роботов?

Я не знаю тех кто взял на себя такую смелость. Открыть для публики то что хотят продовать. Это фича была сделана по настоянию одного из сложных клиентов. Но реально ее ни кто не использует. Обычно просто статьи разбивают на 2 части. Та что видима и та что скрыта.

Guest Какие гарантии с индексацией страниц на новой Emerald?

В смысле? Можем ли мы гарантировать что поисковики будут иметь доступ к материалам? Это 100%. Если не будут значит это баг и мы его исправим. Но в конечном итоге эта фича будет работать.

Но еще раз поодумайте нужно ли вам это?

Сергей, понял. Возможно я не прав. Благодарю. Тему можно закрыть.