Перегрузка поисковой системой

Частою причиною перевантаження по ресурсам є індексація сайту пошуковими машинами (Google, Bing, і так далі). Це поширена проблема. Вам необхідно обрати один з трьох варіантів дій.

1. Якщо ваш сайт має надійно індексуватися пошуковою системою, тобто ви бажаєте залишити потік відвідувачів з пошукових машин, ви повинні оплатити тарифний план, необхідний для підтримки навантаження. Це єдиний варіант продовження роботи.

   Будь-які уповільнення, обмеження навантаження або інші подібні технічні рішення приведуть до часткової відмови індексування пошуковими машинами і помітного погіршення результатів пошуку по вашому сайту. Обмеження можливо реалізувати єдиним способом - відмова в обслуговуванні сторінки, якщо ліміт процесорного навантаження на годину вже вичерпано, для пошукових машин це настільки ж неприйнятно, як і повна відмова індексації.

2. Якщо ви можете відмовитися від пошукових систем, ви можете заборонити індексування сайту.
   • Перший варіант вирішення проблеми - заборонити індексацію за допомогою robots.txt. Цей файл необхідно розмістити в кореневий каталог сайту. Опис директив файлу можна подивитися, наприклад, тут: https://support.google.com/webmasters/answer/6062596

     Наприклад, для повної заборони індексування сайту ви можете розмістити robots.txt з таким вмістом:

     User-Agent: *
     Disallow: /

     На жаль, деякі пошукові машини файл robots.txt ігнорують або використовують недостатньо оперативно.

   • Більш надійний шлях - заборона доступу за допомогою засобів управління хостингом.
     Цей варіант працює тільки на веб-сервері Apache.
     Важливо: через особливості роботи веб-акселератора обмеження через команди .htaccess deny from може не працювати.

     Для встановлення обмежень подивіться розділ особистого кабінету "повний список функцій", "управління сайтами і серверами".

     Варіант 1 – ви маєте самостійно на основі логів зрозуміти, які IP адреси перевантажують ваш сайт, і заборонити їх.

     Варіант 2 – заборона через поле User Agent протоколу HTTP. Наприклад, HTTP Agent робота Google можливо зафільтрувати по підрядку googlebot.

   • Конфігурацію можна також зробити через власні скриптові вставки в PHP/PERL/ASP/ASP.NET файли, в тому числі на веб-сервері IIS. Це надійний шлях, мінус в тому, що він вимагає зміни файлів проекту.
     Приклад вставки на PHP, яка заборонить відкриття сайту ботом Google (це один рядок коду):

     if (substr_count (strtolower ($_SERVER['HTTP_USER_AGENT']), 'googlebot') > 0) die ('');

     Даний код можна вставити в загальне для всіх сторінок проекту місце, наприклад, в конфігураційний файл проекту.

3. Досвідчений програміст завжди може оптимізувати сайт, використовуючи засоби кешування і інші прийоми оптимізації. Наприклад, можна замінити динамічні сторінки сайту статичними HTML сторінками. Так ви зможете залишитися на поточному плані і залишити можливість повноцінної індексації.
   Якщо програміст вашого сайту або ви самі ставите питання про те, як саме це зробити, це завідомо означає, що, на жаль, вашої кваліфікації для цього не вистачить. Служба підтримки хостингу також не може давати рекомендації з цих питань.

   Ліміти на процессорне навантаження присутні в договорах всіх провайдерів хостингу, тому що спільна робота багатьох сайтів на одній машині - це суть послуги віртуального хостингу. Однак, якщо вам здається, що якийсь інший хостинг-провайдер зможе підтримувати навантаження вашого сайту, ви можете відмовитися від наших послуг і змінити хостинг, при цьому невитрачений залишок коштів ви зможете отримати назад.