что делать если сайт перегружен людьми
Почему сайт медленно загружается и что с этим делать
Сайт стал медленно открываться — с такой проблемой регулярно обращаются к нашим специалистам технической поддержки. У этой ситуации может быть много причин, и не сразу понятно, что проверять в первую очередь и где искать ошибки.
В статье рассказываем о девяти самых частых причинах медленной работы сайта и объясняем, как и с помощью каких инструментов все исправить.
Если ваш сайт создан с использованием HTML, CSS, JavaScript, PHP (или любого другого бэкенд-языка) — наши рекомендации наверняка окажутся полезными.
Проблемы с нагрузкой и ресурсами на хостинге
Если сайт стал медленно загружаться, первое, что нужно проверить — не потребляет ли он слишком много ресурсов на хостинге и нет ли превышения тарифных лимитов. Из-за этого могут возникнуть проблемы с веб-сервером.
Как проверить, сколько ресурсов потребляет сайт
Посмотрите статистику потребления ресурсов в панели управления хостингом. Если панель не показывает эти данные, запросите их у вашего хостера.
В панели управления хостингом RU-CENTER потребление ресурсов можно посмотреть в разделе «Статистика». Обратите внимание, сколько оперативной памяти и процессорного времени сайт потреблял за последние дни, неделю, месяц.
Вот как выглядит превышение ресурсов на графиках в панели управления хостингом RU-CENTER:
Потребление памяти в норме, потребление процессорного времени выросло
Потребление памяти и нагрузка на CPU (центральный процессор) выросли
Потребление памяти высокое, CPU в норме, но есть пик потребления
Также можно проверить логи доступа к сайту и посмотреть запросы за период высокого потребления ресурсов.
Чаще всего потребление ресурсов растет из-за следующих причин:
Некоторые владельцы сайтов переходят на более высокий тариф сразу же, как только замечают, что скорость снизилась, а расход ресурсов по тарифу превышен. Такой способ подойдет, например, когда очевидно, что посещаемость сайта выросла.
Но бывает, что посещаемость не изменилась, а ресурсы превышены и сайт тормозит. В таком случае переход на более высокий тариф может не решить проблему. Сначала лучше выяснить, что именно замедляет ваш сайт.
Проблемы с оптимизацией CSS и JavaScript
Когда пользователь переходит на сайт, браузер начинает собирать (рендерить) страницу, чтобы отобразить все ее элементы в окне браузера.
Рендеринг — сложный процесс. Браузеру нужно построить макет будущей страницы, понять, какие стили использовать для каждого элемента, отрисовать саму страницу.
Неправильно подключенные и настроенные файлы JavaScript и CSS могут замедлить рендеринг. Ведь браузер пытается сначала подгрузить скрипт, иначе содержимое страницы просто не отобразится.
Начните анализировать сайт с помощью инструмента PageSpeed Insights. Сервис изучит ваш ресурс, подскажет, что надо исправить и как изменения ускорят работу сайта.
Что делать, если замедляется рендеринг страницы
Из-за большого количество посетителей сайт поплыл, что делать?
Вопросы:
Как исправить проблему, кроме как переделывать на Nodejs?
Есть ли решения кроме Nodejs?
Как сделать чтобы на сайт могли зайти миллион людей и чтобы сайт выдержал нагрузки.
Заранее Спасибо всем огромное.
Как исправить проблему, кроме как переделывать на Nodejs?
Контролировать запросы к БД. Не создавать повторных идентичных запросов без нужды. Повторно использовать полученные данные. Использовать кэширование данных. Оптимизировать структуру БД, включая индексы.
Проблема у вас не в PHP.
Как сделать чтобы на сайт могли зайти неимоверное количество людей и чтобы сайт выдержал нагрузки
Использовать рекомендации, которые я и другие вам написали.
P.S. vk.com написан на PHP и ему тоже норм.
Ну вообще то 1500 запросов в минуту это совсем таки мало. Такую «нагрузку» держит стандартный веб-сервер (Apache + PHP) на виртуалке с 512Мб оперативной памяти и 1 ядром. Так что, на мой взгляд, что-то не ладное в вашем коде. На чём собственно сайт? Какой PHP движок?
А что у вас с кешированием MySQL-запросов, данных? Наверно не используете?
Работа с кэшем выглядит примерно так:
Nc_Soft: > если их много и они запутанные, то будут проблемы с инвалидацией кеша
Есть методы автоматического контроля кэша, к примеру зависимости. Если все правильно делать, то кэш не будет залипать. Ваше утверждение верно лишь по отношению к тем, кто с кэшем умеет работать также плохо, как и с БД.
И вот это ваше утверждение
> Прежде чем что-то кешировать, нужно это максимально оптимизировать.
звучит как правило, хоть таким и не является.
Как привести в порядок перегруженный сервер?
Материал, перевод которого мы сегодня публикуем, посвящён поиску узких мест в производительности серверов, исправлению проблем, улучшению производительности систем и предотвращению падения производительности. Здесь, на пути к решению проблем перегруженного сервера, предлагается сделать следующие 4 шага:
1. Оценка ситуации
Когда трафик перегружает сервер, узким местом производительности могут стать процессор, сеть, память, дисковая подсистема ввода-вывода. Определение того, что именно вызывает проблему, позволяет сконцентрировать усилия на самом важном. Рассмотрим некоторые особенности анализа важнейших серверных подсистем.
Начать работу по выявлению проблем сервера можно, воспользовавшись командой top. Если есть такая возможность, здесь можно прибегнуть к историческим данным хостинг-провайдера и к данным, собранным системами мониторинга.
2. Стабилизация сервера
Наличие в системе перегруженного сервера может быстро привести к каскадным отказам в других частях системы. В результате важно, после того, как стало известно о том, что сервер перегружен, стабилизировать его, а уже потом исследовать ситуацию на предмет внесения в систему неких серьёзных улучшений.
▍Ограничение скорости обработки запросов
Ограничение скорости обработки запросов позволяет защитить инфраструктуру, ограничивая количество входящих запросов. Это очень важно при падении производительности сервера. По мере того, как растёт время ответа сервера, пользователи имеют свойство агрессивно обновлять страницу, что ещё сильнее повышает нагрузку на сервер.
Хотя отказ от обработки запроса — мера простая и действенная, лучше всего снижать нагрузку на сервер, занимаясь ограничением числа поступающих к нему запросов средствами некоей внешней системы. Это может быть, например, балансировщик нагрузки, обратный прокси-сервер или CDN. Ниже приведены ссылки на инструкции по работе с несколькими системами такого рода:
▍HTTP-кеширование
Поищите способы улучшения кеширования содержимого. Если ресурс может быть отдан пользователю из HTTP-кеша (из кеша браузера или из CDN), тогда его не нужно запрашивать с сервера, что уменьшает нагрузку на сервер.
HTTP-заголовки наподобие Cache-Control, Expires и ETag указывают на то, как должен кешироваться тот или иной ресурс. Аудит и исправление этих заголовков могут помочь улучшить кеширование.
Хотя для кеширования можно прибегнуть к возможностям сервис-воркеров, они используют отдельный кеш. Это — помощь основной системе кеширования браузера, а не её замена. Поэтому при исправлении проблем перегруженного сервера усилия надо сосредоточить на оптимизации HTTP-кеширования.
Диагностика
Запустите Lighthouse и взгляните на показатель Serve static assets with an efficient cache policy для того чтобы увидеть список ресурсов с коротким и средним временем кеширования (Time To Live, TTL). Проанализируйте ресурсы, перечисленные в списке, и рассмотрите возможность увеличения их TTL. Вот ориентировочные сроки кеширования, применимые к различным ресурсам.
Настройка кеширования
Нужно записать в директиву max-age заголовка Cache-Control необходимое время кеширования ресурса, выраженное в секундах. Вот инструкции по настройке этого заголовка в разных системах:
▍Постепенное сокращение возможностей системы
Постепенное сокращение возможностей системы — это стратегия временного ограничения функционала, направленная на снятие с сервера чрезмерной нагрузки. Эта концепция может быть применена множеством различных способов. Например, выдача клиентам статической текстовой страницы вместо полномасштабного приложения, отключение поиска или возврат меньшего, чем обычно, количества результатов поиска. Сюда относится и отключение ресурсоёмких возможностей проектов, не влияющих на их основной функционал. Основное внимание тут должно быть уделено отключению функционала, от которого можно отказаться, не слишком сильно воздействовав на основные возможности приложения.
3. Улучшение системы
▍Использование CDN
Задача по обслуживанию статических ресурсов может быть переложена с сервера на сеть доставки контента (Content Delivery Network, CDN). Это позволит снизить нагрузку на сервер.
Основная функция CDN заключается в быстрой доставке материалов пользователям благодаря использованию большой сети серверов, расположенных поблизости от пользователей. Кроме того, некоторые CDN предлагают дополнительные возможности, связанные с производительностью. Среди них — сжатие данных, балансировка нагрузки, оптимизация медиа-файлов.
Настройка CDN
Преимущества CDN раскрываются в том случае, если компания, владеющая сетью, имеет большую группировку серверов, распределённых по всему миру. Поэтому поддержка собственного CDN-сервиса редко имеет смысл. Обычная настройка CDN — это достаточно быстрая процедура, занимающая около получаса. Она заключается в обновлении DNS-записей таким образом, чтобы они указывали бы на CDN.
Оптимизация использования CDN: исследование ситуации
Для того чтобы идентифицировать ресурсы, которые обслуживаются не с помощью CDN (но должны выдаваться пользователям с CDN), можно воспользоваться WebPageTest. На странице результатов щёлкните по прямоугольнику, подписанному как Effective use of CDN и просмотрите список ресурсов, которые следует обслуживать средствами CDN.
Результаты, выдаваемые WebPageTest
Решение проблем
Если ресурсы не кешируются с помощью CDN, выясните, выполняются ли следующие условия:
▍Масштабирование вычислительных ресурсов
Решение относительно масштабирования вычислительных ресурсов следует принимать с осторожностью. Хотя часто решить некие проблемы можно, прибегнув к масштабированию, сделав это несвоевременно, можно неоправданно усложнить систему и необоснованно повысить затраты на её поддержку.
Диагностика
Высокий показатель, характеризующий время до первого байта (Time To First Byte, TTFB), может быть признаком того, что сервер приближается к пределам своих возможностей. Найти сведения о TTFB можно в разделе Reduce server response times (TTFB) отчёта Lighthouse.
Для более глубокого исследования ситуации нужно воспользоваться каким-нибудь средством мониторинга и проанализировать использование процессора. Если текущее или прогнозируемое значение загрузки процессора превышает 80% — это значит, что нужно задуматься о повышении мощности сервера.
Решение проблем
Добавление в систему балансировщика нагрузки позволяет распределять трафик между множеством серверов. Балансировщик нагрузки находится перед пулом серверов и распределяет трафик на подходящие серверы. Облачные провайдеры предлагают пользователям балансировщики нагрузки (GCP, AWS, Azure), но можно пользоваться и собственным балансировщиком, применив HAProxy или NGINX. После того, как балансировщик нагрузки готов к работе, в систему можно добавлять дополнительные серверы.
В дополнение к балансировке нагрузки большинство облачных провайдеров предлагает услуги по автоматическому масштабированию вычислительных мощностей (GCP, AWS, Azure). Автоматическое масштабирование связано с балансировкой нагрузки. А именно, при автоматическом масштабировании ресурсов в моменты высокой нагрузки производится выделение дополнительных ресурсов, а в периоды низкой — отключение ненужных ресурсов. Но, даже учитывая это, нужно отметить, что автоматическое масштабирование — это тоже не универсальное решение. Для автоматического запуска серверов нужно время. Конфигурации автоматического масштабирования требуют серьёзной настройки. Поэтому до применения сложной системы автоматического масштабирования стоит опробовать сравнительно простую конфигурацию с балансировщиком нагрузки.
▍Использование сжатия данных
Текстовые ресурсы нужно сжимать с использованием алгоритма gzip или brotli. В некоторых случаях сжатие может помочь в сокращении размеров таких ресурсов примерно на 70%.
Диагностика
Для того чтобы найти ресурсы, нуждающиеся в сжатии, можете воспользоваться показателем Enable text compression из отчёта Lighthouse.
Решение проблем
Для включения сжатия нужно отредактировать настройки сервера. Вот подробности об этом:
▍Оптимизация изображений и других медиа-материалов
На изображения приходится основной объём материалов большинства веб-сайтов. Оптимизация изображений может привести к значительному уменьшению размеров материалов сайта. При этом такая оптимизация выполняется достаточно быстро.
Диагностика
В отчёте Lighthouse есть разные показатели, которые указывают на потенциальные возможности по оптимизации изображений. Для поиска крупных изображений, нуждающихся в оптимизации, можно воспользоваться и обычными инструментами разработчика браузера. Такие изображения вполне могут стать хорошими кандидатами на оптимизацию.
Вот список показателей отчёта LightHouse, на которые стоит обратить внимание, исследуя возможность оптимизации изображений:
Решение проблем
Сначала поговорим о том, что стоит предпринять в том случае, если у вас мало времени.
В такой ситуации стоит обратить внимание на большие изображения, и на изображения, которые загружаются чаще других. Обнаружив их, их надо подвергнуть ручной оптимизации, воспользовавшись инструментом наподобие Squoosh. Хорошими кандидатами на оптимизацию обычно являются большие фотографии. Например, взятые с ресурса вроде Hero Images.
Вот на что надо обращать внимание, оптимизируя изображения:
Если изображения составляют значительную долю материалов сайта — рассмотрите возможность использования для их обслуживания специализированного CDN-сервиса, рассчитанного на работу с изображениями. Такие сервисы позволяют снять нагрузку по работе с изображениями с основного сервера. Настройка проекта на использование подобного CDN-сервиса проста, но она требует обновления существующих ссылок на изображения таким образом, чтобы они указывали бы на CDN-ресурсы. Вот материал, посвящённый использованию специализированных CDN-сервисов, рассчитанных на изображения.
▍Минификация JavaScript- и CSS-кода
Минификация кода позволяет уменьшать его размер, удаляя ненужные символы.
Диагностика
Взгляните на показатели Minify CSS и Minify JavaScript отчёта Lighthouse для того чтобы выявить ресурсы, нуждающиеся в минификации.
Решение проблем
Если у вас мало времени — сосредоточьтесь на минификации JavaScript-кода. На большинстве сайтов объём JavaScript-кода превышает объём CSS-кода, поэтому такой ход даст лучшие результаты. Вот материал о минификации JavaScript, а вот — о минификации CSS.
4. Мониторинг сервера
Инструменты для мониторинга серверов поддерживают сбор данных и их визуализацию с использованием панелей управления. Они умеют оповещать пользователей о различных событиях, имеющих отношение к производительности серверов. Использование таких инструментов может помочь в предотвращении и смягчении проблем с производительностью серверов.
Настраивая систему мониторинга, стоит стремиться к как можно большей простоте. Сбор чрезмерного количества данных и слишком частые уведомления способны вызывать негативные эффекты. Чем шире диапазон собираемых данных и чем чаще осуществляется их сбор — тем дороже будет обходиться их сбор и хранение. А если того, кто отвечает за состояние сервера, будут заваливать сообщениями о незначительных событиях, то он, в итоге, будет эти сообщения игнорировать.
В уведомлениях должны содержаться метрики, которые последовательно и точно описывают проблемы. Например, время ответа сервера (latency) — это метрика, которая особенно хорошо для этого подходит: она позволяет выявить большое количество проблемных ситуаций и напрямую связана с тем, как сервер воспринимается пользователями. Уведомления, основанные на низкоуровневых метриках, вроде уровня использования процессора, могут играть роль полезного дополнения, но они способны указать лишь на небольшую часть возможных проблем. Кроме того, уведомления должны быть основаны не на средних показателях, а на показателях, соответствующих 95-99 перцентилям. В противном случае анализ средних значений может легко привести к пропуску проблем, которые не затрагивают всех пользователей.
Настройка мониторинга
Все основные облачные провайдеры предоставляют клиентам собственные инструменты мониторинга (GCP, AWS, Azure). Кроме того, тут можно отметить инструмент Netdata — отличную бесплатную опенсорсную альтернативу инструментам провайдеров. Вне зависимости от того, чем именно вы пользуетесь, вам понадобится установить на каждый сервер, который нужно мониторить, приложение-агент. После завершения настройки системы не забудьте настроить уведомления. Вот инструкции по настройке разных средств мониторинга:
Итоги
Сегодня мы поговорили о том, как выявлять и исправлять проблемы с производительностью серверов. Хочется верить, что ваши серверы будут работать стабильно и вам советы из этого материала не пригодятся. А если что-то пойдёт не так — надеемся, тут вы нашли что-то такое, что поможет вам как можно быстрее справиться с проблемой.
Уважаемые читатели! Что вы делаете в ситуации, когда сервер, на котором работает ваш проект, начинает «тормозить»?
Что делать, если «кина не будет» или как обойти блокировку сайта провайдером
Настал мой законный выходной и, выбрав время для просмотра фильма (люблю я старую классику), я занялся его поиском. Зайшел на один из привычных для меня сайтов, и наткнулся на такую вот блокировку данного ресурса.
«Вот те раз!» — подумал я. Ни в одном реестре запрещенных сайтов данный ресурс не присутствовал и, с чего билайн его заблокировал — непонятно. Естественно после таких вот «заявочек» в голову полезли страшные мысли: «а что если завтра любимого „кина“ не будет!». Данные мысли тут же подвигли меня начать искать способы борьбы с данной ситуацией, и написать, для тех кому будет интересно, маленький обзор нескольких решений по обходу блокировки сайтов. (под катом скрины)
Способов, конечно, существует огромное множество, начиная от прокси, VPN, анонимайзеров и заканчивая IPv6. Но я опишу несколько понравившихся мне по определенным критериям, в данном случае это: простота установки и настройки и скорость работы.
Оговорюсь сразу, всевозможные онлайн-анонимайзеры не использую, так как нет доверия к данным сервисам и не понятно, куда передаешь свои данные авторизации. Ну и про VPN писать не буду — они обычно платные. Статья рассчитана на простого обывателя, по этому буду стараться описать наиболее легкие способы просмотра заблокированных сайтов.
Для определения IP адреса, провайдера, наличия прокси и замера скорости я использовал сервис 2ip.ru. И так, начнем.
1) Tor Browser www.torproject.us
Tor — это бесплатное программное обеспечение, которое помогает защитить вас от цензуры в сети Интернет и анализа трафика со стороны всевозможных спецслужб.
Tor в IT сообществе известен уже давно. Проблем с поиском и установкой данного продукта не возникло.
Как видно из приведенного выше скрина, Tor дает полную анонимность для серфинга. Реальный IP адрес не определяется.
Вывод:
Задачу свою он конечно выполняет, но использовать Tor постоянно не комфортно. А запускать его ради того чтобы посерфить только на сайтах с хорошими фильмами, не очень практично.
2) потом под руку попалось расширение friGate https://fri-gate.org/
Дополнение (расширение) к браузеру friGate как написано на сайте разработчика «позволяет получить доступ к ошибочно заблокированным сайтам, при этом не вызывает никаких неудобств. С помощью оригинального алгоритма работы, скорость доступа к сайтам практически не снижается, что очень важно, как для пользователей расширения, так и для владельцев сайтов».
Есть версии для Chrome, Firefox и Opera. Я тестировал для Google Chrome (интернет-магазина Chrome), но для других платформ прокси те же. Меня заинтересовала фраза «скорость доступа к сайтам не снижается».
Сервис 2ip.ru показывает что прокси передает адрес источника и не является анонимным. Оказывается в настройках можно включить анонимность, но по умолчанию она не включена.
Вывод:
Лично мне понравилось расширение. Пользуюсь я практически только хромом. Через прокси идет трафик, если только ресурс заблокирован, иначе все напрямую — меня это устраивает. Ну и в собственный список добавил несколько сайтов, которых у них нет в их глобальном списке — все супер.
3) Stealthy Lite www.stealthy.co
Существует ли в вашей стране или организации блокировка доступа к facebook, YouTube или других сайтов? Есть ли сервисы, которые недоступны в вашей стране? Stealthy это решение для Вас. В отличие от других расширений мы постоянно ищем быстрые прокси для вас. Кстати настораживает это:«мы постоянно ищем быстрые прокси для вас»
В версии Lite расширение (дополнение) получает случайный прокси из списка доступных или существует возможность указать страну, но опять же если она присутствует в списке. Рекомендуемый прокси (США, Великобритания) доступен только в версии PRO.
Сервис 2ip.ru определяет, что расширение Stealthy использует не анонимный прокси-сервер. Смайлик, который рядом с IP адресом – это как оказалось мне выпал счастливый IP (сумма чисел первой половины равна сумме чисел второй половины адреса) что дало мне право на регистрацию без инвайта и возможность пригласить 10 человек на сервис 2ip.ru :).
Вывод:
Stealthy, как альтернатива другим способам доступа к заблокированным сайтам, показал себя довольно не плохо. Неудобство возникает только когда приходится отключать или включать данное расширение. Ну и невысокая скорость через бесплатные прокси оставляет желать лучшего.
4) UltraSurf ultrasurf.us
Ultrasurf является продуктом интернет-компании UltraReach. Ultrasurf создан, чтобы помочь интернет-пользователям из Китая получить свободу в сети Интернет. ПО Ultrasurf на данный момент стало одним из самых популярных в мире для борьбы с цензурой. Миллионы людей используют его для обхода интернет-цензуры и конфиденциальности в сети Интернет.
Использование анонимного серфинга и просмотра. Ultrasurf скрывает ваш реальный IP-адрес, очищает историю посещенных страниц, куки и многое другое.
Сервис 2ip.ru при определении IP адреса, пишет «прокси не используется», что дает нам так называемую анонимность. Сервера всегда имеют IP одной и той же страны, в данном случае это США.
Вывод:
Надоедливая реклама, которой, кстати, раньше не было, как то не корректно встраивается в страницы и иногда мешает полноценному просмотру сайта. Ultrasurf возможно использовать только кратковременно и как альтернативу другим способам с более высокой скоростью. Ждать полной загрузки страницы на некоторых сайтах приходится долго, что доставляет полное неудобство при серфинге в сети.
5) fasTun fastun.ru
Добро пожаловать на fasTun — бесплатный Ускоритель Интернета со сжатием трафика. fasTun позволит вам увеличить скорость загрузки данных и сократить ваши расходы на интернет в 2-10 раз! Данный сервис, конечно, предназначен немного для другого, но в данный момент многие пользователи используют его как еще одну альтернативу доступа к заблокированным ресурсам.
fasTun умеет следующее: Сжимать HTTP трафик с помощью алгоритма GZIP, оптимизировать код веб-страниц (HTTP/CSS), тем самым, уменьшая их размер и сжимать изображения в форматах PNG, GIF и JPEG с выбором качества.
2ip.ru однозначно определяет, что прокси используется, но IP адрес за прокси не показывает. Сервер всегда имеет один и тоже IP адрес, в данном случае это Германия. На этом же сервере располагается сервис fasTun.
Вывод:
Данный сервис позволяет обходить блокировку сайтов провайдером. Так же позволяет экономить трафик, путем сжатия с помощью алгоритма GZIP, что на данный момент актуально только для мобильных платформ. Но сравнительно невысокая скорость опять же делает серфинг невыносимым.
Общий вывод:
Из всех протестированных мной способов обхода блокировки сайтов провайдером, я оставил бы для собственных нужд всего одно: friGate.
И скорость нормальная и пользоваться удобно.
Кстати есть еще отличный способ это поднять тонель до ipv6 брокера (и бесплатно и без потери скорости практически), но у многих сайтов нет адреса AAAA.