Incidents | HYPRR

Minecraft panel (panel.hyprr.space) recovered

Sun, 12 Oct 2025 09:04:45 +0000

Minecraft panel (panel.hyprr.space) recovered

Minecraft panel (panel.hyprr.space) went down

Sat, 11 Oct 2025 19:49:54 +0000

Minecraft panel (panel.hyprr.space) went down

Minecraft panel (panel.hyprr.space) recovered

Tue, 07 Oct 2025 15:31:27 +0000

Minecraft panel (panel.hyprr.space) recovered

PORTAL-1 [Ryzen 9 9950X, DDR5] recovered

Tue, 07 Oct 2025 15:24:13 +0000

PORTAL-1 [Ryzen 9 9950X, DDR5] recovered

PORTAL-1 [Ryzen 9 9950X, DDR5] went down

Tue, 07 Oct 2025 15:19:22 +0000

PORTAL-1 [Ryzen 9 9950X, DDR5] went down

Minecraft panel (panel.hyprr.space) went down

Tue, 07 Oct 2025 15:13:59 +0000

Minecraft panel (panel.hyprr.space) went down

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

Tue, 07 Oct 2025 11:39:01 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

DELTA-1 [Ryzen 7 5700G, DDR4] went down

Tue, 07 Oct 2025 11:30:38 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] went down

CUBE-1 recovered

Sat, 04 Oct 2025 12:33:02 +0000

CUBE-1 recovered

CUBE-1 went down

Fri, 03 Oct 2025 19:21:47 +0000

CUBE-1 went down

CUBE-1 recovered

Thu, 02 Oct 2025 09:57:02 +0000

CUBE-1 recovered

CUBE-1 went down

Thu, 02 Oct 2025 09:48:49 +0000

CUBE-1 went down

CUBE-1 recovered

Wed, 01 Oct 2025 10:24:04 +0000

CUBE-1 recovered

CUBE-1 went down

Wed, 01 Oct 2025 10:21:34 +0000

CUBE-1 went down

CUBE-1 recovered

Tue, 30 Sep 2025 10:12:06 +0000

CUBE-1 recovered

Недоступность локации ru.vrn

Tue, 30 Sep 2025 09:56:00 -0000

Доступность региона ru.vrn

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

Sun, 28 Sep 2025 19:45:02 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

DELTA-1 [Ryzen 7 5700G, DDR4] went down

Sun, 28 Sep 2025 19:09:49 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] went down

Minecraft panel (panel.hyprr.space) recovered

Sun, 28 Sep 2025 08:46:39 +0000

Minecraft panel (panel.hyprr.space) recovered

Minecraft panel (panel.hyprr.space) went down

Sun, 28 Sep 2025 08:44:15 +0000

Minecraft panel (panel.hyprr.space) went down

CUBE-1 went down

Sun, 28 Sep 2025 08:33:54 +0000

CUBE-1 went down

CUBE-1 recovered

Sat, 27 Sep 2025 19:33:02 +0000

CUBE-1 recovered

CUBE-1 went down

Sat, 27 Sep 2025 19:27:37 +0000

CUBE-1 went down

CUBE-1 recovered

Sat, 27 Sep 2025 16:24:09 +0000

CUBE-1 recovered

CUBE-1 went down

Sat, 27 Sep 2025 16:18:32 +0000

CUBE-1 went down

CUBE-1 recovered

Sat, 27 Sep 2025 15:20:18 +0000

CUBE-1 recovered

CUBE-1 went down

Sat, 27 Sep 2025 15:15:42 +0000

CUBE-1 went down

Недоступность локации ru.vrn

Sat, 27 Sep 2025 14:35:00 -0000

Management plane доступен, публичный маршрут все еще недоступен

CUBE-1 recovered

Sat, 27 Sep 2025 13:24:12 +0000

CUBE-1 recovered

CUBE-1 went down

Sat, 27 Sep 2025 13:18:44 +0000

CUBE-1 went down

CUBE-1 recovered

Sat, 27 Sep 2025 13:06:10 +0000

CUBE-1 recovered

CUBE-1 went down

Sat, 27 Sep 2025 13:03:44 +0000

CUBE-1 went down

CUBE-1 recovered

Sat, 27 Sep 2025 11:42:01 +0000

CUBE-1 recovered

Недоступность локации ru.vrn

Fri, 26 Sep 2025 14:34:00 -0000

5 дней даунтайма? У провайдера новый отвал всей сети, от него отстыковался Квант-Телеком. Я в шоке.

Недоступность локации ru.vrn

Wed, 24 Sep 2025 14:20:00 -0000

50 часов с момента отвала. Что нового стало известно: - Мощность атаки была минимум 55-60 гбит/с, дальше сеть легла, а метрика есть только почасовая - Мы заключили договор с новым апстримом, у которого пиринг 200 гбит/с. Идет бумажная работа и так далее - Я реализовал netflow мониторинг на глобальном роутере, теперь мы видим когда на нас. идет атака и если идет небольшая атака направленная на клиента - Подготовили план открытия POP в Германии (10гбит с защитой от DDoS) Кроме этого ничего интересного в плане сетей нет

Недоступность локации ru.vrn

Wed, 24 Sep 2025 10:00:00 -0000

45 часов после начала инцидента. Пострадал ВЕСЬ маршрут. Восстановили ядро сети и северную ветвь. А вот пограничные маршрутизаторы ушли в дедлок, потенциально требуется замена. Мб это я тупой, но сколько трафика вообще прилетело?

Minecraft panel (panel.hyprr.space) recovered

Wed, 24 Sep 2025 08:40:14 +0000

Minecraft panel (panel.hyprr.space) recovered

Minecraft panel (panel.hyprr.space) went down

Wed, 24 Sep 2025 08:37:38 +0000

Minecraft panel (panel.hyprr.space) went down

Недоступность локации ru.vrn

Tue, 23 Sep 2025 12:30:00 -0000

Спустя 24 часа после начала инцидента сеть провайдера все еще лежит и иногда выплевывает тонну BGP анонсов в приступе эпилепсии. Если верить сторонним источникам, проблема в том, что все маршруты анонсировались через стык в 40 гбит/с 🤡 На данный момент мы не нашли новых провайдеров с приемлемыми условиями и прайсом.

Недоступность локации ru.vrn

Mon, 22 Sep 2025 14:00:00 -0000

Ядро сети провайдера вернулось к жизни, DNS серверы и небольшая часть инфры доступна. Основные маршруты все еще недоступны

Недоступность локации ru.vrn

Mon, 22 Sep 2025 12:20:00 -0000

После DDoS атаки на нашу локацию в Воронеже, для которой была отключена DDoS защита неделей ранее, упала сеть провайдера во всем городе. P.S. AS провайдера захлебнулась в собственном BGP соку: https://radar.cloudflare.com/routing/as34550 На момент 15:20 вся подсеть провайдера недоступна

CUBE-1 went down

Mon, 22 Sep 2025 12:12:52 +0000

CUBE-1 went down

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:35:00 -0000

Maintenance completed

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:35:00 -0000

Maintenance completed

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:35:00 -0000

Maintenance completed

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

Fri, 05 Sep 2025 08:33:04 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] recovered

PORTAL-1 [Ryzen 9 9950X, DDR5] recovered

Fri, 05 Sep 2025 08:33:04 +0000

PORTAL-1 [Ryzen 9 9950X, DDR5] recovered

DELTA-1 [Ryzen 7 5700G, DDR4] went down

Fri, 05 Sep 2025 08:07:06 +0000

DELTA-1 [Ryzen 7 5700G, DDR4] went down

PORTAL-1 [Ryzen 9 9950X, DDR5] went down

Fri, 05 Sep 2025 08:07:05 +0000

PORTAL-1 [Ryzen 9 9950X, DDR5] went down

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:00:00 -0000

• Увеличение объема ОЗУ на ноде PORTAL-1 • Увеличение объема ОЗУ на ноде DELTA-1 • Увеличение пропускной способности роутера MSK-ROUTER0 с 1 Гбит/с до 10 Гбит/с

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:00:00 -0000

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:00:00 -0000

Задержка смены IP для DELTA-1, неожиданный даунтайм

Mon, 04 Aug 2025 09:28:00 -0000

DELTA-1 получила новый IP, компенсация - 6 дней за ровно 12 часов недоступности. Вдобавок к этому это последняя работа на сети в Москве

Задержка смены IP для DELTA-1, неожиданный даунтайм

Sun, 03 Aug 2025 23:25:00 -0000

Старый IP мы отпустили, а новую подсеть нам задержали

Minecraft panel (panel.hyprr.space) recovered

Thu, 31 Jul 2025 15:13:50 +0000

Minecraft panel (panel.hyprr.space) recovered

Minecraft panel (panel.hyprr.space) went down

Thu, 31 Jul 2025 09:55:27 +0000

Minecraft panel (panel.hyprr.space) went down

Деградация K8s кластера

Wed, 23 Jul 2025 22:12:00 -0000

Я НЕ знаю что произошло и почему все работает сейчас, причем так как и всегда - без единого намека на инцидент, заставивший стафф поседеть. Была ли проблема в сети, в K8s, в РКН, в убогости птеродактиля или в чем либо еще - я без понятия, может быть было все и сразу. В любом случае оно работает, по SLA компенсации не будет, так как этот инцидент не затрагивал сами ноды. И у HYPRR не будет какой либо нормальной SLA пока такая хрень продолжается - мы не знаем чья это вина, мы не знаем почему что-либо происходит. РКН проводит блокировки и тесты когда и где хочет. Баннер о деградации сервисов Cloudflare (вообще, не только в РФ) появляется каждую неделю. Мир разваливается. Так что по крайней мере я не знаю как считать SLA, если даже не понятно что влияет на него. Зато есть моды на капибару 😍

Деградация K8s кластера

Wed, 23 Jul 2025 15:00:00 -0000

Где-то между 15:00 мск и 18:00 мск происходил такой ужас, что админ пережил экзистенциальный кризис, пару клинических смертей, отвал Pterodactyl на ровном месте (ни логов, ни ошибок в stderr, просто 503) и тепловую смерть вселенной. На этом админ покидает вас и прод, я так больше не могу

Деградация K8s кластера

Wed, 23 Jul 2025 13:00:00 -0000

HALO GAYS TODAY WE HAVE TOP 5 CRASHOUT REASONS: Numero cinco: Got an error reading communication packets (MariaDB) Numero cuatro: Entry for is not found in ARP table Numero tres: Fatal error: can't open the AOF manifest file appendonlydir/appendonly.aof.manifest for reading: Input/output error Numero dos: No healthy replicas Numero uno: Reading registry-1.docker.io: i/o timeout

Деградация K8s кластера

Wed, 23 Jul 2025 12:30:00 -0000

Reasonable crashout: машины могут подключиться к интернету, но не к DOCKER HUB. Симптомы ркновские - http работает и просит редирект, https уходит в таймаут на SSL рукопожатии. У админа тряска и желание убивать

Деградация K8s кластера

Wed, 23 Jul 2025 12:00:00 -0000

Том восстановить не удалось. Он был пересоздан и проверен на целостность. Начат запуск сервисов

Деградация K8s кластера

Wed, 23 Jul 2025 11:40:00 -0000

Перезагружена конфигурация на всех роутерах, сброшен conntrack, связность восстановлена. Продолжаем изучать проблему с томами Longhorn

Деградация K8s кластера

Wed, 23 Jul 2025 11:10:00 -0000

Наблюдаются неполадки с SDN сетью в Москве. Потенциально это и стало причиной рассинхронизации и повреждения томов. Изучаются проблемы и доступность нод

Деградация K8s кластера

Wed, 23 Jul 2025 10:50:00 -0000

Все сервисы отключены, здоровые реплики найдены. Сделан бэкап. Начинаем попытку восстановления

Деградация K8s кластера

Wed, 23 Jul 2025 10:30:00 -0000

Наблюдается повреждение тома Longhorn (ошибка i/o). Начат поиск здоровых и целых реплик

Деградация K8s кластера

Wed, 23 Jul 2025 10:05:00 -0000

Наблюдается деградация API панели, выясняются обстоятельства

PORTAL-1 недоступна

Tue, 10 Jun 2025 13:30:00 -0000

Нода успешно мигрирована, все класс

PORTAL-1 недоступна

Tue, 10 Jun 2025 10:35:00 -0000

Запущена миграция ноды

PORTAL-1 недоступна

Tue, 10 Jun 2025 09:49:00 -0000

DDoS атака 5.6Гбит/с или больше. Провайдер сначала включил защиту, но потом решил что как-то жирно и заблокировал нам IP