Incidents | HYPRR

Lomiri API (Minecraft) recovered

Mon, 03 Aug 2026 13:43:40 +0000

Lomiri API (Minecraft) recovered

Lomiri API (Minecraft) went down

Mon, 03 Aug 2026 13:33:39 +0000

Lomiri API (Minecraft) went down

Lomiri API (Minecraft) recovered

Sun, 02 Aug 2026 20:38:41 +0000

Lomiri API (Minecraft) recovered

Website (hyprr.space) recovered

Sun, 02 Aug 2026 20:34:38 +0000

Website (hyprr.space) recovered

Website (hyprr.space) went down

Sun, 02 Aug 2026 19:47:34 +0000

Website (hyprr.space) went down

Lomiri API (Minecraft) went down

Sun, 02 Aug 2026 18:59:42 +0000

Lomiri API (Minecraft) went down

LUCID-1 [Xeon X5690, DDR3] recovered

Sun, 02 Aug 2026 14:45:03 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Sun, 02 Aug 2026 14:02:51 +0000

LUCID-1 [Xeon X5690, DDR3] went down

LUCID-1 [Xeon X5690, DDR3] recovered

Tue, 28 Jul 2026 08:50:04 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Mon, 27 Jul 2026 19:23:01 +0000

LUCID-1 [Xeon X5690, DDR3] went down

Lomiri API (Minecraft) recovered

Mon, 27 Jul 2026 01:43:41 +0000

Lomiri API (Minecraft) recovered

Lomiri API (Minecraft) went down

Mon, 27 Jul 2026 00:13:39 +0000

Lomiri API (Minecraft) went down

Lomiri API (Minecraft) recovered

Sun, 26 Jul 2026 19:23:42 +0000

Lomiri API (Minecraft) recovered

Lomiri API (Minecraft) went down

Sun, 26 Jul 2026 15:49:34 +0000

Lomiri API (Minecraft) went down

Website (hyprr.space) recovered

Wed, 22 Jul 2026 07:10:38 +0000

Website (hyprr.space) recovered

Website (hyprr.space) went down

Wed, 22 Jul 2026 03:23:38 +0000

Website (hyprr.space) went down

Неполадки на MSK-IX

Wed, 22 Jul 2026 01:50:00 -0000

Работы на IX-MSK завершены, мы не уверены что это было

Lomiri API (Minecraft) recovered

Wed, 22 Jul 2026 00:18:47 +0000

Lomiri API (Minecraft) recovered

LUCID-1 [Xeon X5690, DDR3] recovered

Tue, 21 Jul 2026 23:45:17 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

DELTA-1 [Ryzen 7 5700X, DDR4] recovered

Tue, 21 Jul 2026 23:45:11 +0000

DELTA-1 [Ryzen 7 5700X, DDR4] recovered

Lomiri API (Minecraft) went down

Tue, 21 Jul 2026 23:44:37 +0000

Lomiri API (Minecraft) went down

LUCID-1 [Xeon X5690, DDR3] went down

Tue, 21 Jul 2026 23:08:01 +0000

LUCID-1 [Xeon X5690, DDR3] went down

DELTA-1 [Ryzen 7 5700X, DDR4] went down

Tue, 21 Jul 2026 23:06:41 +0000

DELTA-1 [Ryzen 7 5700X, DDR4] went down

Неполадки на MSK-IX

Tue, 21 Jul 2026 22:48:00 -0000

Пинг между IX и тем же Cloudflare составил 100+мс, хотя в нормальном состоянии должно быть 5-7мс. Также дропаются подключения в некоторых случаях

Lomiri API (Minecraft) recovered

Thu, 16 Jul 2026 19:18:39 +0000

Lomiri API (Minecraft) recovered

Lomiri API (Minecraft) went down

Thu, 16 Jul 2026 19:04:39 +0000

Lomiri API (Minecraft) went down

Lomiri API (Minecraft) recovered

Wed, 15 Jul 2026 02:13:39 +0000

Lomiri API (Minecraft) recovered

LUCID-1 [Xeon X5690, DDR3] recovered

Wed, 15 Jul 2026 02:12:08 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Wed, 15 Jul 2026 01:57:44 +0000

LUCID-1 [Xeon X5690, DDR3] went down

Lomiri API (Minecraft) went down

Wed, 15 Jul 2026 01:49:45 +0000

Lomiri API (Minecraft) went down

Lomiri API (Minecraft) recovered

Mon, 13 Jul 2026 21:53:53 +0000

Lomiri API (Minecraft) recovered

LUCID-1 [Xeon X5690, DDR3] recovered

Mon, 13 Jul 2026 21:49:25 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Mon, 13 Jul 2026 21:27:32 +0000

LUCID-1 [Xeon X5690, DDR3] went down

Lomiri API (Minecraft) went down

Mon, 13 Jul 2026 21:24:35 +0000

Lomiri API (Minecraft) went down

Lomiri API (Minecraft) recovered

Thu, 09 Jul 2026 07:33:42 +0000

Lomiri API (Minecraft) recovered

Website (hyprr.space) recovered

Thu, 09 Jul 2026 07:31:38 +0000

Website (hyprr.space) recovered

Lomiri API (Minecraft) went down

Thu, 09 Jul 2026 06:39:34 +0000

Lomiri API (Minecraft) went down

Website (hyprr.space) went down

Thu, 09 Jul 2026 06:38:42 +0000

Website (hyprr.space) went down

DELTA-2 [Ryzen 7 5700X, DDR4] recovered

Sun, 05 Jul 2026 13:05:02 +0000

DELTA-2 [Ryzen 7 5700X, DDR4] recovered

DELTA-2 [Ryzen 7 5700X, DDR4] went down

Sun, 05 Jul 2026 12:46:35 +0000

DELTA-2 [Ryzen 7 5700X, DDR4] went down

Обновление ноды DELTA-1

Sat, 04 Jul 2026 19:50:49 -0000

RAM Upgrade

DELTA-1 [Ryzen 7 5700X, DDR4] recovered

Thu, 02 Jul 2026 21:25:03 +0000

DELTA-1 [Ryzen 7 5700X, DDR4] recovered

DELTA-1 [Ryzen 7 5700X, DDR4] went down

Thu, 02 Jul 2026 18:56:49 +0000

DELTA-1 [Ryzen 7 5700X, DDR4] went down

Lomiri API (Minecraft) recovered

Tue, 23 Jun 2026 21:58:39 +0000

Lomiri API (Minecraft) recovered

LUCID-1 [Xeon X5690, DDR3] recovered

Tue, 23 Jun 2026 21:55:03 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

Website (hyprr.space) recovered

Tue, 23 Jun 2026 21:53:20 +0000

Website (hyprr.space) recovered

Website (hyprr.space) went down

Tue, 23 Jun 2026 20:26:35 +0000

Website (hyprr.space) went down

Website (hyprr.space) recovered

Tue, 23 Jun 2026 19:46:40 +0000

Website (hyprr.space) recovered

LUCID-1 [Xeon X5690, DDR3] went down

Tue, 23 Jun 2026 19:12:49 +0000

LUCID-1 [Xeon X5690, DDR3] went down

Website (hyprr.space) went down

Tue, 23 Jun 2026 19:08:35 +0000

Website (hyprr.space) went down

Lomiri API (Minecraft) went down

Tue, 23 Jun 2026 19:04:36 +0000

Lomiri API (Minecraft) went down

LUCID-1 [Xeon X5690, DDR3] recovered

Sat, 20 Jun 2026 23:55:07 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Sat, 20 Jun 2026 20:37:33 +0000

LUCID-1 [Xeon X5690, DDR3] went down

LANE-1 [Ryzen 7 9700X, DDR5] recovered

Fri, 19 Jun 2026 09:20:03 +0000

LANE-1 [Ryzen 7 9700X, DDR5] recovered

LUCID-1 [Xeon X5690, DDR3] recovered

Fri, 19 Jun 2026 09:20:01 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

Lomiri API (Minecraft) recovered

Fri, 19 Jun 2026 09:18:39 +0000

Lomiri API (Minecraft) recovered

Website (hyprr.space) recovered

Fri, 19 Jun 2026 09:16:40 +0000

Website (hyprr.space) recovered

LUCID-1 [Xeon X5690, DDR3] went down

Fri, 19 Jun 2026 04:12:42 +0000

LUCID-1 [Xeon X5690, DDR3] went down

LANE-1 [Ryzen 7 9700X, DDR5] went down

Fri, 19 Jun 2026 04:11:41 +0000

LANE-1 [Ryzen 7 9700X, DDR5] went down

Lomiri API (Minecraft) went down

Fri, 19 Jun 2026 04:04:34 +0000

Lomiri API (Minecraft) went down

Website (hyprr.space) went down

Fri, 19 Jun 2026 04:02:36 +0000

Website (hyprr.space) went down

LUCID-2 [Xeon X5690, DDR3] recovered

Tue, 16 Jun 2026 04:55:03 +0000

LUCID-2 [Xeon X5690, DDR3] recovered

LUCID-2 [Xeon X5690, DDR3] went down

Tue, 16 Jun 2026 04:07:23 +0000

LUCID-2 [Xeon X5690, DDR3] went down

LUCID-1 [Xeon X5690, DDR3] recovered

Tue, 16 Jun 2026 04:00:04 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Tue, 16 Jun 2026 03:37:36 +0000

LUCID-1 [Xeon X5690, DDR3] went down

LUCID-1 [Xeon X5690, DDR3] recovered

Mon, 15 Jun 2026 09:50:03 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Sun, 14 Jun 2026 19:32:45 +0000

LUCID-1 [Xeon X5690, DDR3] went down

LUCID-1 [Xeon X5690, DDR3] recovered

Thu, 11 Jun 2026 21:35:02 +0000

LUCID-1 [Xeon X5690, DDR3] recovered

LUCID-1 [Xeon X5690, DDR3] went down

Wed, 10 Jun 2026 02:52:51 +0000

LUCID-1 [Xeon X5690, DDR3] went down

Lomiri API (Minecraft) recovered

Sun, 17 May 2026 15:38:43 +0000

Lomiri API (Minecraft) recovered

Website (hyprr.space) recovered

Sun, 17 May 2026 15:31:39 +0000

Website (hyprr.space) recovered

Website (hyprr.space) went down

Sun, 17 May 2026 14:26:16 +0000

Website (hyprr.space) went down

Lomiri API (Minecraft) went down

Sun, 17 May 2026 13:39:38 +0000

Lomiri API (Minecraft) went down

LUCID-2 [Xeon X5690, DDR3] recovered

Sat, 09 May 2026 00:00:02 +0000

LUCID-2 [Xeon X5690, DDR3] recovered

LUCID-2 [Xeon X5690, DDR3] went down

Fri, 08 May 2026 09:22:47 +0000

LUCID-2 [Xeon X5690, DDR3] went down

Восстановление ноды LUCID-2

Wed, 04 Mar 2026 21:00:00 -0000

Накрылся серверный БП. Такие искать долго(

Работа на сети в Германии

Thu, 15 Jan 2026 20:00:04 -0000

Работа на сети в Германии

Обновление роутеров и алгоритмов шифрования трафика

Tue, 16 Dec 2025 07:30:59 -0000

Последние дни поступали жалобы о низкой скорости соединения. Иногда Speedtest показывал входящую скорость 5 мбит/с, что очень мало. Мы проведем работы на сети для поиска и исправления проблем со скоростью

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:35:00 -0000

Maintenance completed

Обновление оборудования и сети в Московской локации

Fri, 05 Sep 2025 08:00:00 -0000

• Увеличение объема ОЗУ на ноде PORTAL-1 • Увеличение объема ОЗУ на ноде DELTA-1 • Увеличение пропускной способности роутера MSK-ROUTER0 с 1 Гбит/с до 10 Гбит/с

Задержка смены IP для DELTA-1, неожиданный даунтайм

Mon, 04 Aug 2025 09:28:00 -0000

DELTA-1 получила новый IP, компенсация - 6 дней за ровно 12 часов недоступности. Вдобавок к этому это последняя работа на сети в Москве

Задержка смены IP для DELTA-1, неожиданный даунтайм

Sun, 03 Aug 2025 23:25:00 -0000

Старый IP мы отпустили, а новую подсеть нам задержали

Деградация K8s кластера

Wed, 23 Jul 2025 22:12:00 -0000

Я НЕ знаю что произошло и почему все работает сейчас, причем так как и всегда - без единого намека на инцидент, заставивший стафф поседеть. Была ли проблема в сети, в K8s, в РКН, в убогости птеродактиля или в чем либо еще - я без понятия, может быть было все и сразу. В любом случае оно работает, по SLA компенсации не будет, так как этот инцидент не затрагивал сами ноды. И у HYPRR не будет какой либо нормальной SLA пока такая хрень продолжается - мы не знаем чья это вина, мы не знаем почему что-либо происходит. РКН проводит блокировки и тесты когда и где хочет. Баннер о деградации сервисов Cloudflare (вообще, не только в РФ) появляется каждую неделю. Мир разваливается. Так что по крайней мере я не знаю как считать SLA, если даже не понятно что влияет на него. Зато есть моды на капибару 😍

Деградация K8s кластера

Wed, 23 Jul 2025 15:00:00 -0000

Где-то между 15:00 мск и 18:00 мск происходил такой ужас, что админ пережил экзистенциальный кризис, пару клинических смертей, отвал Pterodactyl на ровном месте (ни логов, ни ошибок в stderr, просто 503) и тепловую смерть вселенной. На этом админ покидает вас и прод, я так больше не могу

Деградация K8s кластера

Wed, 23 Jul 2025 13:00:00 -0000

HALO GAYS TODAY WE HAVE TOP 5 CRASHOUT REASONS: Numero cinco: Got an error reading communication packets (MariaDB) Numero cuatro: Entry for is not found in ARP table Numero tres: Fatal error: can't open the AOF manifest file appendonlydir/appendonly.aof.manifest for reading: Input/output error Numero dos: No healthy replicas Numero uno: Reading registry-1.docker.io: i/o timeout

Деградация K8s кластера

Wed, 23 Jul 2025 12:30:00 -0000

Reasonable crashout: машины могут подключиться к интернету, но не к DOCKER HUB. Симптомы ркновские - http работает и просит редирект, https уходит в таймаут на SSL рукопожатии. У админа тряска и желание убивать

Деградация K8s кластера

Wed, 23 Jul 2025 12:00:00 -0000

Том восстановить не удалось. Он был пересоздан и проверен на целостность. Начат запуск сервисов

Деградация K8s кластера

Wed, 23 Jul 2025 11:40:00 -0000

Перезагружена конфигурация на всех роутерах, сброшен conntrack, связность восстановлена. Продолжаем изучать проблему с томами Longhorn

Деградация K8s кластера

Wed, 23 Jul 2025 11:10:00 -0000

Наблюдаются неполадки с SDN сетью в Москве. Потенциально это и стало причиной рассинхронизации и повреждения томов. Изучаются проблемы и доступность нод

Деградация K8s кластера

Wed, 23 Jul 2025 10:50:00 -0000

Все сервисы отключены, здоровые реплики найдены. Сделан бэкап. Начинаем попытку восстановления

Деградация K8s кластера

Wed, 23 Jul 2025 10:30:00 -0000

Наблюдается повреждение тома Longhorn (ошибка i/o). Начат поиск здоровых и целых реплик

Деградация K8s кластера

Wed, 23 Jul 2025 10:05:00 -0000

Наблюдается деградация API панели, выясняются обстоятельства