Администратор
18:20
Хроника происшествия
Пятница, 13-е, 23:20
- портится небольшая таблица на одном из MySQL-серверов, из-за чего останавливается процесс репликации (синхронизация серверов); автоматическое восстановление таблицы не удалось, а ручное было невозможно — техперсонал Дайри.ру уже спал крепким сном.
Суббота, 14-е, 09:00
- админам стало известно о проблеме; отремонтировали поломанную таблицу, запустили восстановление синхронизации серверов (отставание более 10 часов).
Суббота, 14-е, 13:00
- во время восстановления синхронизации рушится самая большая таблица, но уже на другом MySQL-сервере базы данных. Запустили ремонт таблицы, который занимает длительное время (12-15 часов).
Суббота, 14-е, 23:00
- процесс восстановления виснет по непонятной причине, приходится запускать его заново — это опять от 12 до 15 часов.
Воскресенье, 15-е, 8:00
- большая таблица отремонтирована, синхронизация вновь запущена.
Воскресенье, 15-е, 10:00
- во время синхронизации эта же громадная таблица рушится, но уже на двух других MySQL-серверах БД.
Мы приняли решение остановить работу сайта, чтобы в отсутствие пользователей восстановить базу данных надежно и без сбоев.
Воскресенье, 15-е, 18:00
- работа сайта восстановлена.
Будущее
В течение ближайших 3 часов сайт будет работать на одном SQL-сервере, в это же время будет идти копирование базы данных, а потом еще примерно 1 час — синхронизация. Эти процессы, а также опустошенный кэш, будут немного тормозить работу сайта. К позднему вечеру все должно нормализоваться.
- - -
Долги платникам вернем, но не сегодня, а завтра, когда работа сайта стабилизируется:
- срок оплаты услуг владельцам платных аккаунтов будет продлен минимум на 3 суток (если больше ничего плохого не произойдет);
- те дневники, которые были подняты по СМС за прошедшие 2 суток, мы поднимем повторно на то же количество СМС.
- - -
К сожалению, мы не можем гарантировать, что ни у кого не пропало ничего из обновлений последних двух суток. Во время одного из сбоев могли пропасть добавленные за какой-то небольшой период записи, комментарии, письма ю-мейл, настройки, картинки. Но нам неизвестно, у кого и что, иначе бы мы ему пропасть не дали. Просить нас восстановить пропавшее бесполезно, у нас его просто нет.
Может оказаться и так, что все осталось в сохранности.
Приносим всем пользователям сайта искренние извинения за неудобства.
- портится небольшая таблица на одном из MySQL-серверов, из-за чего останавливается процесс репликации (синхронизация серверов); автоматическое восстановление таблицы не удалось, а ручное было невозможно — техперсонал Дайри.ру уже спал крепким сном.
Суббота, 14-е, 09:00
- админам стало известно о проблеме; отремонтировали поломанную таблицу, запустили восстановление синхронизации серверов (отставание более 10 часов).
Суббота, 14-е, 13:00
- во время восстановления синхронизации рушится самая большая таблица, но уже на другом MySQL-сервере базы данных. Запустили ремонт таблицы, который занимает длительное время (12-15 часов).
Суббота, 14-е, 23:00
- процесс восстановления виснет по непонятной причине, приходится запускать его заново — это опять от 12 до 15 часов.
Воскресенье, 15-е, 8:00
- большая таблица отремонтирована, синхронизация вновь запущена.
Воскресенье, 15-е, 10:00
- во время синхронизации эта же громадная таблица рушится, но уже на двух других MySQL-серверах БД.
Мы приняли решение остановить работу сайта, чтобы в отсутствие пользователей восстановить базу данных надежно и без сбоев.
Воскресенье, 15-е, 18:00
- работа сайта восстановлена.
Будущее
В течение ближайших 3 часов сайт будет работать на одном SQL-сервере, в это же время будет идти копирование базы данных, а потом еще примерно 1 час — синхронизация. Эти процессы, а также опустошенный кэш, будут немного тормозить работу сайта. К позднему вечеру все должно нормализоваться.
- - -
Долги платникам вернем, но не сегодня, а завтра, когда работа сайта стабилизируется:
- срок оплаты услуг владельцам платных аккаунтов будет продлен минимум на 3 суток (если больше ничего плохого не произойдет);
- те дневники, которые были подняты по СМС за прошедшие 2 суток, мы поднимем повторно на то же количество СМС.
- - -
К сожалению, мы не можем гарантировать, что ни у кого не пропало ничего из обновлений последних двух суток. Во время одного из сбоев могли пропасть добавленные за какой-то небольшой период записи, комментарии, письма ю-мейл, настройки, картинки. Но нам неизвестно, у кого и что, иначе бы мы ему пропасть не дали. Просить нас восстановить пропавшее бесполезно, у нас его просто нет.
Может оказаться и так, что все осталось в сохранности.
Приносим всем пользователям сайта искренние извинения за неудобства.
15.02.2009 в 20:13
Всё нормально!)))
Спасибо что всё исправили)
15.02.2009 в 20:25
Спасибо, что так быстро восстановили ))
нам-то хорошо, что неполадки пришлись на праздник - не до дайриков...15.02.2009 в 20:31
15.02.2009 в 20:49
15.02.2009 в 20:56
15.02.2009 в 21:01
15.02.2009 в 21:06
Мои сочувствия админам и благодарность за оперативность. А ошибкой 502 нас не напугаешь, особенно если это временное явление)
И да живёт и здравствует великая таблица ныне и присно
15.02.2009 в 21:55
15.02.2009 в 22:14
15.02.2009 в 22:15
З.Ы. Ребят, большое спасибо за оперативность...
15.02.2009 в 22:40
но хоть востановили т_т спасибоо.
16.02.2009 в 00:34
16.02.2009 в 01:43
ЗЫ - а я помню ещё те времена, когда такое случалось чуть ли не каждую неделю. И как все вопили! "Почините срочно, а то уйдём на жж!"
Ы
16.02.2009 в 01:46
16.02.2009 в 01:46
16.02.2009 в 01:47
А сейчас не работает))).
16.02.2009 в 01:51
16.02.2009 в 03:14
16.02.2009 в 03:31
Спасибо за старания... и соболезнования. что вот так пришлось...
16.02.2009 в 04:35
Чтобы не на днявыках сидели, а в ДСВ поигрались
16.02.2009 в 07:12
16.02.2009 в 07:40
16.02.2009 в 09:03
16.02.2009 в 09:30
А так все отлично
16.02.2009 в 10:00
16.02.2009 в 10:54
16.02.2009 в 11:21
Это не ответ.
16.02.2009 в 11:28
16.02.2009 в 12:25
16.02.2009 в 12:42