Про ситуацию с архивами дневников

[Diary Spirit]

Администрация сайта получает много обращений пользователей по поводу заказанных ими архивов дневников и сообществ.

Объясняем сложившуюся ситуацию.
Архивы у нас всегда создавались в срок от одного до нескольких дней, потому что в очереди было от 10 до 30 заявок на создание архива дневника — это самый сложный и тяжёлый по нагрузке на сайт вид архива, остальные — архивы u-mail, профилей и цитатников — намного проще.

Мы уже писали, что за первые дни ноября 2017 очередь заявок на создание архивов выросла многократно. Более того, она продолжает расти, так как новые заявки поступают быстрее, чем делаются архивы. Всего с ноября в автоматическом режиме было создано и выдано почти 2 тысячи архивов дневников, однако этого недостаточно, так как в очереди остаются еще 17435 заявок на разные архивы (7783 из них — архивы дневников и сообществ). Это больше, чем было в ноябре. При сохранении потока новых заявок и скорости обработки этот процесс не закончится никогда. Даже если поток новых заявок уменьшится вдвое, то архивирование займет от трех до четырех лет. Разумеется, такая перспектива никого не устраивает, поэтому устаревший механизм системы архивирования, написанный 10 лет назад, будет переделываться, но только после решения запланированных первоочередных задач — скорее всего, ближе к осени или концу 2018 года.

Сейчас архивы формируются на тех же серверах, на которых работает сайт, из данных его рабочей базы. Чтобы серьезная нагрузка от создания архивов была незаметна для пользователей, они формируются в течение нескольких часов по ночам параллельно с бэкапом и десятками других более мелких служебных операций. Для ускорения архивирования дневников будет создана с нуля новая система — круглосуточно работающая с копией базы данных на выделенном сервере.
Аналогично в будущем будет организована система поиска по записям дневников и сообществ. Возможно, нам удастся объединить эти две задачи и решить их на том же сервере (серверах) и базе данных.

Пока приносим искренние извинения, что не сможем в ближайшее время выдать заказанные архивы всем желающим. Призываем вас набраться терпения, а если необходимость в архивах не является столь острой, как в момент заказа (ведь мы с вами решили, что сайт продолжит работать и будет развиваться еще не один год), просим отменить их создание в настройках, тем самым снизив общую нагрузку на сервера.

Comments

[Мэлис Крэш]

Тоже с ноября жду. И самое плохое, что придется потом опять заказывать(

[смольник]

Lief, а я вот не понял, при чем тут архив профиля

[Lief]

смольник, Я даже слабо представляю, как это так.

[смольник]

Lief,

Уважаемый(ая) смольникПо вашему запросу от 31 октября 2017 создан 08 июля 2018 архив за период с 27 января 2009 по 31 октября 2017в формате html

Как-то вот так) Я теперь и не знаю, ждать ли вообще архив дневника почти годичной давности. И есть ли смысл.

[mr_death]

Если я не путаю, то где-то было пояснение от администрации, что созданный архив будет актуализированный на текущее число.

[Ташик]

mr_death, он будет актуализован, если запрос на архив отменили и создали новый "с такой даты до текущего момента", как-то так... если строго даты стоят (а раньше только так и было), тогда придет только на указанные даты

[mr_death]

Ну и отлично. Пусть тысячам безмозглых юзеров, поддавшимся панике в прошлом году и не отменившим создание архива, когда ситуация прояснилась, придут устаревшие архивы. Хотя то, что они отнимают ресурсы сервера, - очень печально.

[Мэлис Крэш]

mr_death, и они СНОВА нагрузят сервера запросом на архивы. Ну замечательно же.
Я предлагала всем, кто заказывал архивы "по дату заказа", изменить на "до конца". Потому что запрос уже в очереди висит, что стоит его поменять?

[Ташик]

Мэлис Крэш, потому что вот висит он в очереди 15673, а если дату поменяет, получится 6351873, ждать придётся дольше... вот и оставили в надежде, что так получат архивы быстрее... наверное)))

[Мэлис Крэш]

Ташик, я администрации предлагала. Которая может взять и поменять всем.

[Ташик]

Мэлис Крэш, тогда понятно))) я только видела просьбы к пользователям отменить запрос совсем или изменить даты запроса, но ещё тогда подумала, что это дохлый номер, всё равно с места не дернутся...

[Мэлис Крэш]

Ташик, а еще я предлагала сделать архивацию почты вместе с ушедшей в архив частью, чтобы ее не разархивировать каждый раз.

[*Bacca*]

Я так на это смотрю и думаю, что за прошедший почти год любой дневник можно было заархивить самому ручками, в удобной форме.
А то говорят, приходит куча мала, в которой хрен что разберешь.

[смольник]

что за прошедший почти год любой дневник можно было заархивить самому ручками, в удобной форме.

Чем я и займусь. Если архив профиля пришел через 9 месяцев, то архив дневника придет еще года через 3 по сострянию на 30.10.2017. Дату изменить невозможно, только заказывать архив заново, плюс еще пяток лет)

[ЗАЙЧИШКА]

Уже 3 раза перезаказывала с ноября. Архив так и не приходит, хотя многие пишут, что отменили первый заказ, и им уже на следующий день пришёл. В чём дело? (((

[нос]

ЗАЙЧИШКА, этот пост как раз отвечает на вопрос "в чем дело?". Другого объяснения у нас нет, к сожалению.

[ЗАЙЧИШКА]

нос, нет, я поняла, что это затянутый процесс, мне не очень понятно, почему многим архивы приходят почти сразу после первой отмены и нового заказа. Как это работает?

[СанДжанна]

Долго и упорно ждала архивы с того самого времени. На днях отменила заказ и перезаказала снова, и вуаля, вчера пришёл один архив, а сегодня подплыли остальные...
Не знаю, как оно сработало, но спасибо, моя душа успокоилась

[ЗАЙЧИШКА]

Мне тоже сегодня пришёл) перезаказывала на днях.

[navigator.]

Приходит, быстро. Но!
Второй раз заказываю в формате HTML с картинками и комментариями, а приходит текст в формате "блокнот" сплошняком без комментариев и картинок, соответственно.
Кроме того вместо "до настоящего времени" вчера пришёл архив до начала июня.
При более подробном рассмотрении там вообще не все посты (ну и комментариев нет вообще).

Внимание вопрос:
1. есть ли смысл заказывать ещё раз или придёт всё равно то же самое?
2. как получить всё-таки в формате HTML с картинками и комментариями "до настоящего времени"

[Мэлис Крэш]

Мне сегодня архивы пришли.

[нос]

Мне сегодня архивы пришли

Мэлис Крэш, пришли в формате HTML с картинками и комментариями до даты создания архива?

[Волчица Юлия]

Вчера перезаказала себе архивы, вчера же все пришло.

Спасибо -

[Мэлис Крэш]

нос, да, так написано. Но если почта хоть по размеру похожа, то архив дневника - 6 мегабайт.

[нос]

1. есть ли смысл заказывать ещё раз или придёт всё равно то же самое?
2. как получить всё-таки в формате HTML с картинками и комментариями "до настоящего времени"

navigator., теперь уже и не знаю, что ответить. Спрошу. Очередность не должна была меняться.

Из вчерашней нашей переписки с программистом:

— Я сейчас параллельно с бета-сервером немного дорабатываю архиватор. Не переделываю, так как отдельная долгая задача, а именно дорабатываю, оптимизирую, и уже сейчас архивация значительно ускорилась. Мы, конечно, не сделаем все архивы за неделю, но все равно существенно ускорим процесс.

— Встречаются случаи, когда из-за одного юзера остальные вынуждены очень долго ждать. Например, пользователь с ID=ХХХХХХ заказал архив umail за все годы, и там у него писем по годам:

2018 - 119114
2017 - 3014
2016 - 20240
2015 - 23859
2014 - 84170
2013 - 23142
2012 - 15599
2011 - 3942
2010 - 1223
2009 - 871
2008 - 44
2007 - 0

— 295 тысяч писем. Невозможно сделать такой архив быстро! И он такой не один, многие владельцы старых популярных сообществ ежедневно получают десятки уведомлений, поэтому у них объемная почта.

— Вчера я закончил делать все архивы профилей, просто они делаются очень быстро, а стоят в очереди за вот такими большими. Может быть, имеет смысл временно приостановить архивы U-mail, например, и наделать дневников?

-------------

Если вы не против, давайте приостановим архивы внутренней почты и ускорим создание архивов дневников.

[navigator.]

нос, спасибо за ответ.
1. почту я вообще не заказывала
2. по размеру то, что пришло 2 мб цитатник и 24 мб дневник. Ну, явно маловато.
3. так что, подождать? Или перезаказывать ещё раз ну, допустим, недели через две? Или позже?

[Мэлис Крэш]

Вопрос: а можно ли переделать алгоритм так, чтобы архивировать каждый умыл в отдельности?

[нос]

navigator., зачем ждать? Перезакажите еще раз. Не знаем пока, в чем причина.

[нос]

Мэлис Крэш, вы будете выбирать нужные письма из тысяч галочками в чек-боксах?

[Мэлис Крэш]

нос, нет, пусть сохраняется все, просто в текстовом файле размером 600 метров нужную переписку искать труднее, чем в 130 тысячах отдельных файлов размером по 5 Кб.