Про ситуацию с архивами дневников

[Diary Spirit]

Администрация сайта получает много обращений пользователей по поводу заказанных ими архивов дневников и сообществ.

Объясняем сложившуюся ситуацию.
Архивы у нас всегда создавались в срок от одного до нескольких дней, потому что в очереди было от 10 до 30 заявок на создание архива дневника — это самый сложный и тяжёлый по нагрузке на сайт вид архива, остальные — архивы u-mail, профилей и цитатников — намного проще.

Мы уже писали, что за первые дни ноября 2017 очередь заявок на создание архивов выросла многократно. Более того, она продолжает расти, так как новые заявки поступают быстрее, чем делаются архивы. Всего с ноября в автоматическом режиме было создано и выдано почти 2 тысячи архивов дневников, однако этого недостаточно, так как в очереди остаются еще 17435 заявок на разные архивы (7783 из них — архивы дневников и сообществ). Это больше, чем было в ноябре. При сохранении потока новых заявок и скорости обработки этот процесс не закончится никогда. Даже если поток новых заявок уменьшится вдвое, то архивирование займет от трех до четырех лет. Разумеется, такая перспектива никого не устраивает, поэтому устаревший механизм системы архивирования, написанный 10 лет назад, будет переделываться, но только после решения запланированных первоочередных задач — скорее всего, ближе к осени или концу 2018 года.

Сейчас архивы формируются на тех же серверах, на которых работает сайт, из данных его рабочей базы. Чтобы серьезная нагрузка от создания архивов была незаметна для пользователей, они формируются в течение нескольких часов по ночам параллельно с бэкапом и десятками других более мелких служебных операций. Для ускорения архивирования дневников будет создана с нуля новая система — круглосуточно работающая с копией базы данных на выделенном сервере.
Аналогично в будущем будет организована система поиска по записям дневников и сообществ. Возможно, нам удастся объединить эти две задачи и решить их на том же сервере (серверах) и базе данных.

Пока приносим искренние извинения, что не сможем в ближайшее время выдать заказанные архивы всем желающим. Призываем вас набраться терпения, а если необходимость в архивах не является столь острой, как в момент заказа (ведь мы с вами решили, что сайт продолжит работать и будет развиваться еще не один год), просим отменить их создание в настройках, тем самым снизив общую нагрузку на сервера.

Comments

[Голова Великого Магистра]

Как раз сегодня утром думала, что, наверное, ажиотаж уже спал, надо бы заказать архив, потому что в нем будет проще найти одну деталь, чем в фактическом дневнике за 14 лет.
Мне не к спеху, подожду полгодика)

[La grande muette]

Кому нужен огромный единый html размером в сотни мегабайт? Где всё в кашу, посты и комменты?

Хмм, странно. Лет эдак 8-10 назад, что ли, когда регулярно заказывала бэкапы, они выглядели вполне прилично - почти как онлайн-вариант. И размер был нормальный... И это притом, что у меня тогда бывало обычно по 20 записей, а как-то и до 40 дошла. Доктор, что я делала не так?

[kzanna]

У меня вопрос по заказу архива почты, а правда, что надо сначала извлечь письма из архива? И как вообще выглядит полученый архив? (в смысле: появится кнопочка скачать, придёт на почту, другое?)

А ещё, не важно, какую дату я ставлю, период всегда получается по дату создания запроса. А хотела конкретный год заказать...

[Ташик]

kzanna, письма из архива извлекаются всего на две недели... за этот период архив писем для скачивания вряд ли успеет сформироваться...

[quirischa]

Ташик,

письма из архива извлекаются всего на две недели

Удаление извлечённых сообщений пока выключено, так что они доступны и после 2 недель.

kzanna,

не важно, какую дату я ставлю, период всегда получается по дату создания запроса. А хотела конкретный год заказать...

Я ввёл конкретные даты и заявка отправилась с конкретными датами:



А вы как делаете?

[Ташик]

quirischa, понятно! а то я, когда извлекала письма, видела дату возврата, переживала, как бы не забыть прочитать, что хотела, пока обратно не убрали в архив))

[kzanna]

quirischa, а у меня так:

[nemv]

quirischa, я ради любопытства тоже попробовал заказать архив u-mail. Действительно, несмотря на выставленные даты заказывается с начала по текущую дату.

[quirischa]

kzanna, nemv, передал программисту, чтобы исправил

[lady snark]

La grande muette,

Доктор, что я делала не так?

Делали это много лет назад? ) Я ж говорю, у меня древний архивчик тоже нормальный, я его даже клала на другой хостинг, когда тут прибила. Выглядело как обычная "домашняя страничка" )). Только пришлось под номерами страниц линки вручную поправить, а то они вели на diary.ru, а не на локальные htmlки.

Меня было засмущали с моим склерозом, утверждая что Всегда Было Так, Как Сейчас. Я даже засомневалась и думала, может я тогда сохранила руками в браузере, чтоб добиться такого эффекта? Но вот и вы тоже подтверждаете: во времена, когда деревья были большими, архивы были вменяемыми ).

[нос]

lady snark,

когда деревья были большими, архивы были вменяемыми

,
но жизнь идет, все ломается)

Всё прошло, всё умчалося в бесконечную даль,
Ничего не осталося лишь тоска да печаль

[СанДжанна]

Я даже засомневалась и думала, может я тогда сохранила руками в браузере, чтоб добиться такого эффекта? Но вот и вы тоже подтверждаете: во времена, когда деревья были большими, архивы были вменяемыми ).

Было, было... заказывала несколько лет назад определённые месяца, приходило вполне вменяемое, практически один в один мой днев в то время... ну пры тройки фоточек отсутствовало, но это не страшно.

[lapulia]

я уже давно все сохранила в ручном режиме: открываешь страничку, раскрываешь все "more", правый клик, "сохранить страницу целиком" и присваиваешь ее номер. Все картинки, ничего не теряется, все стили ровные.
Да, времени на это ушло 2 недели с прочтением всего, что писала тут последние 13 лет, с чисткой мусора, но архив уже у меня на винте и никаких очередей

[Мэлис Крэш]

Как же мало вы писали.

[lapulia]

425 станиц - не так и мало

[Ташик]

lapulia, и комментарии ко всем записям?))

[lapulia]

Ташик, нет, без них. Но в свете сложившейся ситуации... А вот честно и откровенно, вы часто в архиве комментарии читаете?

[Ташик]

lapulia, вообще, да, порой смотришь на цифру под записью и лезешь почитать, что же там обсуждалось)) иногда комментарии интереснее записи бывают)) в записи мысли, в комментариях - общение

[Бентен]

я не зануда, мне просто любопытно - так все таки отключили создание архивов, что ли?
а мне его не дали до сих пор - дада, с тех самых пор

[Ritskin]

Спасибо большое мне было ценно сохранить 9 лет жизни на дайри, чтоб не пропали!

[navigator.]

я не зануда, мне просто любопытно - так все таки отключили создание архивов, что ли?
а мне его не дали до сих пор - дада, с тех самых пор

[kzanna]

navigator., Созданый запрос на архив когда была паника я отменила. Потом подала новый запрос в марте. И недавно этот архив получила. Подала ещё один запрос и получила буквально на следующий день. И, поскольку я хотела разбить архив дневника по годам, чтоб быстрей получать меньшие куски, сразу подала запрос на третий архив... и оказалось, что между запросами должно пройти 30 дней. (не видела, чтоб это было где-то написано)

[navigator.]

kzanna, спасибо!

[смольник]

Заявка с ноября. Уже пора бы.

[Lief]

смольник, Вот я тоже жду, жду... Может, попробовать пересоздать опрос, как думаете?

[смольник]

Lief, похоже, пришло письмо с информацией об архиве

[navigator.]

Прислали. Но что-то совершенно не то. На одну страничку и даже это — не мои записи.

[смольник]

Хотя. Это архив профиля о_О

[navigator.]

Отправила запрос в формате txt.
Пришло в течении часа. Но цитатник только до 2012 года.
Да и вообще в этом формате неудобочитаемо. Но это гораздо лучше, чем ничего.

[Lief]

смольник, Стоило тут написать, как сейчас пришло письмо с архивом Чуть вразнобой, как пока заметила, но, вроде, всё на месте в html.

Спасибо администраторам))