Про ситуацию с архивами дневников

[Diary Spirit]

Администрация сайта получает много обращений пользователей по поводу заказанных ими архивов дневников и сообществ.

Объясняем сложившуюся ситуацию.
Архивы у нас всегда создавались в срок от одного до нескольких дней, потому что в очереди было от 10 до 30 заявок на создание архива дневника — это самый сложный и тяжёлый по нагрузке на сайт вид архива, остальные — архивы u-mail, профилей и цитатников — намного проще.

Мы уже писали, что за первые дни ноября 2017 очередь заявок на создание архивов выросла многократно. Более того, она продолжает расти, так как новые заявки поступают быстрее, чем делаются архивы. Всего с ноября в автоматическом режиме было создано и выдано почти 2 тысячи архивов дневников, однако этого недостаточно, так как в очереди остаются еще 17435 заявок на разные архивы (7783 из них — архивы дневников и сообществ). Это больше, чем было в ноябре. При сохранении потока новых заявок и скорости обработки этот процесс не закончится никогда. Даже если поток новых заявок уменьшится вдвое, то архивирование займет от трех до четырех лет. Разумеется, такая перспектива никого не устраивает, поэтому устаревший механизм системы архивирования, написанный 10 лет назад, будет переделываться, но только после решения запланированных первоочередных задач — скорее всего, ближе к осени или концу 2018 года.

Сейчас архивы формируются на тех же серверах, на которых работает сайт, из данных его рабочей базы. Чтобы серьезная нагрузка от создания архивов была незаметна для пользователей, они формируются в течение нескольких часов по ночам параллельно с бэкапом и десятками других более мелких служебных операций. Для ускорения архивирования дневников будет создана с нуля новая система — круглосуточно работающая с копией базы данных на выделенном сервере.
Аналогично в будущем будет организована система поиска по записям дневников и сообществ. Возможно, нам удастся объединить эти две задачи и решить их на том же сервере (серверах) и базе данных.

Пока приносим искренние извинения, что не сможем в ближайшее время выдать заказанные архивы всем желающим. Призываем вас набраться терпения, а если необходимость в архивах не является столь острой, как в момент заказа (ведь мы с вами решили, что сайт продолжит работать и будет развиваться еще не один год), просим отменить их создание в настройках, тем самым снизив общую нагрузку на сервера.

Comments

[pepper imp]

Пользователи, заказавшие архивы в день, когда объявили о закрытии сайта (почти полгода назад) получат архивы в лучшем случае еще через год, я правильно поняла? и это в режиме самой "острой необходимости"?

[r0di0n]

Они получат их в порядке очереди, и если в тот же день до них архивы заказали 1кк человек, то они получат их после этих 1кк, а если 1-2 человека, то после них и это прямо-таки со дня на день, но узнать точно невозможно, если только где-нибудь существует список этой многотысячной очереди, который можно обозреть и вычленить свой ник.

[ludowiga]

Если в порядке очереди и если заявки висят полгода, то ни о каких со дня на день и речи не может быть, так как по логике висит в заявках овердофига архивов и сначала должны пройти эти овердофига, и только потом заказанный свежачок.

[я рюкзак]

pepper imp, через три четыре!
да ладно если звдуматься круто что дайри вообще предоставляет такую услугу. вот где такое еще есть? архив жж или странички в вк заказать можно?
я думаю, в будущем когда механизм выдачи архивов будет хорошо налажен можно было бы сделать эту услугу платной ну чисто символически доступной только для платных дневников. оплатил хотя бы аватарки или отключение рекламы( короче закинул на сайт хоть 15 епонов) - доступна функция заказа архива. теперь то уже и так почти все что нибудь платят. а сайту помощь.

[ludowiga]

Если сделают платно, будут качать бесплатно и дайри точно подвиснут и нагрузку не выдержат. Помнится, сама же администрация просила не качать архивы сторонними программами

[Thistle]

Тоже очень интересовал ответ на этот вопрос! Спасибо, что разъяснили.

А при таком раскладе вы не рассматриваете возможность быстрого ("внеочередного") формирования архива всего-всего за плату? (и будет очередь из тех, кто вне очереди... Но, все равно, я бы, например, поучаствовала).

[Бентен]

получат архивы в лучшем случае еще через год, я правильно поняла?

ооо неет, не все так просто. Очередь из архивов однозначно не является прямой очередью из последовательно запросивших их, маленькие по размеру дневники получали свои архивы довольно быстро, а те же люди, заказавшие в тот же день свои большие дневники - ждут по полгода. Я уже не говорю про весьма популярную бегавшую теорию о том, что мол надо кансельнуть заказ, запросить снова - и архив будет получен тут же (вот уж не знаю, то ли это провокация для объяснения, почему архива нет до сих пор "ну вы сами выпали из очереди и начали сначала", то ли лишнее свидетельство того, что очередность заказа точно не имеет никакого значения ) а вот что архивы мелкие получают быстро я знаю из первых рук - своих.

[Cloud-Strife]

Спасибо за разъяснение.
Я всё время заказывал ежегодный архив дневника, а после того как слетел хард, выяснилось, что последний бэкап архивов на выносной диск делался аж в 2011-ом.
Так что я лишился 7 архивов за последние 7 лет.
Восстановления придётся ждать ещё долго.

[pepper imp]

я рюкзак,

круто что дайри вообще предоставляет такую услугу.

уверять пользователей, что предоставляешь такую услугу и предоставить ее где-то через полтора года, и то если пользователи будут донатить? нет, это не круто

[Nightday]

pepper imp, услуга вполне себе предоставлялась, притом архив создавался в течение нескольких минут, но она не была рассчитана на такой шквал, отсюда и нынешнее положение.

[r0di0n]

*Бу!*, ну так я и написал, что со дня на день, если в очереди перед вами осталась всего пара человек, а если многотысячная толпа, то и результат соответственный. Видимо, люди думают, что они в числе первых, но 7783 висящих заявок намекает, что таких первых ещё очень-очень много, и какой по счёту первый именно ты, никто не знает.

[Цветочек Аленький...]

Лучше иметь и не нуждаться, чем нуждаться и не иметь. Так что я всё же подожду архив.

[Францеска Финдабаир]

Да почта России так не доставляет, как мы архивы ждем.

[r0di0n]

Потому что у Почты России нет функции архивирования всех ваших писем.

[нос]

А при таком раскладе вы не рассматриваете возможность быстрого ("внеочередного") формирования архива всего-всего за плату? (и будет очередь из тех, кто вне очереди... Но, все равно, я бы, например, поучаствовала).

Thistle и все-все-все, кто хочет получить архив быстрее,
я полез искать и нашел вот что — промо-дневник  Маечка, в котором засветился тогда наш молодой программист Мишка (там в комментариях записи с фотографиями сказано, что ему 21 год). Он работал у нас всего года полтора, и было это в 2005 году. Именно он и писал эту часть кода, создающую архивы дневников и сообществ — 13 лет назад, а не 10 (когда фотографии были маленькими, видите?)).
Наверно, сейчас он отличный программист, ведущий сотрудник в какой-нибудь фирме, а тогда был еще студентом
Кстати, вторая участница той фотосессии с маечкой — прекрасная  -Beatrice- — все еще ведет свой дневничок



Это я говорю к тому, что создаваемые у нас сейчас архивы сделаны Мишкой-студентом слишком топорно, очень неудобны, неповоротливы, могут подвешивать браузер, практически непригодны для использования. Те из вас, кто получал архивы огромных дневников, могли в этом убедиться. Брать деньги за такое категорически нельзя, это просто бессовестно. Давайте, уж, после всего самого важного мы сделаем новые архивы, которыми будет удобно пользоваться. Вот увидите — все, кто сейчас получит архив, потом захочет получить новый, а старый выбросит.

Кстати, это идея — в конце года выдавать новые архивы в первую очередь тем, кто не заказывал или отменил заказ архива архив после 1.11.2017

[[Fishtail]]

Чем медленнее выдаются архивы, тем проще удержать пользователей на сайте.

[нос]

Если они выглядят так, как я видела архивы ФБ (своих, естественно, еще не видела) - они всё равно не юзабельны. Кому нужен огромный единый html размером в сотни мегабайт? Где всё в кашу, посты и комменты? Это ужас какой-то, у меня комп чуть не умер - полчаса только открывал этот файл (после чего я его закрыла с дрожью в пальцах). Неудивительно, что такими монстрами ворочать - сервера не выдерживают, особенно когда их много сразу.

Вот и подтверждение неюзабельности архива)
Спасибо, lady snark, все сказанное вами выше, правильно.

[lady snark]

(как вредно писать, не читая! извините, вижу постом выше многое уже написано, я пока стерла свое)

[нос]

Чем медленнее выдаются архивы, тем проще удержать пользователей на сайте.

[Fishtail], наверно, это умная мысль, но по отношению к нам неверная. У нас нет задачи удерживать обозленных пользователей, которые решили уйти и все равно уйдут, это бессмысленно.

[нос]

я пока стерла свое)

lady snark, жаль. Теперь мои слова остались без вашего подтверждения)

[lady snark]

Это я говорю к тому, что создаваемые у нас сейчас архивы сделаны Мишкой-студентом слишком топорно, очень неудобны, неповоротливы, могут подвешивать браузер, практически непригодны для использования. Те из вас, кто получал архивы огромных дневников, могли в этом убедиться. Брать деньги за такое категорически нельзя, это просто бессовестно. Давайте, уж, после всего самого важного мы сделаем новые архивы, которыми будет удобно пользоваться. Вот увидите — все, кто сейчас получит архив, потом захочет получить новый, а старый выбросит.

Правильно ли я понимаю: у вас в планах для программиста/ов написать новый алгоритм создания архива? Если так - то


Именно это и надо сделать. Это самое правильное, что только можно сделать!!! А все эти очереди, которые прямо сейчас грузят сервера - не имеют никакого смысла. Потому что вы правы: то, что они дают изгрызшему ногти в ожидании юзеру - это неюзабельный продукт. Бессмысленный комок мяса. Нет, ну теоретически, если дневник совсем маленький, то там еще можно найти серчем какие-то куски текстов, да. Вот только если он маленький, гораздо лучше будет просто сохранить все страницы из браузера. Чтоб были отдельные странички, связанные гиперлинками, как то и задумано природой. Проблема с большими дневниками и сообществами...

Короче говоря. Я всё же сейчас верну пост, написанный в запале - а потом стертый после прочтения поста Носа. Очень рада, что вижу проблему примерно в том же духе, как ее видит администрация - и надеюсь, она всё же предпримет шаги для ее радикального решения.
-----------

Имхо, нужно реформировать сам движок создания архива. Если они выглядят так, как я видела архивы ФБ (своих, естественно, еще не видела) - они всё равно не юзабельны. Кому нужен огромный единый html размером в сотни мегабайт? Где всё в кашу, посты и комменты? Это ужас какой-то, у меня комп чуть не умер - полчаса только открывал этот файл (после чего я его закрыла с дрожью в пальцах). Неудивительно, что такими монстрами ворочать - сервера не выдерживают, особенно когда их много сразу.

Это вопрос не к железу, а к софту. Я смутно помню, как выглядел архив году примерно в 2005: примерно так же, как выглядят страницы, сохраненные вручную из браузера. То есть: множество страничек html на каждый пост с комментами, и они прицеплены по 20-30 к файлам, имитирующим страницы дневника. Легко и удобно пользоваться - и оно не больше грузит сервера, чем листание обычных страниц дневника. (Может быть, память меня обманывает, и я действительно сама вручную создала себе такой архив? Ок, но почему бы подобное не реализовать и для всего дайри?)

Да, переделать алгоритм создания архива - потребует труда программиста... большого и долгого, с обильным тестированием. Может месяц займет. Может быть, для этой разовой работы надо будет привлечь дополнительного человека/людей. Зато после этого:

1) Раз и навсегда исчезнет очередь. Все эти семнаццать тыщ скачаются в считанные дни, а то и часы.

2) Люди продолжат заказывать архивы, т. к. регулярное бэкапирование - основа любой нормальной компьютерной жизни. Каждому дорог свой домик или родное сообщество и хочется его сохранить. Но это бэкапирование уже не будет подвергать износу диски.

Я понимаю, что такие советы легко давать, а ты возьми и сделай... и всё такое прочее. Это действительно так. Вот только если не реформировать монстров - проблема не решится никогда...

[lady snark]

нос, извините, я сперва удалила цитированный вами пост, потом опять вернула... В общем, я надеюсь, вы не в обиде?

[-Beatrice-]

прекрасная -Beatrice- — все еще ведет свой дневничок

Редко пишу, каюсь. Но все еще (вообще говоря - ВСЕГДА) люблю и почитаю самого крутого своего шефа из всех шефов, которые у меня были!

[x87]

Народ, вы меня удивляете, услуга вроде архивациии ни на каком сервисе не расссчитана на такой напор, просто не рационально отводить столько ресурсов под процессс, который иницииируется средним пользователем раз в год. И всё ещё находятся люди, которые видят в это скрытый смысл! Понятно, что большая часть архивов была запрошена сразу после новости о закрытиии сервиса, а сейчас планка держится потому, что это тогда было для пользователей совершеннно внезапно, и теперь они не уверены, что в какой-то момент администрация столь же внезапно не повторит этот ивент.

Я считаю, что в даннном случае платная архивация попросту необходима, как опция. Смысл прост, любая платная услуга подразумевает обязательства со стороны исполнителя. Если пользователь заплатил за архив, он будет уверен, что даже если дайри внезапно закроется, свой архив он получит. Тогда меньше народу будет запрашивать архивы на случай "а вдруг".

[Ташик]

как все бросились обсуждать архивы)) да, оптимизация - это просто отличная идея!))) я вообще ещё в самом начале однажды забила заказывать архивы как раз по той причине, что мой комп уже не мог открыть этот бесконечный html файлик, а текстовый хоть и открывался со скрипом, но в нем всё ещё хуже получается... сейчас страдаю на тему, что вроде и архив хочется, и толку от того, что есть, мало... потому что я уже не представляю, как ползти в прошлые записи без календаря с возможностью перейти на конкретную дату и без тегов ^_^ не знаю, как программисты это всё оптимизируют... у меня в голове рисуется мини база данных на каждый днев но я надеюсь, что всё получится!)))
но в обсуждении, кажется, не заметили ещё одну классную новость, про поиск по дневникам! это ж вообще очень здорово! и по-моему не менее нужная и важная, чем архивы)) спасибо вам за такие чудесные планы!

[нос]

в обсуждении, кажется, не заметили ещё одну классную новость, про поиск по дневникам! это ж вообще очень здорово!

Ташик, ага)) мы тоже так думаем, но пока раньше времени не обещаем

[Nightday]

в обсуждении, кажется, не заметили ещё одну классную новость, про поиск по дневникам! это ж вообще очень здорово! и по-моему не менее нужная и важная
Ташик, заметили, просто эта новость настолько прекрасна, что её боязно обсуждать, пока она в стадии обдумывания, вдруг сглазим?))

[Демонесса]

Кстати, насчет архивов. В Мозилле он у меня открывается постранично, а вот в Хроме бесконечная кишка за 12 лет довольно активного ведения, и это вешает всё к чертям.
(если что, архив был заказан ещё в 2011, так что в мировой дайри-очереди ещё не победила )

[Фабий]

Ну, раз оптимизируете — почему не подождать

Вы правы, некоторые задачи сейчас важнее.

[Демонесса]

*7 лет активного ведения. Что-то у меня временнЫе провалы