Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[quirischa]

Таирни
5. Я заплатил свои кровные деньги за дизайн/аватарки/etс., и вот уже сколько времени у меня нету всех этих прелестей жизни, что же делать?
Ждать вместе со всеми. Всем "платникам" будет компенсировано время, проведённое без картинок. Компенсация будет произведена после окончания всех работ, по той простой причине, что сейчас неизвестно, сколько именно нужно компенсировать. Компенсация будет в виде продления действия платных сервисов

[Kaiske]

А кто-нибудь скажет мне, надо будет заново заливать все (картинки/аватары) после восстановления папки? Ибо сказали уже некоторые что придется. Шутите что ли, у меня 100 с лишним аватаров было, в том числе и больших, а сейчас цсс нет и не закачаю я ничего кроме 8 штук 120 на 120 ><
Или успокоиться и ждать пока восстановят (если восстановят ещеТТ) папку 1?

[quirischa]

Yuji Kamijo

кто-нибудь скажет мне, надо будет заново заливать все (картинки/аватары) после восстановления папки?

так как у вас папка 1, то пока никто об этом наверняка ничего не может сказать
скорее всего, нет, ничего не придется перезаливать, а всё восстановится

[RhiSh]

нос , не могу удержаться - выражаю сочувствие и восхищаюсь вашим терпением. А долго возникавших здесь товарищей я откровенно не понимаю. Ну, нахамили админам, и к кому теперь пойдут за помощью?..

В общем, ни пуха вам ни пера, и терпения побольше )

[нос]

В предыдущей записи мы уже обещали:
После того, как работа наладится, мы продлим владельцам платных аккаунтов срок оплаты на количество дней, не меньшее срока отсутствия картинок и CSS. Картинки, аватары, CSS и прочее — не пропадут, но пока мы не установим новые диски, они показываться на сайте не будут.

На самом деле позднее было выбрано другое решение — не покупать и менять диски, а распределить картинки, аватары, RSS и прочее имущество пользователей по 6 другим серверам, в результате чего они постепенно копируются и появляются у всех пользователей. А менять диски на старом или покупать новый файловый сервер-массив — мы решим после того, как с него будет все перенесено и мы сможем его поковырять, не мешая работе сайта.

[нос]

RhiSh, к черту! )

[Kaiske]

quirischa

скорее всего, нет, ничего не придется перезаливать, а всё восстановится

Мне в принципе и перезалить не трудно, если что, но цсс.....=______=
а вообще просто сижу как рыжий с краю - у всех уже всё есть, а я...xDDDD

Ладно, ждем. Удачи вам^^

[Таирни]

quirischa
Спасибо. Просто уже ужасно устали глаза от красных крестов...

[me,myself and I.]

скажите пожалуйста, а дневник создать можно будет через какое время примерно?

[quirischa]

Yuji Kamijo

перезалить не трудно, если что, но цсс

скорее всего, вернется, не перживайте

me,myself and I.
проверяйте

[Нэко]

Уххх ты, а ко мне вернулись картинки и фон *___* довольнаааааа *____*

[me,myself and I.]

quirischa спасибо.
извините, что отвлекла.

[Лунный дождь]

нос извините) я как только как свой каммент опубликовала, увидела после обновления страницы ваш

У меня 1888909
Мне примерно сколько ждать и стоит ли надеяться, если это не страшная тайна?
За ответ буду весьма благодарен

[нос]

~Samael_Samedi~, разве мы когда-нибудь говорили, что не стоит надеяться?
Когда будет ваш ID — это не тайна, но я не знаю.

[нос]

Появилось продолжение сюжета в третьей записи.
Там сказано, в частности:

Для тех пользователей, у которых картинки еще не копировались, включая и тех, чей UserID начинается на "1" (это папка 1), можем сообщить, что они могут восстановить в своих дневниках прежний дизайн или создать новый.
Для этого закачайте в БИ (или присоедините к новой записи или комментарию) хотя бы одну картинку. При этом для вас будет создана новая папка на одном из тех серверов, куда копируются картинки. Потом в настройках дизайна вы можете пересохранить одно из старых или создать новое оформление и сохранить его. Оформление будет сохранено в вашей новой папке.

Без предварительной закачки картинки сохранить оформление нельзя, потому что некуда — для оформления новая папка вам не создается, а при закачке картинки создается.

[- апрельская Кошка -]

нос, вт это шикарная новость!!!!
(*ушла пробовать*)

[Efesska]

пришла, почитала срач неблагодарные юзеры vs администрация, а ответа на свой вопрос так и не увидела. я конечно понимаю, чтоон может быть несколько глупый, ибо информацию восстанавливают и наверное планируют восстановить в максимальном объеме, но я все равно переживаю, ибо там у меня было много важного. так вот. я могу надеяться, что ссылки, сохраненные благодаря сервису "мои ссылки" будут восстановлены в полном объеме? и если да, а я на это крайне надеюсь, то когда приблизительно можно этого ждать.
извиняюсь за повтор вопроса и некоторую навязчивость. и еще раз спасибо.

[нос]

Efesska, это ваш вопрос - "я могу надеяться, что ссылки, сохраненные благодаря сервису "мои ссылки" будут восстановлены в полном объеме?", на который вы ждете ответ?

Ну, да. Конечно, можете надеяться. Мы много раз отвечали на него одинаково: все могут надеяться, что после копирования им вернется все виртуальное имущество. Многие из тех, кто надеялся, уже все получили.

Про копирование следующих папок есть новая запись - diary-spirit.diary.ru/p130047605.htm?from=0
Там сказано, что копирование 8-й папки начнется сегодня ночью. А сколько оно будет продолжаться, я точно сказать не могу, но, видимо, как и другие — до 2 суток.

[Efesska]

нос, просто в основном все разговоры ведутся вокруг разного рода изобразительного имущества.) оно меня не сильно волнует, а вот в ссылках много нужного было. спасибо.)

[нос]

Efesska, так, стоп.
Сервис "Мои ссылки" не работает потому, что 08-10-2010 у вас закончилась оплата. Если вы пополните счет и продлите оплату, ваши ссылки появятся. После окончания работ, срок оплаты платных сервисов вам будет продлен на N-ное количество дней, которое потребуется нам на полное восстановление.

[Efesska]

нос, ага, вот оно что. а я с этими неполадками ни в туда подумала. ясно, спасибо.)

[Asubi]

Ждём с нетерпением восстановления.
Люблю вас.

[- апрельская Кошка -]

(*проверила*)
Работает!

[Клэр Фюхс]

Или я чего то не догоняю, или... в общем, у меня ID начинается на 3, а картинки все равно не работают и дизайн

[нос]

Тиндоме, ваша папка - 3. Сейчас посмотрю, что там.

[нос]

Тиндоме, а что значит "

картинки все равно не работают и дизайн

"?

У вас в БИ - www.diary.ru/photolib/ - всего картинок: 503, они видны.
Дизайн вам поставил из вашего списка первый попавшийся — он показывается.

Что не так?

[Клэр Фюхс]

Хм, странно, теперь все ок)) а до этого не работало)) видимо это я туплю. Спасибо!)

[Falitrein]

Охох ))) Удачи вам!!!
*Сидит и тихо ждет возвращения своих картинок*

хм.
у меня картинки не восстановились вообще.
видны только те, что заливала после падения.
ID 11... и далее.
что не так?