Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Tuo_Max]

Что это у вас за файловая система такая сложная?

[Alianika]

Diary Spirit
пасиб. ждем.

[_Les_]

Спасибо, ждем)

[-Aliana-]

Ждем с нетерпением. Спасибо, что держите в курсе)

[.::::::::::.]

Удачи вам )))

То есть, те, кто попал в ту самую папку, будут сидеть без аватаров и др. картинок? 0о
хм, я к ним отношусь или нет?

[Co0L]

не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0.

Это потому что у меня ID начинается с "10"

[Niennor]

Надеемся на лучшее и ждем =)

[нос]

.::::::::::., ваш userid=1422924
Вы относитесь к тем, кого будем восстанавливать в последнюю очередь, но ваша папка не 1/0, а 1/4 - у вас все должно восстановиться без проблем.

[Люминар Гало]

Спасибо большое за Вашу усердную работу и за то, что держите в курсе дела)
Удачи Вам) Будем надеяться, что все проблемы разрешатся.

[нос]

Вот Co0L попал в проблемную папку, это точно — 104028))
Но и с ним в итоге может оказаться все хорошо.

[.::::::::::.]

нос Спасибо, значит могу быть спокойна)))

А пока посижу с этой аватаркой

Надеюсь, что с остальными папками у вас проблем не будет)

Та часть с 1\0 еще не была приписана когда писала комент

[Akira-kun2906]

Спасибо за информирование)))
Юзеры ещё раз убедились что блогосервис diary.ru - лучший!
Удачи Вам с копированием и воостановлением. ^___^

[kate-kapella]

Мда... я конечно попала в число самых "везучих". Ну ладно, даже в самом худшем случае ничего жизненно важного в этой папке нет. А пока буду надеяться на лучшее (да и для меня важнее всего - чтобы дайрики наконец перестали подвисать, а то раздражает перегружать каждую страницу по пять раз).

[_Miriam_]

Спасибо! Удачи вам

[Lolit Re;Birth]

Вы справитесь!!

[нормально]

тоже попала в несчастную 10*.
и картинки ладно, а дизайн-то когда-нибудь в обозримом будущем вернется?

[.::::::::::.]

Эээ.. А часть той папки все-таки скопировалась что ли?))))Смотря на аватар kate-kapella почему-то подумалось 0_о

[Co0L]

нос
Даже если все окажется очень плохо (но мы то знаем, что все будет иначе ), обещаю не спамить техподдержку гневными постами))))

[Glo Xinia]

интересно, а куда попал я?

[Glo Xinia]

мммм ясно -_-

[kate-kapella]

.::::::::::.
Кстати, да, забавно - появился вдруг. Еще недавно не было. Может действительно часть скопировалась...

[Ambercat]

kate-kapella ты не одинока Но в самом деле, не в картинках счастье (нанесем новых), лишь бы сайт стабильно работал в смысле быстродействия и правильного отображение постов и счетчиков. Удачи с восстановлением, ждем и надеемся!

[Книжные рисунки]

Спасибо, спасибо, родненькие. Дизайн обоих дневников почти полностью вернулся, аватары тоже на месте, в общем, все мое при мне.
Еще раз спасибо, за то, что информировали, за восстановление, за труд.
Очень-очень вас)

[Блудный сын промышленности]

у меня id начинается с "11" я тоже один из последних?

[Книжные рисунки]

Ugly S[k]ape Goat Escape in Dream, предлагаете админам выловить именно ваши картинки из папок и не восстанавливать?))) Подозреваю, процесс происходит как-то иначе, и это только усложнит работу)))

[Lolit Re;Birth]

моя шутит

[Солнечный клоун]

А мне вот ещё ждать... И ждать... И ещё ждать. Мой ID на 52 начинается)))

*попал в несчастную единицу*
Ну дак ведь всего неделя, так?

Удачного копирования и чтобы ничего не потерялось!

[Merryl]

пусть даже проблемная папка заработает! а можно узнать, в какую угодила я?

[Sheridann]

Рассуждая логически, я в 1/1/0/7.
Попала я в единицу, будем ждать.