Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Границы]

а новые посты тормозят работу? лучше пока хранить молчание?

[Leyra]

Папка 8/7, зато все остальные аккаунты попали в первую, а часть даже в 1/0 По-моему, это знак свыше: "Да не плодите, юзеры, сущностей!"
Будем ждать) На самом деле, фоновые картинки и аватарки- это вовсе не критично, а картинки можно заливать на сторонний ресурс. Главное, что сам сайт работает. И это здорово)

[ночи.навылет]

Уже появились счетчики обновлений, дизайны, CSS

далеко не у всех, надо сказать)
открываем резервные запасы терпения и чешем администрацию за ушком.

[Irrealis]

дайри, дайри, я вас очень люблю!
и даже без css любила, правда)

[Морвея]

Спасибо, ребята. Все почти вернулось х)

[CulinaryCat]

Ко мне пока ничего не вернулось: ни дизайн, ни авки, ни фотки, но это ничего!

Удачной работы, друзья! Ждем любимые дневнички!

[Айгер]

Удачи вам, ребята
у меня папка первая, как я понимаю, так что терпеливо жду ^^

[queer_as_fangirl]

у меня пока что собственый диз на соо совсем не ставится
все белое остается
жду и надеюсь

[Just Ellie]

Кимико Ламер ничего, заглядывай, буду рада.
Администрации удачи с восстановлением и терпеливых пользователей. Это редкий сайт надо сказать, где администрация нормально контактирует с пользователями, а не придерживается политики - админ всегда прав, а на остальных - пофигу

[Inkaly]

У меня 1/0
А счётчики обновлений что, не работали? О_о я как-то и не заметила...

[Anna Dragonfox]

А я в какую попадаю? O_O' У меня напряг с логикой. ><
*молится и молится*

[Арис]

Kamineko Kuroshiro

В пятую (5/5), судя по твоему айди. Скоро все появится)))

А я выходит попал в последние? У меня 970056

[Anna Dragonfox]

Арис
Спасибо, успокоили! ^^
А то я тут паникую. ><

[Арис]

Kamineko Kuroshiro

Без паники. Моей первой сущности, если выразиться словами Кэллиг, ждать папку номер 9, а другой молиться именно. Ибо она и есть, 1/0

[one 1ove]

спасибо большое.
с нетерпением ждем результатов.

дизайн вернулся
о, оказывается смайлики не все видно.

[Хайнэ]

У меня ID 1, значит, ждать еще неделю?
Меркантильный вопрос насчет продления CSS аккаунтов. Будет ли добавлена эта неделя именно юзерам с этими папками?

[Фин.]

1/0, пичаль-пичаль)

[.воздух]

Спасибо-спасибо! Ко мне все вроде бы вернулось)))

[one 1ove]

.воздух оболдеть) вот везучая)

[ave_2006]

А я в 12) Спокойненько жду. Команде дайри удачи!

[Эстет]

У меня нет картинко(((

[Стражница]

Меня просто поражают комментарии: на одного недовольного сотня довольных. И это в такие моменты. Все же правильно я выбрала дневники, присоединяюсь к довольным =)
Удачно вам все восстановить.

[one 1ove]

Стражница Поднебесья вы тоже очень везучая)
поздравляю вас!

[Шармила Шрея]

А в какой я папке? Где это посмотреть?
А счетчики у меня тоже работают некорректно(...

[quirischa]

кукушка люся
у вас айди 1871809 (pay.diary.ru/member/?1871809), значит, вы 1/8

[Тайя.]

Вот оно еврейское счастье, я 18
А по какому принципу присваивается ID при регистрации?

[slytherin]

у меня айди 46700, как посчитать в какой папке?(

[Тайя.]

slytherin, 4 копируется в настоящий момент, у вас скоро все будет)

[slytherin]

Души романтиков, о спасибо за ответ)))