Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Кимико Д. Ламер]

институтка Вор, крадущий на глазах у хозяев?
Шкодна я

Если честно, не понимаю, за что так хвалят и благодарят админов? Если не ошибаюсь, это их работа, их прямая обязанность. Да простят меня админы, никого не хочу обидеть, просто не понимаю, какой смысл рассыпаться в комплиментах за то, что само собой разумеется.

- Люди выражают свою любовь и дают мотивацию админам на дальнейшую работу.) Естественно, что это само собой подразумевается, но админы вполне могли бы закрыть сайт на время работ, ибо так быстрее всё восстановить, но ведь не закрыли, а так работать труднее.) Значит, хоть малая толика благодарностей должна быть.) Так что Вы правы, но чуть-чуть не совсем.)

Скажите пожалуйста, а то, что мы не можем сменить дизайн у себя, кроме как на стандартный из каталога - это тоже оттого, что мы в "проблемной папке"?

[- апрельская Кошка -]

Папка верхнего уровня с именем "0"

Хм, а как выглядят ID в папке "0"? С каких цифр они начинаются?
И ещё вопрос - а могут "счастливые" обладатели ID из 1-ой папки сделать хоть какой-то дизайн? Если можно загрузить аватарки с внешних ресурсов, то, может, и дизайны можно сделать? Или можно сделать новый стандартным способом, и просто старые не восстанавливаются? (если три папки копируются двое суток, но 10 папок + факт. что наша - "проблемная", означает, что ждать нам не меньше недели; какие-то резервные варианты есть?)

[~Кайра~]

Здравствуйте, если я правильно поняла, то как и Niou Masaharu , нахожусь в папке 2/8. Ни аватар, ни фон, ни картинки не отображаются( страницу обновляла, кэш чистила... Надо ждать?

[Sammie.]

не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь.

что ж, я как всегда везунчик и сижу без картинок до последнего

удачи и скорейшего восстановления.

[институтка]

Кимико Ламер

Вор, крадущий на глазах у хозяев?

Чувак, жрущий пирожные, когда остальные грызут плесневелую корочку:-))

[Darta]

Так, так, так, написано что дизайны восстановлены, у меня в настройках они действительно есть, но на дневнике - не отображается. Кеш чистила, - не помогает, но вообще то у меня всю жизнь дизайн и без чистки кеша обновлялся.
Блииин, я, кажется, 1/0, сыкотно, там такие фотки с 2005 хранились... Т_Т

[Sammie.]

о...и сообщество мое тоже там.

[Караидель]

Darta
Да, у некоторых пользователей из первой папки с дизайнами тоже проблема, мы знаем. Мы займёмся этим позже.

[Яна Эвноя]

а мне ничего не вернули, ни БИ, ни аватаров.
и понятия не имею, в какой я папке. может подскажите?)

[Solamente_Io]

Если я правильно поняла, то я тоже в числе "счастливчиков" с единицей

[Westley]

Эвноя, смотрите по номеру ID в профиле.)

[Tish Evans]

Эвноя

поздравляю, Вы в папке 1/0.

[Яна Эвноя]

Tish Evans и это плохо, я так понимаю?):

[Sammie.]

Эвноя зачем задавать кучу вопросов если можно просто прочитать пост который вы комментируете?

[Эльна Майалис]

Саппорт, вы умнички, удачи вам!

[Absolute]

вы молодцы! УДАЧИ ВАМ

[Лунный дождь]

ID: 1673245

лан, прорвемся! но, мля, как меня уже корявый диз достал, моченьки нету т__Т

[Sokol_iz_Narnii]

Diary Spirit

Спасибо!

[Siimes]

Ы, у меня ай ди с 9, до меня ещё далеко..)

Удачи вам и сил в этом тяжёлом процессе! Спасибо за информирование и ваш труд!

[Лианнон]

Как же хочется вернуть картинки, обожимой!!!

[Яна Эвноя]

зачем задавать кучу вопросов если можно просто прочитать пост который вы комментируете?

malkavienne там непонятно! у меня ж с цифрами беда, не понимаю ничего. так сложно сказать что ли? вредные все какие!

[sky-deleter]

то есть, я так понимаю, что мне с айди 9421, надо ждать практически до самого конца всей свистопляски, и мне все восстановится гораздо позже, чем кому-нибудь с восьмизначным номером, но с, например, 3 в начале?

Я, типа, без претензий, просто уточняю.

[Кимико Д. Ламер]

Эвноя Если ай ди идет с единицы - да, проблемно, т.к. вы в последнюю очередь получите свои картинки/аватары/фоны. Короче, будете ждать дольше.

[Кимико Д. Ламер]

[chaotic neutral]

мне все восстановится гораздо позже, чем кому-нибудь с восьмизначным номером, но с, например, 3 в начале?

- да.) блин, я скоро сама запутаюсь Х_Х

[sky-deleter]

Кимико Ламер,

да.) блин, я скоро сама запутаюсь Х_Х

м-да. прикольно.

спасибо за ответ)

[Королева Мечей]

Ничего не поняла ))
Поэтому скажу только одно - Удачи! Вы молодцы!

PS: Ой, а у меня уже все вернулось... Спасибо!

[Sammie.]

[Tish Evans]

а меня устраивает и то, что хоть фон записи есть и оформление шрифтов)) а фон дневника... фиг с ним) переживу))

[Кьюби рыжий и пушистый]

Попала в еденицу(((