Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[нос]

Картинки, все же, не важнее текстов и комментариев, они — их важное дополнение, поэтому закрывать сайт для копирования картинок мы не будем.
devilaxe, кто будет за закрытие и кто против, я вам и так скажу: те, кто в папках 1, 9 и немного из 8 — за остановку.
Остальные будут против, потому что их картинки и оформления уже или вот-вот будут восстановлены.

[gero_likia]

А я за работу

[Ляля Аршавин]

аааааа
ну когда же ты уже починишься дорогой наш дайрик)))))

[snyff]

урра!! восстановилось все!
Спасибо админам за работу. Приятно, когда держат в курсе событий))

[- апрельская Кошка -]

Поверьте, даже из папки 1 многие за продолжение работы "как есть". Картинки, и правда, не главное!

[$аленая как море]

устройте голосование
КТО ЗА ТО, ЧТО БЫ КОПИРОВАНИЕ ПРОИСХОДИЛО БЫСТРЕЕ, ЗА СЧЕТ ЗАКРЫТИЯ САЙТА НА НЕКОТОРОЕ ВРЕМЯ?
и
КТО ЗА ТО, ЧТО БЫ КОПИРОВАНИЕ ПРОИСХОДИЛО С ОСТАНОВКАМИ, МЕДЛЕННО, НО САЙТ БЫЛ ОТКРЫТ?

Успокойтесь, никто сайт закрывать не станет, это ж рекламодателям надо будет деньги возвращать.

[Сдвинутый Эльф]

Люди, вернулись мои авки))) Спасибо вам большое за работу))) Настроение в миг взлетело)

[Herba]

5/5 есть, спасибо

[Кимико Д. Ламер]

Скорее всего сейчас идет копирование

5/6, 6/3 и 7/1.

, что радует - дело движется.)

[konviki]

удачи вам. надеюсь всё вернется на места.

[DreamTheCyanide]

Спасибо вам большое за заботу о пользователях и оперативность! Все картинки восстановились! ^_^

[Кимико Д. Ламер]

Идет копирование папки 5/6, 6/3(6/4?), 7/1.

[Color-of-the-night]

А можно поинтересоваться, в районе какого дня начнется копирование папки 8?

[Кимико Д. Ламер]

Color-of-The-Night Этого доподлинно никто не знает, к сожалению.) Не раньше понедельника, я так думаю, но, возможно, и завтра.)

[Арис]

Успокойтесь, никто сайт закрывать не станет, это ж рекламодателям надо будет деньги возвращать.

$аленая как море

И ничего зазорного в этом нет в общем-то. В наше время все держится на рекламе. Не понимаю только, что страшного, сказать об этом прямо.

[Грин]

спасибо от 6/4

[Кимико Д. Ламер]

Исходя из комментария Liar MD , делаю вывод и обобщение (гипотезу короче): копируются 5/6, 6/4, 7/1(7/2?).

Ура! Первая копируется!!!

[кин.]

SophietheValiant да?
жду с нетерпением.а то мне уже пришло оповещение об оплате, а я сижу с белым листом.

[rusara]

7/5 все вернулось. Спасибо.

[maskarad pluton]

Нда, я тоже среди первых. Хорошо хоть не 1/0. Будем ждать.

[Кимико Д. Ламер]

=> копируются 5/6, 6/4, 7/5 (?)

[nastjalacht]

когда 6/6, ну когда же 6/6?)

Как обладатель пятизначного айди видевший дневники эдак 6 лет назад ааабсолютно не понимаю всеобщей паники по поводу исчезновения картинок.
Вы не поверите, в свое время жили без платных сервисов, со стандартными дизами и 3мя аватарками.

[Эллаирэ]

Флэки, как обладатель четырехзначного айди, присоединяюсь.

Эллаирэ, 4 знака это вау ^^ дайри при 4х знаках даже я не представляю)
Это вот у меня стаж 8 лет, а у вас...ээ...ой мама.

[nastjalacht]

так я тоже живу без платных сервисов, с белым фоном, черными буквами и тремя аватарками. вот их-то я и хочу обратно)

[DGhost]

Флэки

не понимаю всеобщей паники по поводу

Причем тут паника. Речь идет о комфортности использования сервиса. Причем кем-то еще и оплаченного.
Вместо того, чтобы получить оплаченные услуги эффективно и в кратчайшие сроки восстановленными, пользователи вынуждены ждать неизвестно какой погоды у моря. И это при сиропных заявлениях администрации о благе этих самых пользователей.

[Арис]

Джон Малевич

Загрузите заново, и они появятся

ааабсолютно не понимаю всеобщей паники по поводу исчезновения картинок

Присоединяюсь. Аватары я новые загружу, а вот комфорта хочется. Как минимум, что бы не тормозил сайт, и зайти можно было спокойно, особенно в вечернее время.

[Тайя.]

А у меня создаётся чёткое ощущение, что когда мои авки вернутся, я буду их пугаться Я привыкла уже к голому нику =)))