Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Angelesis]

Честно говоря ничего не понимаю. Понимаю лишь, что крайне не хочется ни подобного повторения, ни безмерных "ожиданий". Да, я не добрый юзер. Достало то, что в Опере мне мой диз видно, всем остальным, во всех остальных браузерах - нет. И нет, кэш тут не при чем, регулярно обновлялся.
Ждать можно, только вот пока что спасибо, родненькие за ваши проблемы говорить не буду. Подожду неделю. А то вдруг и там что выясниться и снова работать не будет. Потом еще какой глюк и еще и куча уважительных причин. Только мне пока от сего не легче, страшно за свое все, так что уж...Добрых слов не будет. Злых тоже, будем ждать

[.::::::::::.]

Меррил номер в профиле у вас 1533214, значит среди нас, попавших в единицу, но проскочивших мимо 1\0 )))

Я везуч, как никогда...

[atropomorph]

У меня 700244, хех). Буду ждать.

[Такое Дерево]

Родненькие, я не разлюблю Вас, даже если мой фон не восстановится (не повезло оказаться в злополучной 1/0), но плакать буду: не могу найти именно такую картинку, а без неё всё не то. Очень-очень на Вас надеюсь. Удачи Вам и успешного завершения копирования без сбоев и падений. Ну и нам удачи, вдруг ещё всё обойдётся )

[Kieran1]

Судорожно перебирал все свои ипостаси и на последней таки словил
Ну, ничего, единственный дневник, где мой дизайн был сохранен полностью)

[Maravillosa]

Спасибо за информацию!
Удачи вам!

Эх, я тоже попала в единицу, но не в 1/0 и то радость xD Буду ждать, хотя уже ломка по нормальному дизу началась) Удачи в восстановлении)

[Лира Джанко]

Жду и надеюсь на самый лучший итог событий) Удачи всем, кто сейчас трудится над восстановлением сайта!)))
Так, а я-то в которую группу попала?.. *чешет в затылке*

[.::::::::::.]

Лира Джанко 1509823 - первая папка( ), но не ноль, а пятая.

Что-то мне стало казаться что эта папка 1\0 решила собой закрыть число поломки, что бы уж вышло 1\0 10.10.... моцк, вали спать.

[=inaya21=36=]

Как вы все разжевали для НАС))) так приятно, так душевно)) СПАСИБО.
Все это так трудоемко...
Мысленно с Вами!

[Dot Com]

Такие дела.

Пьюти-фьют?

Что-то я туплю. ID, начинающиеся с 17... - будут восстанавливаться в последнюю очередь, но с высокой вероятностью восстановятся без проблем?
Пытаюсь вникнуть в смысл. В папке 0 1-го уровня - лежат файлы юзеров с ID < 1000, а в остальных, независимо от порядка номера - начинающиеся с этих цифр, да? То есть в папке 1/0/0/0 - 1000, 10001-10009, 100001-100099, 1000001-1000099 и т.д.?

[Marcus Tyrone]

Вопрос абсолютного технического кретина: новые картинки по-прежнему невозможно загружать в БИ и выкладывать?

[Белый Сикер]

Хм, я по прежнему хочу понять, как оно работает. И мне оно по прежнему интересно =)

[Sir Aristocrat]

ждем

[RhiSh]

Кажется, я начинаюсь с 8... запасся терпением и всем желаю удачи ))

[Лисья Шкура]

ничего, прорвёмся.
Потеря картинок - фигня, по сравнению с другими возможными "вариантами". Так что ничего страшного.
выздоравливай, любимое дайри.

[$adistk@]

Привет неудачникам из 1/0
А я всё равно люблю Даиры!)
Удачи!)))

[Kass.]

Будем надеяться, что с нашим любимым дайри всё будет хорошо!)
Выздоравливайте и больше не болейте

Спасибо за разъяснения!
Удачно Вам всё починить!

[Матуро]

юху! хоть где-то я попала в особенных! адын-адын!!!11!11!

паника паника... папка 1 кажись у меня О_О

[Daten no Magi]

Мда..и тут повезло =_=

[Aurum_Au]

Спасибо, что держите в курсе событий)))
УДАЧИУДАЧИУДАЧИ))))))

[iDovakiin]

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки).

у меня ай ди 673897. Буду ждать..

[quirischa]

Марик
Давайте я помогу вам посчитать. Ваш айди 673897, начинается на 6...... Следовательно, ваши картинки лежат в папке 6.

Теперь читаем текст записи:
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент... Как только с ними будет закончено, начнется копирование следующих.
Что можно понять из этих трех предложений? Что уже скопированы папки 0, 2, 3, 4. А у вас папка 6.

Я уверен, что ваша папка 6 просто еще не скопирована. А вы как считаете? Что попали в папку 1?

[NaokoTori]

главное сайт работает, и потихоньку налаживается все (тьфу-тьфу-тьфу!)
удачи вам!

Эх, А мне вот судя по всему не повезло. С папкой 1, если я поняла верно пояснения админа: ID: 103957

Могут исчезнуть только аватары?

[quirischa]

Эйлис

Могут исчезнуть только аватары?

Может вообще ничего не исчезнуть. Только восстановление немного затянется.

[Кимико Д. Ламер]

ID: 1134273

Хм. Выходит, у меня 11-ая папка, так?
Впринципе картинки я могу ждать столько, сколько потребуется - мне и без них пока что нормально живется, несмотря на легкий дискомфорт в связи с белым дизайном (не меняю, дабы не упустить момент возвращения моих фонов).