Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Karin~san]

Ох, а если СSS так и не вернулся? это нормально пока? Оо

[Koshechkina]

Держу кулачки и посылаю лучи удачи! Усердно =)))

[Tish Evans]

Karin~san

да, потому что Вы в папке 1/0.

[Rafflesium]

ID=1510879
Ага, угораздило меня в первую папочку) Ну ладно, прорвёмся!
А если серьёзно, то спасибо Вам большое! Так интересно у вас система устроена. Почти как у меня. 111\222\333\ - папка с аватарами)))
Чтож, я подожду. Главное, что самое худшее осталось позади)

[Караидель]

Karin~san
Для ID начинающегося с единицы, к сожалению, да.

[jetta-e]

Караидель - большое спасибо за ваши труды.
можно ли вас (админов в собирательном смысле) попросить по ходу дела где-нибудь периодически выкладывать вести с фронта - какая "первая цифра" уже залита и какая сейчас в работе?

[Ангел счастья]

как же приятно видеть фон и эпиграф своего дайрика, вы не представляете! =))
спасибо вам!

[Sammie.]

jetta-e да, давайте придумывать для админов новые интересные занятия, нечего там прохлаждаться

[Verresk]

Запаслась терпением, жду. Верю в благоприятный исход) Спасибо за быстрый ответ на мое паническое письмо!

[нос]

~Кайра~, так надо подождать еще, папка 2/8/9 не закончена.

Правда, я не знаю, как бы это объяснить еще понятнее.

[Караидель]

jetta-e
мы так и делаем, но до ночи вряд ли что-то изменится - сейчас большая нагрузка на сервера, восстановление картинок идёт в фоновом режиме с очень низким приоритетом.

[Rassvetnaya]

Забавная тенденция все же на дневниках.. Как только стали брать с пользователей мзду (причем, тут всё без сбоев и технических неполадок происходит, еще и по стописят раз напомнят, чтобы мзду эту вовремя внесли) сразу оченна сильно испортилась и сама техподдержка (человеческий фактор так сказать) и ее работа, и участились случАи с зависанием или вообще недоступности @дневников.
Хотя, ничего удивительного.. Это российская действительность.
Это так, мысли вслух, можно не реагировать. От комментов, в любом случае, отписываюсь.

[Sin Vicious]

Спасибо, что держите в курсе событий)))

[Koshechkina]

типичная

российская действительность

придти, насрать и отписаться от комментов

[Караидель]

-Rassvetnaya-
Вам это только кажется. Форс-мажорных поломок сейчас стало меньше, чем раньше, и на техподдержку платность тоже никак не влияет. У нас нет особого отношения к платным пользователям, в 99.9% случаев, мы вообще не задумываемся платный аккаунт у пользователя или нет, если только вопрос пользователя не касается непосредственно платных сервисов.

[Desert Eagle]

Удачи вам в восстановлении!
Эх, мне еще ждать и ждать... Кстати, некоторые другие пользователи видят мои аватарки и мой дизайн, а я сам - нет. С чем этот феномен может быть связан?

[Fate]

я не то чтобы жалуюсь, но с моим ID 1000659 у меня еще вчера вернулись и аватары, и дизайн, и вся БИ. И это точно не кэш
Значит, копирование уже дошло до до папок 1/0 (как-то быстро о_О) или это просто чудо?
just curious)

[Караидель]

Ludwig Krautz
с кэшированием изображений браузером.

[sky-deleter]

Караидель, не знаю, конечно, но, может быть иногда стоит отрубать дайри для пользователей, скажем, на часок раз в пять часов. И работа, наверное, быстрее пойдет, и не думаю, что так уж сильно кого-то заденет это.
Тут все такие понимающие.

[Кольтман А.]

получается, раз мой ид начинается с 1, то я не могу пользоваться своими картинками?
обидно.
надеюсь, восстановят.

[Караидель]

Fate
мы начали копирование этих папок, но потом возникла проблема, которую пока решить не удалось, и мы переключились на другие папки. Вам повезло, Ваша БИ успела скопироваться до проблемной.

[Кимико Д. Ламер]

Ludwig Krautz

Кстати, некоторые другие пользователи видят мои аватарки и мой дизайн, а я сам - нет

- я не вижу, ни аватарок, ни вашего эпиграфа. Разве что серый фон, но его, мне кажется, вы тоже видите

[~Кайра~]

нос , простите за непонятливость и спасибо за ответ)

[Караидель]

deinetode666
Обязательно восстановим, просто не сразу.

[Таирни]

Аватаров нет по-прежнему, как и картинок. Цифры вроде 9/0. Обидно, аккаунт платный, аватаров многих не найти теперь будет...

[Кольтман А.]

Караидель
ну пока что с аварийным дизом поживу)

[Fate]

Караидель
Спасибо большое
И удачи с восстановлением!

Diary Spirit Удачи вам в восстановлении!

[Julianna]

Если я правильно посмотрела, мой ID 1042866. И это означает, что моя библиотека изображений вернется в числе последних, если вообще вернется. Правильно?

Аккаунт платный. И оплачивала я его именно из-за библиотеки изображений. Как будет решена проблема столь длительного отсутствия доступа к ней? Про возможную потерю изображений пока не спрашиваю, ибо надеюсь на лучшее.

[quirischa]

Julianna

это означает, что моя библиотека изображений вернется в числе последних, если вообще вернется. Правильно?

правильно

Как будет решена проблема столь длительного отсутствия доступа к ней?

эта проблема будет решена успешно