Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Кимико Д. Ламер]

Julianna

Если я правильно посмотрела, мой ID 1042866. И это означает, что моя библиотека изображений вернется в числе последних, если вообще вернется. Правильно?

- Да.)

Как будет решена проблема столь длительного отсутствия доступа к ней? - вопрос денег или вопрос возможности потери изображений? Не совсем поняла. О_о

Уже ответили хD

[Караидель]

Julianna
Срок оплаты платных сервисов будет продлён. Насчёт изображений пока что тоже не паникуйте, скорее всего все изображения будут восстановлены полностью.

[Кимико Д. Ламер]

Хм, я заметила, что уже сижу тут чисто из-за этой темы:просто жду появления новых комментариев, на то, что знаю, отвечаю...викторина "угадай, почему же так" хD Ну и еще обновления новостей) Кстати, чье-то предложение насчет "отключить на один час сайт для быстрой работы" расматривается?)

[Julianna]

Спасибо всем за ответы

[Южени]

А почему почти у всех ID длиннее, чем 4 цифры? О.о Там ещё подпапочки имеются? Или это с добавлением какого-то ещё номера?

[Кимико Д. Ламер]

Южени вряд ли это подпапки, я так думаю. Просто что-то на манер личного номера - юзеров же не десять-двадцать.)

[Южени]

Кимико Ламер но в таком случае и папочек должно быть больше Или это просто на последнем уровне папок номера становятся длиннее?

[Кимико Д. Ламер]

Южени Ладно, умыли - папочек тоже больше Если смотреть на принцип деления ай ди у дайри, то выходит...
1134273
что-то вроде 1 уровень(из 9) → 1 уровень(из 9) → 3 уровень(из..9?) → 4 уровень(из...9?..) → 273 личный номер(из..хм..999?)....блин, я сама туплю.

[Караидель]

Южени
Не у всех. ID - это порядковый номер в системе. Так что пользователей с ID меньше, чем из 4 цифр, изначально было ровно 999. Сейчас осталось меньше, много дневников уже удалено. Все они лежат в папке 0, её восстановили первой, она совсем маленькая, по сравнению с остальными.

[Кимико Д. Ламер]

Караидель т.е.в своих рассуждениях я примерно права,так?

[Караидель]

Почти. На пятом уровне имя папки соответствует полному ID. То есть в папке 1/2/3/4 все папки будут начинаться с 1234.

[Южени]

Кимико Ламер
865205 А может так: 8 (из 10) → 6 (из 10) → 5 (из 10) → 2 (из 10) → 865205 (из ...111?)

Караидель
Вопрос был куда деваются при выделении папочки для картинок последние цифры?))

[quirischa]

Кимико Ламер
картинки пользователя с айди 1134273 находятся в личной папке по адресу 1/1/3/4/1134273
кроме того, по адресу 1/1/3/4/... находятся личные папки пользователей 1134*, 1134**, 1134***
10 тысяч - это основная иерархия папок

[Южени]

quirischa а можно ещё один тупой вопрос? =) А сколько сейчас самый длинный ID?

[Сундук Мертвеца]

Поскольку мой ID начинается с 19, ждать мне еще и ждать.
Успешной работы!
Надеюсь, и с моим дневом всё будет хорошо. ))))))

[quirischa]

Южени
самый длинный - семь символов
самый большой - около 1991000, что ли

[Южени]

quirischa
Спасибо) Теперь любопытство успокоилось

[Melusina]

Забавно)) Я, видимо, вышла из подводной лодки - до сих пор я была не в курсе проблем))) Мне казалось, все в порядке, и только сейчас поняла, что фон действительно исчез. Да, содержание для меня явно важнее формы....

[Oji Winchester]

Дурацкий вопрос, но с пятницы жил без css, а 12ого закончилось время дизайна... выходит, деньги за последние 4,5 дня - в пустую?

[тёплый.]

мой диз и картинки не вернулись.

[Такое Дерево]

O-J Abarai, платные аккаунты обещают продлить на количество дней, пока css отсутствуют.

[Alex Refling]

1-5.

[quirischa]

тёплый.
это потому, что вы из 1ой папки

[Такое Дерево]

тёплый., вы в папке 1, но не в 1/0 к счастью, вам просто надо подождать. У вас ID: 1240767.

[Oji Winchester]

Такое Дерево
Т.е. как восстановится всё, можно ждать css обратно?..

[Такое Дерево]

O-J Abarai, думаю, да. Вы из 8 папки.

[тёплый.]

Спасибо, подожду.

[Караидель]

O-J Abarai
Ваш css на месте, насколько я вижу.

[Oji Winchester]

Караидель
На каком?Оо Ибо у меня сейчас стоит обычный дизайн.

[El_amigo]

Караидель
Некоторые картинки не видны, однако некоторые есть...
Срочно нужна одна картинка из БИ которая как раз из числа тех, что не отображаются. Как думаете, когда все более-менее заработает?