Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[DGhost]

А ко мне нос пожаловал. Забавно так все вышло. Администрация такая администрация
dgh.diary.ru/p129951740.htm

[Чёрная весна]

Темный призрак, администрация - тоже человеки)

[нос]

Темный призрак, а вам мало внимания, да? Вы даже свой закрытый дневник решили открыть? )))
Призраки такие не призраки.

[DGhost]

в банке кока-колы
ахха. и пользователи - тоже человеки. и мир у нас один - человечий. так кто и по какому принципу тут лишний?

[Мей Подколодный]

Темный призрак, знаете, как это выглядит со стороны?
- Земля квадратная.
- Вы не правы. Земля круглая. Вот вам доказательства.
- Земля квадратная, я вам не верю.
- Но вам же уже сказали, что земля круглая!
- Да бросьте вы заливать, всё равно земля квадратная, а ваши доказательства - ерунда. Вы лучше честно скажите, что земля квадратная. Ничего ведь от этого не сделается!

Ничего личного. И об администрации у меня своё, отличное от Вашего (как, впрочем, и от мнения большинства), мнение.

[Dark Star]

нос, дневник открыл, а комментарии все равно закрыл. Чтобы последнее слово было за ним, Д'Артаньяном )

[Tara Aviniony]

Пршу прощения, если не совсем в тему вопос...

От чего зависит, в какую папку попадешь при регистрации? Случайный выбор?
Например, я на дейриках сравнительно недавно, менее полутора лет, но оказалась в 1/2.
А у многие мои дейриковские друзья, зарегистрировавшиеся четыре-пять лет назад, в 5 и 6, и у них уже все восстановилось.

Спасибо, что сообщаете, как идет дело.
Удачи Вам!

[DGhost]

нос

Вы даже свой закрытый дневник решили открыть? )))

Не ожидали такого, оскорбляя мою ПЧ, да?)

[Мей Подколодный]

Tara Aviniony, папка зависит от ID. ID присваивается по порядку. У Ваших дайриковских друзей ID наверняка короче.

[Чёрная весна]

Темный призрак, Вы зря это говорите, ИМХО
Это поле администрации, не стоит ее раздражать
На другом ресурсе (пример - форум онлайн игры) Вам бы давно дали 3 балла за флейм и оскорбления и в течении месяца у Вас был бы режим "Только чтение"... Радуйтесь, что тут все гораздо милее и чудеснее и правила снисходительнее, если я, конечно, могу так выражаться

[DGhost]

Dark Star
специально для вас открою. есть что сказать? или просто так выеживаетесь?

[Мей]
да емое. ну не сошлись характерами, бывает. я не нос. девушек не обижаю.

[Мей Подколодный]

Темный призрак, а Вы зачем столь оскорбительную надпись на всеобщее обозрение выставили? Теперь все дайри знают, что Ваша ПЧ глупая. Нехорошо как-то получается(((

[Мей Подколодный]

Темный призрак, да ёлки, Вы понимаете, что нос правду сказал? Я не знаю, что имела в виду Ваша ПЧ, но выглядит это со стороны, извините, совершенно по-идиотски.

[Dark Star]

Темный призрак, девушек не обижаете, говорите? А вот вы в комментарии предположили, что я выеживаюсь - вы меня обидели, может быть.

[DGhost]

в банке кока-колы
дык я радуюсь радуюсь. если б дали 3 балла то уже совсем плохо было бы с администрацией, не находите?

[Мей]
Если нос сказал, что считает кого-то глупым потому что он не может достойно ответить оппоненту, это не значит что то кто-то глупый. Возможно, все наоборот и глуп тот, кто не может достойно ответить, заменяя ответы приватным срачем.

[DGhost]

Dark Star
а вы не выеживаетесь? что-то я от вас коммента не вижу в дневе)

[Чёрная весна]

Темный призрак, мало радости, много злости
Пойду правила перечитаю, авось за офф-топ накажут

[Мей Подколодный]

Темный призрак, Вам и Вашей ПЧ уже по стопятьсот раз ответили достойно. Вы упорно настаиваете на том, что земля, мать её, квадратная. Следствие?

[нос]

Не ожидали такого, оскорбляя мою ПЧ, да?

Нет, Темный призрак.
Не хотел, чтобы все знали мою нелестную оценку ее и вас. Но вы сами все выдали. Наверно, она вам благодарна.
Кстати, до своего комментария у вас, я думал, что это вы - женщина, а она - мужчина. А в профиль не посмотрел. Поэтому высказал только ему (не зная, что говорю ей).
Но вы, по обыкновению, можете в это тоже не верить, потому что это меня немного извиняет )

[DGhost]

[Мей]
Это вы к чему? Я - про поведение администрации в приватном дневе. А вы?

[Мей Подколодный]

Темный призрак, а я про глупость, батенька. Про глупость. Которую Вы старательно подтверждаете.

[Dark Star]

Темный призрак
А почему вы думаете, что я собиралась что-то комментировать у вас в дневнике?! О_О Я просто заметила, что вы сочли нужным сделать дневник открытым, оставив при этом комментарии закрытыми. Но, конечно, если вы считаете, что сделать это замечание было с моей стороны именно выеживанием - ну, тут уж я развожу руками )

[Sammie.]

мне не зазорно сказать, что вы глупый человек

оскорблять даму в чужом приватном дневнике пользуясь своими полномочиями

оскорблять даму

[DGhost]

нос
после ваших выступлений вообще все ваши комменты не имеют авторитета, уж извините.

[iDovakiin]

Эх, Марик )) Человек, который разбором своих жалоб на многочисленных обидчиков отобрал у администраторов времени на сумму большую, чем стоит ящик кроссовок. Надо бы заставить вас ответить за свои слова, но портить карму не хочется. Дай вам бог счастья.

С каких пор администрация дайри занимается публичным высмеиванием тех, кто обращался к ним за помощью?
Может вы еще тут письма приведете, которые я вам писал?
Это непрофессионально, низко и подло.
Я вас не оскорблял ни в каком виде. Единственное чего хотел это помощи от администрации сервера.

[нос]

Темный призрак, извиняю.

вообще все ваши комменты не имеют авторитета

По логике, после такого заявления мне следует отписаться от этой записи )
Задавайте вопросы друг другу и давайте свои авторитетные ответы в духе "вот видите - администрации на нас нас наплевать!" ))

[Чёрная весна]

Темный призрак,

В дневниках запрещены:
Оскорбления других пользователей сайта.

В общении с администратором сайта недопустимы мат и грубость. Оскорбление администратора в любой форме, цитирование оскорбления или ссылка на него, невыполнение требования администратора являются серьезным нарушением правил, которое влечет временное закрытие пользователю доступа на сайт либо удаление регистрации основного и всех остальных его логинов.

Если что

[DGhost]

нос
не рыдайте. есть те кто вас любит в любом положении.

[iDovakiin]

В дневниках запрещены: Оскорбления других пользователей сайта.

Но самой администрации оскорблять пользователей разрешено как видно.

[DGhost]

в банке кока-колы
а как вы думаете администратору насрать в приватном дневе из за критики - это гут?