Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Чёрная весна]

Темный призрак, в своем дневнике Вы написали про администрацию, админы имеют право Вам там ответить...

Темный призрак, мужчина, вы слишком толстый тролль, покиньте помещение.

[нос]

Темный призрак, делаю вам замечание - нельзя материться в дневниках и сообществах, поддерживаемых администрацией.

нос не рыдайте...

Я не рыдаю. Вот это и называется хамить, если вы не знали.
Ваш тон, мат и комментарии не по теме записи доведут вас до того, что права комментирования в этом дневнике у вас не будет.

[iDovakiin]

мужчина, вы слишком толстый тролль, покиньте помещение.

Для вас видимо все тролли кто критикует администрацию за неподобающее поведение.

Мой ID 148592, и почему-то у меня ничегошеньки, кроме фона, не появилось

[iDovakiin]

нос
Я все еще жду от вас ответа. Позволительно ли администрации высмеивать в публичных сообществах тех, кто обращался к ним за помощью.

[нос]

Марик, критикуйте ради бога - ни слова не скажем, понурив голову. Но вы же нас не критикуете!
А утверждаете. Стало быть - клевещете, лжете. Понимаете разницу?

[DGhost]

в банке кока-колы
ответить но не оскорблять моих ПЧ.
Флэки
не нервничайте так, девушка. уйду когда посчитаю нужным. ну или когда забанят те, кому нечего будет ответить по существу.
нос
я знаю что такое хамство. ну так кровь за кровь. карма е-мое. вы же в курсе темы да.

[Чёрная весна]

Heidel, За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Вот) Ждем)

[Иней.]

Администрация не роботы, они восстанавливают сайт, нервничают, срываются. Все мы люди и можно было бы и с пониманием отнестись.
А обращения с помощью от тех двух граждан я как-то не заметила.

[Береннис]

мой ID: 1259706, следовательно я в папке 1/2/5..., ведь так? и это означает, что копирование моих картинок начнется не раньше понедельника-среды?
многие говорят, что проживут без картинок, но я немного волнуюсь, так как у меня около 600 аватарок моего производства загружены непосредственно в БИ, без резервного копирования на какой-либо хостинг, и перезаливать их у меня просто не хватит терпения (т.к. в основном они конкурсные и в произвольном порядке загружать их просто нельзя) просто за 1,5 года моего нахождения на этом сайте, я впервые сталкиваюсь с подобной крупной поломкой любимых @дневников...
а это уже закон подлости: я оплатила CSS 6го числа, а 8го все слетело...
заранее прошу прощения у администрации, если вы уже не в силах отвечать на однообразные вопросы.

[iDovakiin]

Но вы же нас не критикуете! А утверждаете. Стало быть - клевещете, лжете. Понимаете разницу?

Где это я лгу? Вам снова дать ссылку на ваш пост, где вы написали издевки из за моих обращений к вам по поводу возникшей проблемы? Критика это и есть утверждение. То, что вы написали - за гранью профессионализма, сетевой этики и публичного общения.
Любой нормальный человек после такого бы извинился, сказал, что сорвался и удалил пост. А вы своим хамством (и как я вижу не только в общении со мной) бахвалитесь.

[quirischa]

~renesmee~

это означает, что копирование моих картинок начнется не раньше понедельника-среды?

возможно, раньше

меня около 600 аватарок моего производства загружены непосредственно в БИ

скорее всего, все они нормально восстановятся

[Тартан]

~renesmee~
ЧАВО, он же FAQ
1. А когда будут закончены работы/когда у всех появятся картинки?
Работы планируется закончить дней через шесть, точно сказать сейчас нельзя, т.к. ещё не приступали к копированию "глючной" папки 1/0
2. А что, картинки/дизайн/фон/аватарки пропали совсем?
Нет, все картинки/etc. будут восстановлены. Есть шанс (не факт, а только шанс), что какие-то проблемы могут возникнуть с "глючной" папкой 1/0
3. Как узнать в какой я папке?
Номер вашей папки - первая цифра вашего ID, номер подпапки, соответственно - вторая, т.е. если ID 12345, то ваши картинки находятся в папке 1, подпапке 2
4. Как узнать мой ID?
Ваш ID находится в профиле, Под аватаркой и данными вроде пола/возраста, над контактами. Ещё его можно увидеть в адресной строке Вашего профиля w ww .diary. ru/member/?12345 - вот то, что выделено жирным и есть ID.
5. Я заплатил свои кровные деньги за дизайн/аватарки/etс., и вот уже сколько времени у меня нету всех этих прелестей жизни, что же делать?
Ждать вместе со всеми. Всем "платникам" удет компенсировано время, проведённое без картинок. Компенсация будет произведена после окончания всех работ, по той простой причине, что сейчас неизвестно, сколько именно нужно компенсировать. Компенсация будет в виде продления действия платных сервисов
6. Почему в меня ещё нет картинок, а у Васи уже есть?
Потому что папки копируются постепенно
7. Почему у меня ещё нет картинок, а у Васи уже есть (у меня 6/8, а у Васи 7/1)?
Потому что параллельно копируются три папки, и в Вашей, то есть шестой, до восьмой подпапки ещё не дошли, а васиной, то есть седьмой, первую уже скопировали.
8. А что, сейчас уже можно закачивать картинки в БИ?
Можно, но осторожно, чтобы избежать дополнительной нагрузки на сервер
"Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить." (с) Diary Spirit

[Караидель]

~renesmee~
проблемная под-папка, из-за которой было остановлено копирование первой папки, 1/0, а Ваша - 1/2, так что вам волноваться нечего.

[Чёрная весна]

~renesmee~, насколько мне известно, в платных сервисах можно на время заморозить свой сервис на какое-либо время и не тратить деньги попусту)

[Saterina]

Уважаемый народ. а именно, Марик, Темный призрак, а также все, кто тут бочки катает на друг друга,
я конечно понимаю в данном споре я левый чел, но вы откровенно говоря мешаете. я слежу за комментами тут..

может быть как грамотные люди, прекратите все это первыми.
просто стоп-кран и всё.
без выяснения кто прав, кто виноват у кого там с этикой плохо и ценностями морали.. просто реально уже надоели

Вам с детей с нос не крестить, посему умолкните, пожалуйста =) или переноситесь в другое место со своими недовольствами... очень прошу, как людей

[Береннис]

quirischa, Караидель, спасибо, успокоили.
Тартан извините, но я просто уточнила сроки восстановления картинок моего номера, близкого к "глючной" папке 1/0. все остальные вопросы я поняла и теперь терпеливо жду окончания ремонтных работ на сайте.
а моя фраза про CSS была самоиронией, так как со своим "везением" я могла попасть и в 1/0, если бы зарегистрировалась, сразу как обнаружила этот ресурс.

[кин.]

Saterina поддерживаю, 217 комментариев болтовни не по делу мне надоели.

[Чёрная весна]

Можно узнать, какие папки сейчас копируются?

[Береннис]

в банке кока-колы спасибо за наводку, может воспользуюсь ей. а может и нет, раз говорят, что мне осталось ждать всего несколько дней))

[iDovakiin]

Вам с детей с нос не крестить, посему умолкните, пожалуйста =) или переноситесь в другое место со своими недовольствами... очень прошу, как людей

А это ничего, что мы лишь отвечали на высеры администрации, которая считает что ей можно писать о юзерах все что угодно и в каком угодно тоне? Стало быть хамство админов вам по теме, а ответы им нет? Умолкнуть я могу и умолкаю, но почему то уверен, что новый высер в наш адрес от очень умной администрации любимого сервиса незамедлит тут появиться.

[Leyu]

нос
если можно,у меня на трех разных компьютерах виден один и тот же белый фон.....

[DGhost]

Уважаемая Saterina
скажите ка лучше вы всем флудерастам про стоп-кран. гораздо меньше лишней информации в треде будет. сможете? не сможете - лучше умолкнуть. как к человеку обращаюсь.

[Караидель]

Марик
Уймитесь, пожалуйста. Ваши комментарии не имеют отношения к теме записи, зато изрядно мешают отвечать на вопросы по существу.

[Saterina]

Марик, вообще, я попросила. дважды.
если вы очень хотите поговорить со мной на эту тему то пожалуйста, пишите на ю-мейл, я не против

[quirischa]

Leyu
у вас в настройках стоял белый цвет фона
я вам поставил другой фон

[Чёрная весна]

Караидель, вопрос по существу - какие папки скопированы и какие копируются сейчас?..

[Караидель]

Leyu
Я вижу у Вас розовато-серую заливку фона, без картинки. URL в теге background-image пуст.

[quirischa]

Темный призрак
Вы тоже угомонитесь уже, ладно?