Администратор
23:12
Восстановление картинок
UPD 15 октября, 23:12
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
номер вашей папки — первая цифра числа в ссылке вашего профиля
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
15.10.2010 в 21:15
Ну в общем, вы подтвердили мое предположение. Рад за наличие здорового цинизма и деловой хватки у администрации дайри. Было бы странно, если бы такого не наблюдалось.
15.10.2010 в 21:22
15.10.2010 в 21:24
15.10.2010 в 21:32
15.10.2010 в 21:35
15.10.2010 в 21:38
15.10.2010 в 21:59
Где Вы увидели цинизм и деловую хватку в моём комментарии? Боюсь даже предположить что Вы увидели бы в тесте Роршарха.
15.10.2010 в 22:01
15.10.2010 в 22:01
Желаю скорейшего выздоровления-восстановления =)
15.10.2010 в 22:03
15.10.2010 в 22:08
Я уже сказал все, что считал необходимым сказать и получил те ответы, которые мне были нужны. Потому не считаю верным раздувать здесь дальше уже неконструктивную дискуссию. Плодотворной работы вашей команде. До папки 1/0 еще далеко, и хорошо, если благодаря вашим общим усилиям вся информация восстановится.
15.10.2010 в 22:10
15.10.2010 в 22:16
Сожалею, но крайне маловероятно.
15.10.2010 в 22:19
15.10.2010 в 22:21
было где-то здесь оговорено, что за дни без полноценной работы, плата взыматься не будет и будут сдвинуты сроки.
15.10.2010 в 22:26
нет, речь шла только о том, что сроки сервисов будут продлены или будет сделана компенсация
15.10.2010 в 22:30
15.10.2010 в 22:33
вы видите экономическую несправедливость в том, что сроки сервисов будут продлены или будет выполнена их компенсация?
15.10.2010 в 22:42
15.10.2010 в 22:44
И еще - если я сейчас новые аватары закачаю, мне компенсируют ту неделю, что я сидела вообще без них?
15.10.2010 в 22:53
И еще - если я сейчас новые аватары закачаю, мне компенсируют ту неделю, что я сидела вообще без них?
Присоединяюсь к вопросу!
15.10.2010 в 22:58
информацию про продление сервисов или их компенсацию (если сервисы закончатся раньше) я вам дал
решать за вас - что вам делать - не входит в мою компетенцию
NecRomantica Так должно быть?
да, в результате сегодняшних работ могла появиться возможность загрузки картинок
И если сейчас все начнут по новой заливать аватары, это не помешает вашему процессу копирования?
если только аватары и фоны (то есть - критичные для дизайна изображения), то не помешает
но все остальные картинки до завершения работ лучше закачивать на сторонние хранилища
если я сейчас новые аватары закачаю, мне компенсируют ту неделю, что я сидела вообще без них?
да, как владельцу платного аккаунта вам продлят действие сервисов
15.10.2010 в 23:19
*неделю я пробыла с цссом, да xD*
15.10.2010 в 23:28
Аналогично... И как нам так особо повезло?!
15.10.2010 в 23:28
15.10.2010 в 23:32
15.10.2010 в 23:38
15.10.2010 в 23:43
конечно, вернутся. но раньше, если вы помните, можно было загружать новые аватары, если старые... ну там, надоели, например. вот сейчас мы вернули возможность загрузки новых аватар
Herba
я уточню по поводу вас
15.10.2010 в 23:51
15.10.2010 в 23:55