Администратор
23:12
Восстановление картинок
UPD 15 октября, 23:12
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
номер вашей папки — первая цифра числа в ссылке вашего профиля
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
13.10.2010 в 08:15
Спасибо, надеюсь, что так и будет.
13.10.2010 в 08:20
13.10.2010 в 08:24
13.10.2010 в 08:26
13.10.2010 в 08:34
13.10.2010 в 08:36
13.10.2010 в 08:37
До утра понедельника счетчики комментариев могли работать некорректно.
13.10.2010 в 08:38
13.10.2010 в 08:39
Почему-то сначала протупила (утро, ага), решила, что раз этот дневник я регистрировала не так давно, то и в первую папку попасть не должна. Потом дошло. Это мне за ёрничание в предыдущем посте про "всё беленькое, аккуратненькое". Вот поэтому, друзья, сохранять надо дизайны в отдельную папочку на компе, и аватарки тоже. Я вот не волнуюсь.
Дорогая администрация, я вас люблю. Вы прекрасные, чертовски много для нас делаете, а дневники - самые лучшие блоги. "Неприятность эту мы переживём" (напевает)
13.10.2010 в 08:39
В понедельник все счетчики починили.
13.10.2010 в 08:42
13.10.2010 в 08:48
Тартан Вот поэтому, друзья, сохранять надо дизайны в отдельную папочку на компе, и аватарки тоже. - у меня всё так(хе-хе). Я больше волновалась за информацию в тексте(посты), чем за images.)
13.10.2010 в 08:48
13.10.2010 в 08:49
13.10.2010 в 08:56
ну так с постами ничего вроде бы и не случилось, всё на месте.
13.10.2010 в 08:58
13.10.2010 в 09:00
это значит, что я не могу загрузить аватар и через "URL картинки в Интернете"?
13.10.2010 в 09:02
ну..между тем у меня он сбился сегодня ночью-утром)
но это уже мелочи...))
и спасибо за поднятый диз и т.д.)))))))
13.10.2010 в 09:09
13.10.2010 в 09:16
13.10.2010 в 09:20
13.10.2010 в 09:34
13.10.2010 в 09:42
Пока не закончится ремонт - да.
13.10.2010 в 09:42
представляю какой у вас там аврал и гемор...
но уверен - все будет отлично!!! проблемы решатся, причины проанализируются и все заработает лучше чем было!!!
удачи вам!!!
13.10.2010 в 09:44
Компьютеры иногда имеют обыкновение ломаться, вне зависимости от усилий по налаживанию "адекватной работы".
13.10.2010 в 09:48
13.10.2010 в 09:55
Кому здесь хорошо, тот с пониманием относится к форс-мажорам. И вообще, мы юзеров здесь силой не держим, каждый недовольный в праве уйти на другую блог-площадку.
13.10.2010 в 09:56
Мне все равно, в какую папку я попала, даже если картинки пропадут, я всегда могу накачать новых, главное - чтобы восстановилась нормальная работоспособность сайта
Спасибо администрации за подробные объяснения происходящего!
13.10.2010 в 10:03
13.10.2010 в 10:04