Администратор
23:12
Восстановление картинок
UPD 15 октября, 23:12
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.
Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.
Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.
Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.
- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.
- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.
Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.
Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.
В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.
Другими словами, выше было написано, что
номер вашей папки — первая цифра числа в ссылке вашего профиля
За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.
Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.
Такие дела.
13.10.2010 в 13:35
*вздохнула* я даже не удивлена, что мне так "повезло".
13.10.2010 в 13:43
13.10.2010 в 13:55
спасибо. Я уже начал нервничать))
13.10.2010 в 14:14
На всякий:
У меня - 1005957, но я вижу аватары и картинки, являющиеся элементом дизайна
13.10.2010 в 14:16
Безгранично верю в Вас.
13.10.2010 в 14:16
На графике Ли.ру видно, что с 14:00 до 1 ночи нагрузка возрастает выше 2000 просмотров страниц в минуту и копирование начинает заметно тормозить просмотр страниц и добавление записей и комментариев. Поэтому С 14 часов до 1 часа ночи скорость копирования существенно понижается и идет с низким приоритетом, чтобы не сильно мешать работе сайта.
www.liveinternet.ru/stat/diary.ru/mins.html
13.10.2010 в 14:20
13.10.2010 в 14:20
Я в папке 2 (точнее, в 2/8) но ничего нет. Или не в ней? О.о
13.10.2010 в 14:21
13.10.2010 в 14:22
13.10.2010 в 14:28
13.10.2010 в 14:29
Папка 1/0 восстанавливалась ведь до тех пор, пока не начала сбоить. Какая-то часть пользователей восстановилась и вы в том числе, остальные пока отложены.
13.10.2010 в 14:32
В БИ смотрели? Там полно картинок.
А в дневнике — полно дизайна ))
Тут www.diary.ru/options/member/?avatar — 115 аватаров.
Обновите ctrl+f5 или так http://petenshi.diary.ru/?nocache=1
Или почистите кэш браузера.
13.10.2010 в 14:33
13.10.2010 в 14:35
Неделя, возможно, меньше.
13.10.2010 в 14:35
Спасибо!
Желаю удачи в восстановлении остального массива, и шоб ваши винчестеры были здоровы!
13.10.2010 в 14:36
Спасибо)
Значит, я на очереди))
13.10.2010 в 14:37
в принципе, это не так уж и много) работает - уже хорошо!
вы всё равно молодцы, ящетаю. А ведь могли нафиг сайт обрубить, пока работы ведутся))
13.10.2010 в 14:37
Все, теперь заметил) Просто сначала два баннера в эпиграфе из БИ не догрузились)
13.10.2010 в 14:40
Diary Spirit немного поспешил сказать, что "2-я полностью". Она скопирована ПОЧТИ полностью ))) Ваша 2/8 как раз в процессе.
13.10.2010 в 14:42
13.10.2010 в 14:46
Если честно, не понимаю, за что так хвалят и благодарят админов? Если не ошибаюсь, это их работа, их прямая обязанность. Да простят меня админы, никого не хочу обидеть, просто не понимаю, какой смысл рассыпаться в комплиментах за то, что само собой разумеется.
13.10.2010 в 14:47
Но судя по всему мне повезло и с папкой, и с оформлением дневника и с тем, что у меня вообще есть дневник.
А сколько в мире бедолаг, которых нет даже в папке 1!
Ждущим - удачи и терпения. Все будет! 8)
13.10.2010 в 14:47
Почитайте страницу выше хотя бы...
_.shu._
Но судя по всему мне повезло и с папкой, и с оформлением дневника и с тем, что у меня вообще есть дневник.
Ваш ID - 27154
13.10.2010 в 14:52
13.10.2010 в 14:56
Имелось ввиду, что он раньше был в адресной строке, как меня тут убеждали знакомые.
Похоже у меня тоже в голове какие-то папки пострадали 8) И сильно. Обязательно проверю HDD!
ave_2006
Ох-ох.. Я блондинко..... 8)
13.10.2010 в 14:58
13.10.2010 в 14:58
Например, адрес «фото» дневника у меня static.diary.ru/userdir/1/3/2/5/1325247/5226819... Я правильно понял, что я в папке 1/3? Значит ли это, что мне ждать не до самого конца?
13.10.2010 в 15:00
Дизайн дневника я тоже вижу - обновите ctrl+F5 или почистите кэш.
13.10.2010 в 15:03
(Кроме собственных мозгов временами - собственно ака HDD внутри головы)