Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[Кимико Д. Ламер]

Angrem Продлят, но следующую оплату, если вы платить должны сейчас. Не волнуйтесь - всё учтят после полного восстановления. Пока ничего дельного сказать нельзя.

[Angrem]

Кимико Ламер
Понятно. Спасибо большое.

[DGhost]

Кимико Ламер

чего сейчас-то хотите? Мне просто интересно)

Наблюдаю за администрацией и прочей публикой. Это забавно.

[Кимико Д. Ламер]

Темный призрак Ака ученый на мышек О_о Правда, мне сразу неуютно стало...кажется, что мысли относительно меня у вас не слишком хорошие)паранойя наверное.)

Хм. У вас все восстановилось что ли?О_о просто в профиле (извините, если что не так и лажу куда не надо) аватарка есть. О.о

[Иней.]

Темный призрак тема не для этого создана.

[DGhost]

Кимико Ламер
Нет не восстановилось. Эта аватара была вчера самовольно загружена в качестве эксперимента.

Иней.

тема не для этого создана.

Не для чего конкретно?

[Иней.]

Темный призрак не для флуда, разговоров не по теме и уж тем более не для "наблюдения за администрацией и прочей публикой ради забавы"

[~Дезире~]

спасибо вам)))

[Чёрная весна]

Послушайте, а то, что у меня в ID первая цифра "1" значит, что до меня дело дойдет в последнюю очередь, да? Извините за стопяцот раз задаваемый вопрос, просто не разбираюсь в этом)

[DGhost]

Иней.
Тут флуда уже почти на 2000 комментов и без моих стараний. Предлагаю обратиться ко всем флудерастам в одном посте и объяснить всем свое недовольство.

уж тем более не для "наблюдения за администрацией и прочей публикой ради забавы"

Чем аргументируете?

[Мей Подколодный]

в банке кока-колы, а Вы попробуйте разобраться. Это несложно. В посте выше всё написано.

[Мей Подколодный]

в банке кока-колы, а Вы попробуйте разобраться. Это несложно. В посте выше всё написано.

[Иней.]

Темный призрак а вы пишите мне в ЛС, а не сорите тут дальше, и я вам что угодно объясню.

[Кимико Д. Ламер]

в банке кока-колы Да.) но ваш 1/7 лучше, чем 1/0.)

[Чёрная весна]

[Мей],

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Вы об этом, да?

[Чёрная весна]

Кимико Ламер, а чем лучше? оО
Со мной расквитаются быстрее, чем с 10ххх..?)

[DGhost]

Иней.

Вы обратились ко мне в треде. Не вижу смысла отвечать в умыле.

[Кимико Д. Ламер]

в банке кока-колы Да.)

[нос]

а мой дизайн так и не появился....и новый не поставить((((
Leyu, у вас показывается тот дизайн, который установлен в настройках - www.diary.ru/options/diary/?designlib
Картинки и аватары тоже на месте. Что же вам не так?
Если вы не можете сами, давайте я вам для доказательства поставлю новый произвольный дизайн.

[Чёрная весна]

И мне поставьте))) С CSS кодами, ага)))

[Ролли Фостер]

6/6 еще не копировали?) А то по времени вроде как уже должно, но аватарок и дизайна пока что нет.

[нос]

в банке кока-колы, для 1-й папки установка дизайна пока не гарантирована.

[нос]

Ролли Фостер, не могу сказать пока. Как только будет информация, мы напишем.

[Ролли Фостер]

нос Ок, спасибо. Ждем обновлений.

[Чёрная весна]

нос, печалька.. Ждем)

[iDovakiin]

Про рекламу. Реклама не окупает даже близко стоимости поддержания ресурса. Кто не верит, заведите себе одностраничный сайт с рекламой и попробуйте за год заработать на ней хотя бы на пару кроссовок.

Неправда ваша. У вас реклама стоит в каждом бесплатном дайрике, то бишь уже не одна страница. А расценки я знаю. У меня со средней цены партнерки на сайте с посещаемостью в 4 тыщи в день на новые кроссовки за 2 месяца набирается.

[Sammie.]

я вижу что у людей в 9 папке уже есть аватары, но за нас до сих пор не принялись?

[Тартан]

malkavienne они могли загрузить новые. Сейчас включена (посмотрите в самом верху поста) загрузка картинок в БИ

[нос]

А расценки я знаю.

Марик, как вы можете столь уверенно говорить "Неправда ваша"? Вы уличаете нас во лжи? Вы, что видели наши договоры? Вы знаете, чьи баннеры, сколько и почем у нас показываются?
Может, вы знаете и расходы — сколько мы тратим в месяц на хостинг, зарплату, налоги и прочее? Ну-ка, умножьте затраты на свой сайт на сколько-нибудь — вы же так привыкли считать? ))
Вы сейчас напоминаете того "знатока музыки" из анекдота, который говорил, — Битлз, Битлз... Ерунда ваш Битлз. Я знаю, что говорю — Рабинович напел пару песен.
Эх, Марик )) Человек, который разбором своих жалоб на многочисленных обидчиков отобрал у администраторов времени на сумму большую, чем стоит ящик кроссовок. Надо бы заставить вас ответить за свои слова, но портить карму не хочется. Дай вам бог счастья.

[Sammie.]

понятно)
жаль что я не могу загрузить новые, тк для этого надо что-то удалить, а то что у меня там загружено, этого нет на моем харде, и я не увижу что удаляю