Восстановление картинок

[Diary Spirit]

UPD 15 октября, 23:12

Сегодня мы решили осторожно попробовать возможность загрузки картинок. Не стали это объявлять, чтобы не создавать пиковую нагрузку и в надежде на то, что некоторые пользователи сами обнаружат это и попробуют. Так оно и случилось. Сегодня кое-кто загружал картинки в БИ, и наблюдения показывают, что это в принципе возможно, но массовая закачка в том объеме, как это было до падения, не желательна.

Поэтому мы настоятельно (очень!) просим стараться закачивать картинки на сторонние сервисы, а в дневники - только если уж совсем необходимо. Критичные для дизайнов изображения (аватары и фоны) можно заливать без ограничений - они мало весят.

Если наши сервера без выделенного массива не будут тянуть добавляемые вами картинки, то их загрузку снова придется отключить.

Папки 2, 3 и 4 - скопировались полностью. Сейчас копируются 5/5, 6/3 и 7/1.

- - -
UPD 14 октября, 15:00
Папка 2 скопирована полностью.
Сейчас копируется 4/9 и 3/8 — то есть, 4-я и 3-я папки на подходе к завершению.
Запустили копирование 5-й папки.

- - -
В предыдущей записи исчерпан лимит комментариев, а увеличить мы его пока не можем, так как все еще нет полного доступа к скриптам. Поэтому делаем новую запись, в которой продолжим информировать вас о ходе работ после аварии на файловом массиве static.diary.ru.

Сейчас идет постепенное восстановление вашего виртуального имущества. Уже появились счетчики обновлений, дизайны, CSS, RSS дневников и сообществ. Осталось самая объемная часть рухнувшего "Статика" — изображения, числом более 50 млн. штук. Их мы сейчас и копируем в фоновом режиме. Из-за этого сайт тормозит; иногда не работает, так как нам приходится что-то переключать; иногда падает, так как обращение к массиву приходится на его сбойную часть.

Файловая система массива устроена так.
На нем созданы папки верхнего уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из этих папок — еще по 10 папок второго уровня с именами: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 третьего уровня: 0 1 2 3 4 5 6 7 8 и 9.
В каждой из них — еще по 10 четвертого уровня: 0 1 2 3 4 5 6 7 8 и 9.
Итого — 10 тысяч папок.

В последних и создаются папки пользователей. Каждый пользователь имеет уникальный номер UserID, который присваивается ему при регистрации и который нельзя изменить. Картинки пользователя хранятся в его папке, путь к которой определяется этим идентификатором. Например, по профилю пользователя  Diary Spirit — www.diary.ru/member/?4733 можно вручную написать путь к его папке: http://static.diary.ru/userdir/4/7/3/3/4733/.
И наоборот, по картинке в БИ — http://static.diary.ru/userdir/4/7/3/3/4733/29370653.gif — можно прочитать его UserID=4733.

Другими словами, выше было написано, что

номер вашей папки — первая цифра числа в ссылке вашего профиля

За время копирования выяснилась пока лишь одна проблема — не копируется какая-то часть папки верхнего уровня с номером "1", точнее даже — 1/0. При обращении к ней сайт зависает. Мы пока отложили проблемную папку целиком и займемся ею в последнюю очередь. У всех пользователей, кто в нее попал, картинки появятся в последнюю очередь и, самое неприятное, что может что-то не прочитаться. Но паниковать пока рано.

Папка верхнего уровня с именем "0" скопирована полностью. Папки 2, 3 и 4 — копируются в настоящий момент (пошли вторые сутки). Как только с ними будет закончено, начнется копирование следующих. Всего скопировано около 15 млн. файлов из 50 млн. Но копирование не идет непрерывно. Иногда приходится его искусственно притормаживать или даже совсем останавливать, иначе пользоваться сайтом станет просто невозможно.

Такие дела.

запись создана: 13.10.2010 в 01:54

Comments

[IrinaEjick]

Помогите, плиз, что случилось с картинками в БИ?
и в самом дневнике?

[semiautomagic]

Тартан
специально для вас... пишется etc, ибо et cetera

[Тартан]

semiautomagic извините, уже крыша потихоньку едет, сейчас исправлю

[semiautomagic]

IrinaEjick
а прочитать сам пост вы не можете, м?)


Тартан

[DGhost]

Души романтиков
А у вас выражение "навязанная услуга" ассоциируется только с приставленным к горлу ножом?
Я не хочу чтобы в моем дневнике мелькали баннеры. А потому вынужден платить за него.
Но не в этом дело на самом деле. Вопрос в другом. Если реклама на сайте не играет решающей роли - нет смысла настолько затягивать восстановление информации, не отключая при этом сайт.

[Quanda]

Темный призрак

Если реклама на сайте не играет решающей роли - нет смысла настолько затягивать восстановление информации, не отключая при этом сайт.

уже сотню раз повторили, что сайт не отключают не из-за рекламной прибыли, а для удобства пользователей, которые предпочитают пользоваться дайри без картинок, чем не пользоваться им вообще несколько дней.

[Тайя.]

Тартан, ух ты))) Теперь всем страждущим можно просто отвечать урлом вашего комментария))) Правда все равно не поможет))

[Мей Подколодный]

Темный призрак, скажите, а Вы знаете о существовании баннерорезок? Тогда можно и не платить за аккаунт, а рекламы не будет.

[Тайя.]

Темный призрак

Я не хочу чтобы в моем дневнике мелькали баннеры

Баннерорезка?

[DGhost]

Она улыбчивый ангел...
Те кто выступают за остановку сайта и быстрый слив информации - тоже пользователи этого сайта. Неожиданно, правда?

Души романтиков
Расширения для браузеров. Например, Adblock Plus.

[ArLe]

Темный призрак что-то - это лучше, чем ничего. Какую-то часть расходов реклама покрывает.

[Quanda]

Темный призрак я имела в виду, что реклама не имеет никакого отношения к остановке/работе сайта

[Кимико Д. Ламер]

Kookaburra Хм. Наверное.)
Темный призрак, Она улыбчивый ангел..., вы ж понимаете, что в итоге всё так и будет, сайт отключать пока никто не планирует. Предлагаю вам остановиться на этом, дабы не перейти каким-то ни было образом в более конфликтное положение. Удовлетворитесь, пожалуйста, тем, что вы все правы, неправых нет, и разойдитесь.

[ArLe]

semiautomagic да, или продлим, или зачислим деньги за "пропущенные" дни. Пока я точно не знаю, что именно будет сделано.

Да, платные сервисы помогают в окупании.

[DGhost]

[Мей]
Я знаю о существовании баннерорезок. Меня не устраивает этот вариант. Еще вопросы?

Души романтиков
Для вас тот же ответ.

Она улыбчивый ангел...

я имела в виду, что реклама не имеет никакого отношения к остановке/работе сайта

Со стороны ArLe только что прозвучало подтверждение, что все не так как вы думаете. )

[Арис]

что-то - это лучше, чем ничего. Какую-то часть расходов реклама покрывает

ArLe
И не малую часть, иначе в ней нет никакого смысла. И ни один владелец, не станет ставить ее у себя, если она коммерчески не выгодна. В этом нет ничего зазорного, я не понимаю, почему об этом так сложно сказать прямо, что бы вопросов не возникало лишних? Вопрос рекламы-вопрос финансового состояния сайта, тут все экономически грамотны, я надеюсь. И все сразу становится предельно ясным.

я имела в виду, что реклама не имеет никакого отношения к остановке/работе сайта

Она улыбчивый ангел...

Я так не думаю.

[semiautomagic]

ArLe
оу... вот зачисление это как-то стрёмнее звучит.. и сложнее. но это только звучит
а подскажите, имеет смысл вот сейчас отключить платные сервисы? (у меня папка 8/1)

[ArLe]

Арис да, реклама никакого отношения ни к чему, что на данный момент происходит, не имеет.

С вашего позволения, я не буду обсуждать с вами планирование бюджета ресурса.

[Арис]

ArLe

А я разве просила обсуждать со мной планирование? Я честно плачу за свой дневник, что бы не видеть никаких рекламных баннеров, и хочу получить комфортную работу сервиса. Без зависания и с аватарами. И получить хочу скорей, поэтому и говорила, что я за остановку сайта, ради экономии времени.
Более того, я прекрасно знаю, что в моменты копирования, лишние действия могут привести к потере данных. Разумеется, этому можно придумать потом оправдание, но факт этой самой потери, не изменится. Мы уже не знаем, что с этой самой папкой 1/0, и почему произошло то самое зависание, при ее копировании на новые диски.

И простите, но да, я не верю в то, что тут идет забота об интересах пользователей. Предпочитаю услышать правду о том, что в коммерческих интересах, сайт продолжает работу. Причем это пояснение я пойму, и приму без всяких дополнительных вопросов.

[нос]

Успокойтесь, никто сайт закрывать не станет, это ж рекламодателям надо будет деньги возвращать.

 $аленая как море, у нас сейчас нет такой рекламы.
Та, которую вы видите, это выкуп "по-дешевке" двумя баннерными системами так называемого "остаточного трафика", который не продан. И которого сейчас 100%

[ArLe]

Арис вы предпочитаете услышать правду или

правду о том, что в коммерческих интересах, сайт продолжает работу.

? Первое я вам уже сказала. Верить мне или нет - ваше дело.

Просто в шоке с людей.
Реклама не окупает - но если помогает в какой-то мере, почему бы и не быть?
Вы удивитесь, но даже такие масштабные проекты как дайри редко когда приносят прибыль. Все что делают админы - пытаются не остаться с дырой в кармане стараясь на благо нашего удовольствия.

[Кимико Д. Ламер]

Вы удивитесь, но даже такие масштабные проекты как дайри редко когда приносят прибыль.

- всё, что делаются вхаляву, кому-то часто бьет по карману. Я вообще таким проектам поражаюсь из-за того, что мне трудновато представить, с чего тут можно получать деньги.) Мда уж, тут, считай, халявы - не хочу (про дайри), а люди все равно находят, на что жаловаться. Т.т

[нос]

-

а возмещение какое-то будет? тут где-то проскальзывало, что на платных дневниках потом добавят все дни, что не было дизайна и аватарок (7 дней получается)

-

компенсируете стоимость? продлите действие на срок этих дней?

Восстановление еще не закончено полностью, поэтому мы не знаем, на какой срок продлевать оплату сервисов. Допустим, продлим на 7, а потом придется продлевать еще на 3, потом еще... Давайте уже дождемся окончания и всем вернем долги с бонусом.

[Арис]

ArLe

Такое обоснование ласкает чувство собственной значимости пользователей, но это не говорит о том, что оно является правдой, в наш во всем зависящий от денег век. Поэтому предпочту свою версию, уж простите.

Нелицеприятное

Вот прочла все 27 страниц - из чистого мазохизма, видимо, и поняла несколько вещей.
Первое. Администрации нужно не просто памятник ставить или молоко давать за вредность. Им после обвала и последующего отката общественности премия положена, ибо...
...второе. а) чукча не читатель. чукча писатель. Это про многих. б) мне на всех нас*ать, главное, дайте мне посчитать чужие деньги. Это про избранных. в) без картиног мне жизнь не мила, дайте мне все и сразу. Сразу же... Как это не дадите? ааааааа... *истерика*. Это про терпеливых и неизбалованных. г) выключите все к черту, пофик, что у кого-то уже все нормально или ему тут что-то может быть нужно, работа, например. Это про борцов за справедливость.

Блин, кунсткамера какая-то... Хорошо хоть, что таких (б, в, г) в разы меньше, чем адекватных. Они нервируют...

Если вдруг что - пользователь 1-0. Терпим, ждем и не жужжим. И все понимаем, админы. Спасибо за сайт и за вашу работу.

[Эллаирэ]

Арис, приведите мне хоть одну причину,по которой ваши указания, как быть владельцам сайта, должны приниматься во внимание в ущерб десяткам тысяч пользователей?

[Кимико Д. Ламер]

spanja Свой человек.) Реально напрягает такой народ. Хотя тех, кто задает одно и то же,отношусь нормально - отвечать не лень. А вот про борцов и т.п...это да.

[Арис]

Эллаирэ

Я не давала указаний, и уж тем более не предлагала их принимать. Я просто хочу услашать правду от администрации о рекламе. Я совершенно не считаю зазорным то, что реклама на сайте приносит прибыль владельцам. Было бы странно, если бы она ее не приносила или отсутствовала напрочь. А мне тут утверждают обратное. Простите, но мне не нравится, когда меня выставляют дурочкой. Это собственно и вся просьба. А предложение об остановке сайта, было лишь предложением, воимя того, что бы информация, которую сейчас копируют, максимально сохранилась, и все скорей вернулось в нормальный режим работы.