[devel] freesource.info -- новая политика резервирования

[devel] freesource.info -- новая политика резервирования

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 1599 bytes --]

В настоящий момент каждые 10 минут делается дамп SQL-базы и кладется в
файл. Дампа делается 3:
 - полный дамп;
 - дамп scheme;
 - дамп в формате XML (на всякий случай);

Дампы сжимаются bzip2 -9, в настоящий момент один снапшот занимает 25
мегабайт. Надолго харда у меня не хватит такое хранить :)

Ежесуточно ночью с помощью bontmia эти backup'ы копируются по сети на мою
рабочую машину.

Для желающих также гарантировать сохранность данных на f.i могу предложить
организовать в каком-либо виде пересылку зашифрованого моим gnupg ключом
дампа базы.

Объясняю почему зашифрованым -- некоторые пользуются возможностью закрыть
доступ к страницам "для всех" и используют свои персональные страницы как
некие "TODO", личные заметки и т.д.

Организация такой пересылки гарантирует:
1. что система резервирования работает (в случае если она не сработает
оператор такого дополнительного резервирования сможет увидеть что не
получает свежих дампов);
2. что в случае одновременной потери данных на сервере и на моей
персональной машине самые свежие дампы все равно будут храниться у кого-то
ещё, что позволит передать мне эти дампы и оперативно восстановить ресурс.

Соедующими шагами у меня будет:
 - вынос f.i на отдельную машинку;
 - поднятие клона f.i с r/o mode, который будет пользоваться
   синхронизированой с основной MySQL-базой;

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
[lioka] [n=lioka@ns.lioka.obninsk.ru] вышел из IRC: "leaving"
 * gvy . o O ( [lioka] убёг к [#11668] )

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] freesource.info -- новая политика резервирования

[Michael Shigorin]

On Tue, Sep 04, 2007 at 12:19:41PM +0400, Денис Смирнов wrote:
> В настоящий момент каждые 10 минут делается дамп SQL-базы и
> кладется в файл. Дампа делается 3:
>  - полный дамп;
>  - дамп scheme;
>  - дамп в формате XML (на всякий случай);
> Дампы сжимаются bzip2 -9, в настоящий момент один снапшот
> занимает 25 мегабайт. Надолго харда у меня не хватит такое
> хранить :)

Может, лучше каждые 1--3--12 часов, а то такое впечатление,
что дампилка со сжималкой слишком сильно грузят?

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [devel] freesource.info -- новая политика резервирования

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 853 bytes --]

On Tue, Sep 04, 2007 at 07:26:33PM +0300, Michael Shigorin wrote:

>> В настоящий момент каждые 10 минут делается дамп SQL-базы и
>> кладется в файл. Дампа делается 3:
>>  - полный дамп;
>>  - дамп scheme;
>>  - дамп в формате XML (на всякий случай);
>> Дампы сжимаются bzip2 -9, в настоящий момент один снапшот
>> занимает 25 мегабайт. Надолго харда у меня не хватит такое
>> хранить :)
MS> Может, лучше каждые 1--3--12 часов, а то такое впечатление,
MS> что дампилка со сжималкой слишком сильно грузят?

Это были именно они. Положение спас подход сначала дампить, а уж потом
сжимать. Если через пайп соединять -- тормоза получаются.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
Спасибо, конечно, но зачем вы мне предлагаете хаки?
		-- ldv in #8121

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] [ freesource.info -- новая политика резервирования

[Andrey Rahmatullin]

[-- Attachment #1: Type: text/plain, Size: 544 bytes --]

On Tue, Sep 04, 2007 at 12:19:41PM +0400, Денис Смирнов wrote:
> В настоящий момент каждые 10 минут делается дамп SQL-базы и кладется в
> файл.
Мда. По-моему, это показатель. Чего-то.  Ибо не от хорошей жизни.
Я, может быть, не в теме, но чему там вообще так часто падать?

> Дампы сжимаются bzip2 -9, в настоящий момент один снапшот занимает 25
> мегабайт. 
И чему там столько занимать?

-- 
WBR, wRAR (ALT Linux Team)
Powered by the ALT Linux fortune(8):

Рискую получить черный шар от ldv, но не удержусь.
		-- aen in devel@

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] freesource.info -- новая политика резервирования

[Igor Zubkov]

05.09.07, Денис Смирнов<mithraen altlinux.ru> написал(а):
> Это были именно они. Положение спас подход сначала дампить, а уж потом
> сжимать. Если через пайп соединять -- тормоза получаются.

За-nice-ить не поможет?

-- 
icesik

Re: [devel] freesource.info -- новая политика резервирования

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 677 bytes --]

On Wed, Sep 05, 2007 at 02:43:39PM +0300, Igor Zubkov wrote:

>> Это были именно они. Положение спас подход сначала дампить, а уж потом
>> сжимать. Если через пайп соединять -- тормоза получаются.
IZ> За-nice-ить не поможет?

Дело не в сжирании процессора. Дело как раз в том, чтобы процесс mysql
побыстрее завершился. А bzip2 отрабатывает долго, и поэтому mysql
блокируется на записи в пайп.

Когда я разнес их через временный файл сразу же полегчало.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
После очередного обновления самопроизвольно починилось :)
		-- mutabor in #6316

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [devel] [ freesource.info -- новая политика резервирования

[Денис Смирнов]

[-- Attachment #1: Type: text/plain, Size: 854 bytes --]

On Wed, Sep 05, 2007 at 11:57:19AM +0600, Andrey Rahmatullin wrote:

>> В настоящий момент каждые 10 минут делается дамп SQL-базы и кладется в
>> файл.
AR> Мда. По-моему, это показатель. Чего-то.  Ибо не от хорошей жизни.
AR> Я, может быть, не в теме, но чему там вообще так часто падать?

Дело не в частоте падения, а частоте обновления данных.
В идеале я хотел бы иметь вообще непрерывный бэкап.

>> Дампы сжимаются bzip2 -9, в настоящий момент один снапшот занимает 25
>> мегабайт. 
AR> И чему там столько занимать?

История. Ресурс сейчас реально большой. А хранятся там не diff'ы как в git
каком, там снапшоты каждого изменения.

-- 
С уважением, Денис

http://freesource.info
----------------------------------------------------------------------------
power надо вообще выкинуть - он obsoleted по жизни
		-- rider in #7979

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]