[Sysadmins] копирование данных 1 сервера на другой.

[Sysadmins] копирование данных 1 сервера на другой.

[Anton Gorlov]

Есть 1  сервер с довольно большим количеством мелких  файлов,к тому же 
ещё и сильно фрагментированных.
Общий объём данных порядка 600гб. Задача перенести данные на другой сервер.
Пробовал tar+netcat - скорость от 18мбит до 120-200...
rsync даёт примерно теже данные только ещё порой и отваливается.
dd+netcat - порядка 300-600 мбит, но с dd в данном случае плохо то,что 
он и фрагментированность сохранит.

А что  насчёт этого с dump+restore+netcat
сдерёт ли оно так же фрагментированнсть fs или нет?

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Kharitonov A. Dmitry]

17.08.2013 23:55, Anton Gorlov пишет:
> Есть 1  сервер с довольно большим количеством мелких  файлов,к тому же 
> ещё и сильно фрагментированных.
> Общий объём данных порядка 600гб. Задача перенести данные на другой 
> сервер.
> Пробовал tar+netcat - скорость от 18мбит до 120-200...
> rsync даёт примерно теже данные только ещё порой и отваливается.
> dd+netcat - порядка 300-600 мбит, но с dd в данном случае плохо то,что 
> он и фрагментированность сохранит.
>
> А что  насчёт этого с dump+restore+netcat
> сдерёт ли оно так же фрагментированнсть fs или нет?
rsync и большие объёмы перекидывал приходилось задавать --timeout= и 
--contimeout=

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Anton Gorlov]

19.08.2013 16:46, Kharitonov A. Dmitry пишет:
> rsync и большие объёмы перекидывал приходилось задавать --timeout= и 
> --contimeout= 
timeout задал фантастический.. не помогло.. да и ждать приходилось по >5 
часов...
а нужно хотя бы в 3 уложиться.. Вот думаю попробовтаь dd и следом defrag 
прогнать

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Andrey Liakhovets]

On Mon, 19 Aug 2013 17:40:42 +0400 Anton Gorlov wrote:
>19.08.2013 16:46, Kharitonov A. Dmitry пишет:
>> rsync и большие объёмы перекидывал приходилось задавать --timeout= и 
>> --contimeout= 
>timeout задал фантастический.. не помогло.. да и ждать приходилось по >5 часов...
>а нужно хотя бы в 3 уложиться.. Вот думаю попробовтаь dd и следом defrag прогнать

А скопировать большую часть данных заранее не получится?

Если только небольшая часть данных может измениться между предварительным
и окончательным копированием, и если при изменении данных файла меняется
его размер и/или timestamp, то rsync (без --checksum) будет очень хорош.

Андрей Ляховец

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Anton Farygin]

17.08.2013 23:55, Anton Gorlov пишет:
> Есть 1  сервер с довольно большим количеством мелких  файлов,к тому же
> ещё и сильно фрагментированных.
> Общий объём данных порядка 600гб. Задача перенести данные на другой сервер.
> Пробовал tar+netcat - скорость от 18мбит до 120-200...
> rsync даёт примерно теже данные только ещё порой и отваливается.
> dd+netcat - порядка 300-600 мбит, но с dd в данном случае плохо то,что
> он и фрагментированность сохранит.
>
> А что  насчёт этого с dump+restore+netcat
> сдерёт ли оно так же фрагментированнсть fs или нет?

ещё unison есть.

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Anton Gorlov]

18.10.2013 12:48, Anton Farygin пишет:
> ещё unison есть. 

Читаю..у него транспорт только ssh ?

Re: [Sysadmins] копирование данных 1 сервера на другой.

[Anton Gorlov]

19.10.2013 18:32, Anton Gorlov пишет:
> 18.10.2013 12:48, Anton Farygin пишет:
>> ещё unison есть. 
>
> Читаю..у него транспорт только ssh ? 
вопроc снимается - ещё есть rsh..

сейчас буду играться.. но вообще всё упирается в диски.. и 
фрагментированность :(