[Comm] Argument list too long

[Comm] Argument list too long

[Artem Zolochevskiy]

hi all

а как поступают в таких случаях?

хочу скопировать _много_ файлов
к примеру
cp /opt/cache/archives/*.rpm /tmp/
а получаю Argument list too long
как принято такие вещи обходить?

-- 
Artem Zolochevskiy
Kaliningrad, Russia
JID: az@jabber.org

Re: [Comm] Argument list too long

[Eugene Suchkov]

В сообщении от 3 ноября 2006 09:50 Artem Zolochevskiy написал(a):
> hi all
>
> а как поступают в таких случаях?
>
> хочу скопировать _много_ файлов
> к примеру
> cp /opt/cache/archives/*.rpm /tmp/
> а получаю Argument list too long
> как принято такие вещи обходить?

find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;

-- 
WBR 
Eugene Suchkov

Re: [Comm] Argument list too long

[Evgenii Terechkov]

Eugene Suchkov пишет:

>> хочу скопировать _много_ файлов
>> к примеру
>> cp /opt/cache/archives/*.rpm /tmp/
>> а получаю Argument list too long
>> как принято такие вещи обходить?
> find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;

Я правильно понимаю, что этот способ ЧУДОВИЩНО неэффективен? Ведь на каждый
файл (а их много) запускается отдельный процесс cp. Знает ли кто-нибудь
альтернативу, учитывающую максимальный размер списка аргументов шелла и
запускающую необходимый минимум процессов? Это возможно?

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Comm] Argument list too long

[Denis G. Samsonenko]

Привет!

03.11.06, Evgenii Terechkov написал:
> >> хочу скопировать _много_ файлов
> >> к примеру
> >> cp /opt/cache/archives/*.rpm /tmp/
> >> а получаю Argument list too long
> >> как принято такие вещи обходить?
> > find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;

man xargs

вот примерно так, как в примерах:

find /tmp -name core -type f -print | xargs /bin/rm -f
find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
cut -d: -f1 < /etc/passwd | sort | xargs echo

-- 
Всего доброго,

Денис.

Re: [Comm] [OBORONA-SPAM] Re: Argument list too long

[Alexey Novikov]

On Fri, Nov 03, 2006 at 02:35:49PM +0700, Evgenii Terechkov wrote:
> Eugene Suchkov пишет:
> 
> >> хочу скопировать _много_ файлов
> >> к примеру
> >> cp /opt/cache/archives/*.rpm /tmp/
> >> а получаю Argument list too long
> >> как принято такие вещи обходить?
> > find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;
> 
> Я правильно понимаю, что этот способ ЧУДОВИЩНО неэффективен? Ведь на каждый
> файл (а их много) запускается отдельный процесс cp. Знает ли кто-нибудь
> альтернативу, учитывающую максимальный размер списка аргументов шелла и
> запускающую необходимый минимум процессов? Это возможно?

man xargs

-- 
WBR, Alexey Novikov
JIT: alex-novikov@jabber.ru

Re: [Comm] Argument list too long

[Eugene Ostapets]

03.11.06, Artem Zolochevskiy<az zolochevskie.net> написал(а):
> hi all
>
> а как поступают в таких случаях?
>
> хочу скопировать _много_ файлов
> к примеру
> cp /opt/cache/archives/*.rpm /tmp/
А так?
cp '/opt/cache/archives/*.rpm' /tmp/
> а получаю Argument list too long
> как принято такие вещи обходить?
Принято экранировать от слишком умных шелов строки с вилдкардами:)
-- 
С уважением,
Евгений Остапец
uin: 23747217
jid: eugene_ostapets@jabber.ru

Re: [Comm] Argument list too long

[Evgenii Terechkov]

"Denis G. Samsonenko" пишет:

>> >> хочу скопировать _много_ файлов
>> >> к примеру
>> >> cp /opt/cache/archives/*.rpm /tmp/
>> >> а получаю Argument list too long
>> >> как принято такие вещи обходить?
>> > find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;

> man xargs

Читаю. Но не читав до этого и зная всего лишь о "-0" и так активно
пользовался.

> вот примерно так, как в примерах:
> find /tmp -name core -type f -print | xargs /bin/rm -f
> find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
> cut -d: -f1 < /etc/passwd | sort | xargs echo

Вы про

       --max-chars=max-chars, -s max-chars
              Use at most max-chars characters per command line, including the
              command and initial arguments and the terminating nulls  at  the
              ends of the argument strings.  The default is as large as possi-
              ble, up to 20k characters.
?

Т.е. я, например, хочу чтобы "find /var/cache/apt/archives -type f
-print0|xargs -0 rm -f" вылилось в вызов минимального количества процессов
rm, у каждого из которых максимально длинный список аргументов. Это оно и
есть (я просто уже забыл, сколько там этот лимит. 20к?)?

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Comm] Argument list too long

[Denis G. Samsonenko]

Привет!

03.11.06, Evgenii Terechkov написал:
> > man xargs
>
> Читаю. Но не читав до этого и зная всего лишь о "-0" и так активно
> пользовался.
>
> > вот примерно так, как в примерах:
> > find /tmp -name core -type f -print | xargs /bin/rm -f
> > find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
> > cut -d: -f1 < /etc/passwd | sort | xargs echo
>
> Вы про
>
>        --max-chars=max-chars, -s max-chars
>               Use at most max-chars characters per command line, including the
>               command and initial arguments and the terminating nulls  at  the
>               ends of the argument strings.  The default is as large as possi-
>               ble, up to 20k characters.
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
>
> Т.е. я, например, хочу чтобы "find /var/cache/apt/archives -type f
> -print0|xargs -0 rm -f" вылилось в вызов минимального количества процессов
> rm, у каждого из которых максимально длинный список аргументов. Это оно и
> есть (я просто уже забыл, сколько там этот лимит. 20к?)?

Там же в мане прямо так и написано. Т.е., на сколько я понимаю, просто
не задавать этот параметр, и он будет разбивать исходный список
аргументов на максимально возможные строки и скармливать их следующей
команде по очереди.

Вроде бы это удовлетворяет аостановке задачи?

-- 
Всего доброго,

Денис.

Re: [Comm] Argument list too long

[Evgenii Terechkov]

"Denis G. Samsonenko" пишет:

> Там же в мане прямо так и написано. Т.е., на сколько я понимаю, просто
> не задавать этот параметр, и он будет разбивать исходный список
> аргументов на максимально возможные строки и скармливать их следующей
> команде по очереди.

Я тоже так понимаю. Просто для меня секция общего описания логики xargs
(ближе к началу) не совсем прозрачна. Но теперь полегчало. :-)

> Вроде бы это удовлетворяет аостановке задачи?

Да.

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Comm] Argument list too long

[Artem Zolochevskiy]

Denis G. Samsonenko wrote:

> man xargs
> 
> вот примерно так, как в примерах:
> 
> find /tmp -name core -type f -print | xargs /bin/rm -f
> find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
> cut -d: -f1 < /etc/passwd | sort | xargs echo
> 

ммм... а как же применять этот xargs вкупе с cp ? Для cp ведь нужно SOURCE и
DEST. Что-то не пойму...

-- 
Artem Zolochevskiy
Kaliningrad, Russia
JID: az@jabber.org

Re: [Comm] Argument list too long

[Kostarev Alexey]

[-- Attachment #1: Type: text/plain, Size: 343 bytes --]

Artem Zolochevskiy wrote:

>hi all
>
>а как поступают в таких случаях?
>
>хочу скопировать _много_ файлов
>к примеру
>cp /opt/cache/archives/*.rpm /tmp/
>а получаю Argument list too long
>как принято такие вещи обходить?
>
>  
>
Возможен вариант:
find  /opt/cache/archives/ -name '*.rpm'  -exec cp \{\} /tmp \;

-- 
С Уважением
Костарев А.Ф.


[-- Attachment #2: kaf.vcf --]
[-- Type: text/x-vcard, Size: 202 bytes --]

begin:vcard
fn:Alexey Kostarev
n:Kostarev;Alexey
org:Nevod Ltd.
adr:;;;Perm;;;Russia
email;internet:kaf@nevod.ru
tel;work:(3422) 196-960 
url:http://www.nevod.ru/nevod/staff/kaf/
version:2.1
end:vcard

Re: [Comm] Argument list too long

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 736 bytes --]

On Fri, Nov 03, 2006 at 11:34:31AM +0200, Artem Zolochevskiy wrote:
> Denis G. Samsonenko wrote:
> 
> > man xargs
> > 
> > вот примерно так, как в примерах:
> > 
> > find /tmp -name core -type f -print | xargs /bin/rm -f
> > find /tmp -name core -type f -print0 | xargs -0 /bin/rm -f
> > cut -d: -f1 < /etc/passwd | sort | xargs echo
> > 
> 
> ммм... а как же применять этот xargs вкупе с cp ? Для cp ведь нужно SOURCE и
> DEST. Что-то не пойму...

Как раз для этого у cp из GNU coreutils есть опция -t (--target-directory).
Если нужно ограничиться только возможностями POSIX, можно использовать
что-то вроде |xargs sh -c 'cp "$@" target/' (если нужно $target, придётся
ещё добавлять обработку специальных символов).

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] Argument list too long

[Yura Kalinichenko]

03.11.06 у 09:35 Evgenii Terechkov у своєму листі писав(ла):

> Eugene Suchkov пишет:
>
>>> хочу скопировать _много_ файлов
>>> к примеру
>>> cp /opt/cache/archives/*.rpm /tmp/
>>> а получаю Argument list too long
>>> как принято такие вещи обходить?
>> find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;
>
> Я правильно понимаю, что этот способ ЧУДОВИЩНО неэффективен? Ведь на каждый
> файл (а их много) запускается отдельный процесс cp. Знает ли кто-нибудь
> альтернативу, учитывающую максимальный размер списка аргументов шелла и
> запускающую необходимый минимум процессов? Это возможно?
>

cd /opt/cache/archives ; find  . -name "*.rpm" | cpio -p --make-directories --verboose /tmp

-- 
Yura Kalinichenko

Re: [Comm] Argument list too long

[Arkadiy Pavlik]

В сообщении от Пт 03 ноя 2006 18:09 Eugene Ostapets написал(a):

> > а как поступают в таких случаях?
> >
> > хочу скопировать _много_ файлов
> > к примеру
> > cp /opt/cache/archives/*.rpm /tmp/
>
> А так?
> cp '/opt/cache/archives/*.rpm' /tmp/

# ls '/var/spool/amavis/quarantine/spam-*'
ls: /var/spool/amavis/quarantine/spam-*: Нет такого файла или каталога

хотя:

# ls /var/spool/amavis/quarantine/spam-*
-bash: /bin/ls: Слишком длинный список аргументов

> > а получаю Argument list too long
> > как принято такие вещи обходить?
>
> Принято экранировать от слишком умных шелов строки с вилдкардами:)

эээ... мысль хорошая, только вот как??? я, с горя, :) чего только не 
перебровал и просто апострофы, и кавычки, и с бэк-слэшами, и без оных, всё 
одно либо длинный список либо нет такого файла... чего я не так делаю?

ааа... да:

# bash --version
GNU bash, version 3.1.17(1)-release (i586-alt-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc

-- 
С уважением,
Павлик Аркадий Алексеевич

Re: [Comm] Argument list too long

[Evgenii Terechkov]

Arkadiy Pavlik пишет:

>> А так?
>> cp '/opt/cache/archives/*.rpm' /tmp/
> # ls '/var/spool/amavis/quarantine/spam-*'
> ls: /var/spool/amavis/quarantine/spam-*: Нет такого файла или каталога
> # ls /var/spool/amavis/quarantine/spam-*
> -bash: /bin/ls: Слишком длинный список аргументов
...
>> Принято экранировать от слишком умных шелов строки с вилдкардами:)

Жень, вилкарды шеллами же и обрабатываются. Если их прятать/экранировать,
то и будет ошибка "Нету такого файла".

> эээ... мысль хорошая, только вот как??? я, с горя, :) чего только не 
> перебровал и просто апострофы, и кавычки, и с бэк-слэшами, и без оных, всё 
> одно либо длинный список либо нет такого файла... чего я не так делаю?

Решение проблемы ограничения длинны строки аргументов тут уже озвучили.

-- 
                                        С уважением, системный
                                        администратор ООО "Крастел",
                                        Терешков Евгений.

Re: [Comm] Argument list too long

[Kostarev Alexey]

[-- Attachment #1: Type: text/plain, Size: 1156 bytes --]

Yura Kalinichenko wrote:

>03.11.06 у 09:35 Evgenii Terechkov у своєму листі писав(ла):
>
>  
>
>>Eugene Suchkov пишет:
>>
>>    
>>
>>>>хочу скопировать _много_ файлов
>>>>к примеру
>>>>cp /opt/cache/archives/*.rpm /tmp/
>>>>а получаю Argument list too long
>>>>как принято такие вещи обходить?
>>>>        
>>>>
>>>find  /opt/cache/archives -name "*.rpm" -exec cp {}  /tmp/ \;
>>>      
>>>
>>Я правильно понимаю, что этот способ ЧУДОВИЩНО неэффективен? Ведь на каждый
>>    
>>
Ну насчет ЧУДОВИЩНО я бы не сказал - как правило бинарный код процесса 
берется из кеша и накладных расходов
не так уж много - по крайней мере когда речь идет о сотня файлов это 
вполне приемлимо

>>файл (а их много) запускается отдельный процесс cp. Знает ли кто-нибудь
>>альтернативу, учитывающую максимальный размер списка аргументов шелла и
>>запускающую необходимый минимум процессов? Это возможно?
>>
>>    
>>
>
>cd /opt/cache/archives ; find  . -name "*.rpm" | cpio -p --make-directories --verboose /tmp
>
>  
>
Согласен - это мой излюбленный метод рекурсивного копирования директориев:
find . -xdev | cpio -plmvd <целевой директорий>

-- 
С Уважением
Костарев А.Ф.


[-- Attachment #2: kaf.vcf --]
[-- Type: text/x-vcard, Size: 202 bytes --]

begin:vcard
fn:Alexey Kostarev
n:Kostarev;Alexey
org:Nevod Ltd.
adr:;;;Perm;;;Russia
email;internet:kaf@nevod.ru
tel;work:(3422) 196-960 
url:http://www.nevod.ru/nevod/staff/kaf/
version:2.1
end:vcard

[Comm] [JT] Re: Argument list too long

[Michael Shigorin]

On Fri, Nov 03, 2006 at 10:09:47AM +0200, Eugene Ostapets wrote:
> > а как поступают в таких случаях?
> А так?  cp '/opt/cache/archives/*.rpm' /tmp/

Тю, я думал, что ты умный и знаешь такие вещи про cp, которых
я не знаю, а оказывается -- ты поленился уточнить, что это
предположение...

$ touch 1234 1235
$ cp '123*' /dev/null
cp: cannot stat `123*': No such file or directory

> > а получаю Argument list too long
> > как принято такие вещи обходить?
> Принято экранировать от слишком умных шелов строки с вилдкардами:)

Чуть не купился, что слишком умный cp специально обучен делать
то, что именно шелл в юниксах и делает... это ж тебе не дос ;)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/