[Comm] удалить одинаковые строки из разных файлов

[Comm] удалить одинаковые строки из разных файлов

[Roman V. Tutov]

Здравствуйте, .

Мне стыдно задавать такой вопрос ...но что-то я своим умом не дохожу

Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
удалить .

Как это сделать.?

-- 
Тутов Роман Викторович 
Системный администратор
ASTON Agro Industrial Company Group 
Россия,344002, г.Ростов-на-Дону,Промзона "Заречная" 
ул.1-я Луговая,3 тел.: (863 2) 999049
JID:tutov@jabber.aston.ru
mailto:tutov@aston.ru

Re: [Comm] удалить одинаковые строки из разных файлов

[Denis Kirienko]

Получил Tue, 3 May 2005 16:26:52 +0400 от Roman V. Tutov следующее
письмо:

> Мне стыдно задавать такой вопрос ...но что-то я своим умом не дохожу
> 
> Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
> удалить .

Штатными средствами, похоже, что никак. Надо программу писать.
Хотя не исключаю, что здесь найдутся специалисты, которые смогут это
сварганить на bash+gnu tools. Ну, например, бежим циклом по строкам
одного файла, грепим второй файл на предмет наличия этой строки, в
зависимости от результата выводим или нет строку в новый файл.

Такое тупое решение будет работать за n*m действий, где n и m -
количество строк в файлах. Более продвинутое (сначала отсортировать
строки, затем бежим по одному файлу и ищем эту строку в другом файле
бинарным поиском)- за (n+m)(log n + log m) действий. Так что,
возможно, если файлы большие - то имеет смысл и самому написать.

--
Денис

Re: [Comm] удалить одинаковые строки из разных файлов

[Alex Gorbachenko]

[-- Attachment #1: Type: text/plain, Size: 226 bytes --]

On Вторник 03 Май 2005 16:26, Roman V. Tutov wrote:

> Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
> удалить .

> Как это сделать.?

cat /path/to/file | sort | uniq > /path/to/file.uniq

-- 
KMail: 1.8.50

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

Re: [Comm] удалить одинаковые строки из разных файлов

[Michael Isachenkov]

> cat /path/to/file | sort | uniq > /path/to/file.uniq

Убивство. Меняет порядок строк в файле.

-- 
Best regards, Michael Isachenkov

Re: [Comm] удалить одинаковые строки из разных файлов

[Denis Kirienko]

Получил Tue, 3 May 2005 16:43:54 +0400 от Alex Gorbachenko следующее
письмо:

> > Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
> > удалить .
> 
> > Как это сделать.?
> 
> cat /path/to/file | sort | uniq > /path/to/file.uniq

Написано про 2 файла. Я понял это так, что нужно из одного файла
удалить строки, которые есть в другом файле. Кроме того, предложенный
Вами метод не является хорошим, поскольку меняет порядок строк в
исходном файле, о допустимости чего в исходном письме речи не шло.

--
Денис

Re: [Comm] удалить одинаковые строки из разных файлов

[Alex Gorbachenko]

[-- Attachment #1: Type: text/plain, Size: 179 bytes --]

On Вторник 03 Май 2005 16:48, Denis Kirienko wrote:

> Я понял это так, что нужно из одного файла
> удалить строки, которые есть в другом файле.

ой. и правда.

-- 
KMail: 1.8.50

[-- Attachment #2: Type: application/pgp-signature, Size: 190 bytes --]

[Comm] Re: удалить одинаковые строки из разных файлов

[Michael Shigorin]

On Tue, May 03, 2005 at 04:42:40PM +0400, Denis Kirienko wrote:
> > Есть 2 файла . Больших . В них есть одинаковые строки . Их
> > нужно удалить .
> Штатными средствами, похоже, что никак.

comm

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [Comm] Re: удалить одинаковые строки из разных файлов

[Denis Kirienko]

Получил Tue, 3 May 2005 19:18:16 +0300 от Michael Shigorin следующее
письмо:

> > > Есть 2 файла . Больших . В них есть одинаковые строки . Их
> > > нужно удалить .
> > Штатными средствами, похоже, что никак.
> 
> comm

О как, никогда про такую не слышал. Век живи, ...
Но, опять же, это решение годится только если разрешается переставлять
строки в исходных файлах.

--
Денис

Re: [Comm] удалить одинаковые строки из разных файлов

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 414 bytes --]

* Roman V. Tutov <tutov@> [050503 16:28]:
> Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
> удалить .
Рискну предложить, правда за результат не отвечаю...

fgrep -f file.one file.two > file.two.new
fgrep -f file.two file.one > file.one.new

-- 
Regards, Sir Raorn.
-------------------
#chkconfig holywar on
#service holywar start
starting holywar: [DONE]

		-- gns in talk-room@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

Re[2]: [Comm] удалить одинаковые строки из разных файлов

[Roman V. Tutov]

Здравствуйте, Alexey.

Вы писали 4 мая 2005 г., 9:48:02:

AIF> * Roman V. Tutov <tutov@> [050503 16:28]:
>> Есть 2 файла . Больших . В них есть одинаковые строки . Их нужно
>> удалить .
AIF> Рискну предложить, правда за результат не отвечаю...

AIF> fgrep -f file.one file.two > file.two.new
AIF> fgrep -f file.two file.one > file.one.new
Вот это помогло . Правда с ключиком -v

Всем большое спасибо

-- 
Тутов Роман Викторович 
Системный администратор
ASTON Agro Industrial Company Group 
Россия,344002, г.Ростов-на-Дону,Промзона "Заречная" 
ул.1-я Луговая,3 тел.: (863 2) 999049
JID:tutov@jabber.aston.ru
mailto:tutov@aston.ru

Re: [Comm] удалить одинаковые строки из разных файлов

[Alexey I. Froloff]

[-- Attachment #1: Type: text/plain, Size: 476 bytes --]

* Roman V. Tutov <tutov@> [050504 10:15]:
> AIF> fgrep -f file.one file.two > file.two.new
> AIF> fgrep -f file.two file.one > file.one.new
> Вот это помогло .
А ресурсов сколько оно от'ело?

> Правда с ключиком -v
Да, забыл.

> Всем большое спасибо

-- 
Regards, Sir Raorn.
-------------------
По "техническим причинам" я буду молчать или реагировать с бооольшой
задержкой на все почтовое в лучшем случае до понедельника следующей недели.
		-- ldv in devel@

[-- Attachment #2: Type: application/pgp-signature, Size: 189 bytes --]

[Comm] Re: удалить одинаковые строки из разных файлов

[Michael Shigorin]

On Wed, May 04, 2005 at 09:02:12AM +0400, Denis Kirienko wrote:
> > > > Есть 2 файла . Больших . В них есть одинаковые строки .
> > > > Их нужно удалить .
> > > Штатными средствами, похоже, что никак.
> > comm
> О как, никогда про такую не слышал. Век живи, ...
> Но, опять же, это решение годится только если разрешается
> переставлять строки в исходных файлах.

Ммм.... да, в той задаче, для которой чуть не сел своё писать --
это можно было делать.  Года три тому или четыре.

Кажется, иначе вычислительная сложность задачи всё равно сводится
к (грубо говоря) sort+comm.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/