ALT Linux sysadmins discussion
 help / color / mirror / Atom feed
* [Sysadmins] Q: clamav [JT]
@ 2021-03-10 17:10 Konstantin Lepikhov
  2021-03-11  5:59 ` Sergey
  0 siblings, 1 reply; 7+ messages in thread
From: Konstantin Lepikhov @ 2021-03-10 17:10 UTC (permalink / raw)
  To: sysadmins

Привет!

Вопрос скорее риторический, но $subj как я понимаю, скорее мертв чем жив?

Сегодня попровал его поставить, а он даже не может базу скачать, потому
что TXT записи не соответствуют контенту, а потом вообще мой хост
заблокировали из-за rate limit'а

Прочитал вот это объявление 
https://lists.clamav.net/pipermail/clamav-users/2021-March/010577.html

Но так и не понял, там все на карманные деньги Joel'а теперь что-ли
содержиться, раз кроме него, никого нету порядок навести.

-- 
WBR et al.


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-10 17:10 [Sysadmins] Q: clamav [JT] Konstantin Lepikhov
@ 2021-03-11  5:59 ` Sergey
  2021-03-11  9:05   ` Konstantin Lepikhov
  0 siblings, 1 reply; 7+ messages in thread
From: Sergey @ 2021-03-11  5:59 UTC (permalink / raw)
  To: ALT Linux sysadmins' discussion

On Wednesday 10 March 2021, Konstantin Lepikhov wrote:

> Вопрос скорее риторический, но $subj как я понимаю, скорее
> мертв чем жив? 

Вопрос интересный.

> Сегодня попровал его поставить, а он даже не может базу 
> скачать, потому что TXT записи не соответствуют контенту,
> а потом вообще мой хост заблокировали из-за rate limit'а

У меня всё нормально нормально скачивается freshclam-ом. Куча
хостов, отличие конфига от того, что по умолчанию - качают все
через локальный прокси (squid если что). На TXT у меня нигде
не ругается вроде. Если что, systemd у меня нет, а unit-файлы
shaba@ недавно чинить начал, пока в Sisypus только.

Проблема в другом: он сильно начал отставать в плане отлова новой
заразы. Плюс обновление теперь раз в сутки, соответственно и просят
чаще раза в сутки не лазить. В пакете частота запуска freshclam не
изменилась (для sysv/cron), но так как он проверяет сначала через
DNS, то сам не лезет, пока нет обновления. Обновление появляется
где-то в районе 17:00 GMT+4, плюс/минус.

> Прочитал вот это объявление 
> https://lists.clamav.net/pipermail/clamav-users/2021-March/010577.html

А зачем wget-ом качать?

-- 
С уважением, Сергей.


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-11  5:59 ` Sergey
@ 2021-03-11  9:05   ` Konstantin Lepikhov
  2021-03-11 15:54     ` Sergey
  0 siblings, 1 reply; 7+ messages in thread
From: Konstantin Lepikhov @ 2021-03-11  9:05 UTC (permalink / raw)
  To: sysadmins

Hi Sergey!

On 03/11/2021, at 09:59:55 AM you wrote:

> On Wednesday 10 March 2021, Konstantin Lepikhov wrote:
> 
> > Вопрос скорее риторический, но $subj как я понимаю, скорее
> > мертв чем жив? 
> 
> Вопрос интересный.
> 
> > Сегодня попровал его поставить, а он даже не может базу 
> > скачать, потому что TXT записи не соответствуют контенту,
> > а потом вообще мой хост заблокировали из-за rate limit'а
> 
> У меня всё нормально нормально скачивается freshclam-ом. Куча
> хостов, отличие конфига от того, что по умолчанию - качают все
> через локальный прокси (squid если что). На TXT у меня нигде
> не ругается вроде. Если что, systemd у меня нет, а unit-файлы
> shaba@ недавно чинить начал, пока в Sisypus только.
> 
> Проблема в другом: он сильно начал отставать в плане отлова новой
> заразы. Плюс обновление теперь раз в сутки, соответственно и просят
> чаще раза в сутки не лазить. В пакете частота запуска freshclam не
> изменилась (для sysv/cron), но так как он проверяет сначала через
> DNS, то сам не лезет, пока нет обновления. Обновление появляется
> где-то в районе 17:00 GMT+4, плюс/минус.
> 
> > Прочитал вот это объявление 
> > https://lists.clamav.net/pipermail/clamav-users/2021-March/010577.html
> 
> А зачем wget-ом качать?
Дело даже не в wget - когда пакет clamav ставится первый раз, то баз нет,
и freshclam скачивает всю базу за один проход, а не cdiff. И вот это
почему то уже сделать нельзя (или именно это и сломано в CDN). В багзилле
clamav было обсуждение по этому поводу, и Joel советует какую-то их
утилиту для скачивания и создания баз:

https://github.com/micahsnyder/cvdupdate

PS Вроде CDN починился, надо посмотреть
https://bugzilla.clamav.net/show_bug.cgi?id=12692

PPS Теперь еще и багзилла у clamav оттормаживает и падает ))

-- 
WBR et al.


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-11  9:05   ` Konstantin Lepikhov
@ 2021-03-11 15:54     ` Sergey
  2021-03-11 19:50       ` Konstantin Lepikhov
  0 siblings, 1 reply; 7+ messages in thread
From: Sergey @ 2021-03-11 15:54 UTC (permalink / raw)
  To: ALT Linux sysadmins' discussion

On Thursday 11 March 2021, Konstantin Lepikhov wrote:

> Дело даже не в wget - когда пакет clamav ставится первый раз, то баз
> нет, и freshclam скачивает всю базу за один проход, а не cdiff. И вот
> это почему то уже сделать нельзя (или именно это и сломано в CDN).

Что-то как-то мимо меня незаметно прошло. Я часто правда с нуля ClamAV
не ставлю, может и был момент такой, но сейчас грохнул всё на одном из
серверов и рестартанул clamd - всё скачалось.

-- 
С уважением, Сергей
a_s_y@sama.ru


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-11 15:54     ` Sergey
@ 2021-03-11 19:50       ` Konstantin Lepikhov
  2021-03-12 12:35         ` Sergey
  0 siblings, 1 reply; 7+ messages in thread
From: Konstantin Lepikhov @ 2021-03-11 19:50 UTC (permalink / raw)
  To: sysadmins

Hi Sergey!

On 03/11/2021, at 07:54:34 PM you wrote:

> On Thursday 11 March 2021, Konstantin Lepikhov wrote:
> 
> > Дело даже не в wget - когда пакет clamav ставится первый раз, то баз
> > нет, и freshclam скачивает всю базу за один проход, а не cdiff. И вот
> > это почему то уже сделать нельзя (или именно это и сломано в CDN).
> 
> Что-то как-то мимо меня незаметно прошло. Я часто правда с нуля ClamAV
> не ставлю, может и был момент такой, но сейчас грохнул всё на одном из
> серверов и рестартанул clamd - всё скачалось.
> 
Сейчас уже работает, да. Но осадочек остался ) Другой момент - это
потребление памяти - clamd с настройками "из коробки" ест где-то 1Gb,
причем, где это можно настроить в конфигурации самого clamd я не нашел. Да
и пишут, что оно будет тормозить, если памяти мало, т.к. в этом случае вся
база будет читаться с диска каждый раз.

В общем, мне кажется, для почтового сервера где-то на VPS это уже перебор,
или нужно использовать какие-то другие решения, вроде отправки сообщений
на некий сервис за пределами периметра (пока, PI и конфиденциальность).

-- 
WBR et al.


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-11 19:50       ` Konstantin Lepikhov
@ 2021-03-12 12:35         ` Sergey
  2021-12-22 15:50           ` Sergey
  0 siblings, 1 reply; 7+ messages in thread
From: Sergey @ 2021-03-12 12:35 UTC (permalink / raw)
  To: ALT Linux sysadmins' discussion

On Thursday 11 March 2021, Konstantin Lepikhov wrote:

> Сейчас уже работает, да. Но осадочек остался ) Другой момент - это
> потребление памяти - clamd с настройками "из коробки" ест где-то 1Gb,
> причем, где это можно настроить в конфигурации самого clamd я не нашел.

Это и не настраивалось никогда. Базу clamd держит в памяти. Понемногу
распухла, за всё время. Может быть можно придумать другой формат, сжатый
какой-нибудь, но это будет нагрузка на процессор при проверке.

> Да и пишут, что оно будет тормозить, если памяти мало, т.к. в этом
> случае вся база будет читаться с диска каждый раз.

С диска вообще не вариант для сервиса, к которому обращаются постоянно.

По памяти есть другой момент. Там же ещё и торможение при обновлении базы
началось. В 0.101.5 они несколько это улучшили, а в 0.103 сделали другой
режим - параллельную загрузку базы:

Wed Mar 10 17:08:30 2021 -> Reading databases from /var/lib/clamav
Wed Mar 10 17:08:37 2021 -> Accepted connection from 127.0.0.1 on port 1436, fd 15
Wed Mar 10 17:08:39 2021 -> Accepted connection from 127.0.0.1 on port 1058, fd 15
Wed Mar 10 17:08:40 2021 -> Accepted connection from 127.0.0.1 on port 1096, fd 15
Wed Mar 10 17:08:41 2021 -> Accepted connection from 127.0.0.1 on port 1615, fd 15
Wed Mar 10 17:08:46 2021 -> Accepted connection from 127.0.0.1 on port 1900, fd 15
Wed Mar 10 17:09:10 2021 -> Accepted connection from 127.0.0.1 on port 1912, fd 10
Wed Mar 10 17:09:16 2021 -> Database correctly reloaded (8508529 signatures)
Wed Mar 10 17:09:16 2021 -> Activating the newly loaded database...

То есть, вот в этом примере с версией до 0.103 ClamAV не принимал бы 
запросы на сканирование с 17:08:30 по 17:09:16. По этой параллельной
загрузке есть предупреждение о возможном двукратном потреблении памяти,
этот режим отключить можно. Но я пока не замечал, чтобы реально много
отъедалось в этот момент. Почему, и как именно там всё на самом деле
сделано - это я не смотрел.

-- 
С уважением, Сергей.


^ permalink raw reply	[flat|nested] 7+ messages in thread

* Re: [Sysadmins] Q: clamav [JT]
  2021-03-12 12:35         ` Sergey
@ 2021-12-22 15:50           ` Sergey
  0 siblings, 0 replies; 7+ messages in thread
From: Sergey @ 2021-12-22 15:50 UTC (permalink / raw)
  To: ALT Linux sysadmins' discussion

On Friday 12 March 2021, Sergey wrote:

> По этой параллельной загрузке есть предупреждение о возможном двукратном
> потреблении памяти, этот режим отключить можно. Но я пока не замечал, 
> чтобы реально много отъедалось в этот момент.

Просто невнимательно смотрел как-то. Отъедает.

-- 
С уважением, Сергей
a_s_y@sama.ru


^ permalink raw reply	[flat|nested] 7+ messages in thread

end of thread, other threads:[~2021-12-22 15:50 UTC | newest]

Thread overview: 7+ messages (download: mbox.gz / follow: Atom feed)
-- links below jump to the message on this page --
2021-03-10 17:10 [Sysadmins] Q: clamav [JT] Konstantin Lepikhov
2021-03-11  5:59 ` Sergey
2021-03-11  9:05   ` Konstantin Lepikhov
2021-03-11 15:54     ` Sergey
2021-03-11 19:50       ` Konstantin Lepikhov
2021-03-12 12:35         ` Sergey
2021-12-22 15:50           ` Sergey

ALT Linux sysadmins discussion

This inbox may be cloned and mirrored by anyone:

	git clone --mirror http://lore.altlinux.org/sysadmins/0 sysadmins/git/0.git

	# If you have public-inbox 1.1+ installed, you may
	# initialize and index your mirror using the following commands:
	public-inbox-init -V2 sysadmins sysadmins/ http://lore.altlinux.org/sysadmins \
		sysadmins@lists.altlinux.org sysadmins@lists.altlinux.ru sysadmins@lists.altlinux.com
	public-inbox-index sysadmins

Example config snippet for mirrors.
Newsgroup available over NNTP:
	nntp://lore.altlinux.org/org.altlinux.lists.sysadmins


AGPL code for this site: git clone https://public-inbox.org/public-inbox.git