[devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 729 bytes --]

При сборке пакета perl-Image-Info я заметил что активизируется сеть.
Там есть тестовый SVG рисунок, в котором написано
<!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
и он при загрузке риснука лезет выкачивать этот урл и там дальше через
ENTITY выкачивает ещё штук 20 файлов.

Думаю, что один из наиболее распространённых случаев непроизвольного
использования сети при сбокре пакетов (и вообще) -- это как раз разбор
XML.  Надо с этим что-то делать.

Вообще-то у нас есть пакет xml-common и /etc/xml/catalog,
куда можно класть стандартные спецификации.  Тогда libxml2 будет
брать их оттуда.

Может кто-нибудь знает как лучше запаковать основные DTD или что там?!

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Rusakov]

On Tue, 4 Mar 2008 06:38:04 +0300
Alexey Tourbin wrote:

> При сборке пакета perl-Image-Info я заметил что активизируется сеть.
> Там есть тестовый SVG рисунок, в котором написано
> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN"
> "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd"> и он при загрузке
> риснука лезет выкачивать этот урл и там дальше через ENTITY выкачивает
> ещё штук 20 файлов.
> 
> Думаю, что один из наиболее распространённых случаев непроизвольного
> использования сети при сбокре пакетов (и вообще) -- это как раз разбор
> XML.  Надо с этим что-то делать.
> 
> Вообще-то у нас есть пакет xml-common и /etc/xml/catalog,
> куда можно класть стандартные спецификации.  Тогда libxml2 будет
> брать их оттуда.
> 
> Может кто-нибудь знает как лучше запаковать основные DTD или что там?!
Проблема, кстати, очень актуальная - буквально вчера я попросил viy@
заняться несколькими пакетами, лезущими по тем же причинам в сеть при
сборке.

-- 
  Alexey "Ktirf" Rusakov
  Head of System development dept.
  ALT Linux Ltd.

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 358 bytes --]

On Tue, Mar 04, 2008 at 10:36:47AM +0300, Alexey Rusakov wrote:
> > Может кто-нибудь знает как лучше запаковать основные DTD или что там?!
> Проблема, кстати, очень актуальная - буквально вчера я попросил viy@
> заняться несколькими пакетами, лезущими по тем же причинам в сеть при
> сборке.

Подробнее.  Что за пакеты и какие DTD в них вытягиваются.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 1012 bytes --]

Alexey Tourbin пишет:
> При сборке пакета perl-Image-Info я заметил что активизируется сеть.
> Там есть тестовый SVG рисунок, в котором написано
> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
> и он при загрузке риснука лезет выкачивать этот урл и там дальше через
> ENTITY выкачивает ещё штук 20 файлов.

Кто именно лезет? У утилит libxml2 есть переключатель --nonet,
который запрещает entity resolver'у лазать в сеть.

> Думаю, что один из наиболее распространённых случаев непроизвольного
> использования сети при сбокре пакетов (и вообще) -- это как раз разбор
> XML.  Надо с этим что-то делать.
> 
> Вообще-то у нас есть пакет xml-common и /etc/xml/catalog,
> куда можно класть стандартные спецификации.  Тогда libxml2 будет
> брать их оттуда.
> 
> Может кто-нибудь знает как лучше запаковать основные DTD или что там?!

Так же, как docbook-dtds.

-- 
Regards, Vyt
mailto:  vyt@altlinux.org
JID:     vitaly.ostanin@gmail.com


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 2117 bytes --]

On Tue, Mar 04, 2008 at 01:15:16PM +0300, Vitaly Ostanin wrote:
> Alexey Tourbin пишет:
> > При сборке пакета perl-Image-Info я заметил что активизируется сеть.
> > Там есть тестовый SVG рисунок, в котором написано
> > <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
> > и он при загрузке риснука лезет выкачивать этот урл и там дальше через
> > ENTITY выкачивает ещё штук 20 файлов.
> 
> Кто именно лезет? У утилит libxml2 есть переключатель --nonet,
> который запрещает entity resolver'у лазать в сеть.

Где-то во внутренностях libxml2 лезет -- разобраться нелегко.
Явно не в перловом коде, перловый код я трейсил.

$ echo ${PWD##*/}
Image-Info-1.27
$ perl -MXML::Simple -e 'XMLin(shift)' img/graph.svg              
$ sudo tail /var/log/squid/access.log
1204626173.381      0 127.0.0.1 TCP_HIT/200 3629 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-clip.mod - NONE/- text/plain
1204626173.405      0 127.0.0.1 TCP_HIT/200 4754 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-mask.mod - NONE/- text/plain
1204626173.430      1 127.0.0.1 TCP_HIT/200 27430 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-filter.mod - NONE/- text/plain
1204626173.458      0 127.0.0.1 TCP_HIT/200 2851 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-cursor.mod - NONE/- text/plain
1204626173.482      0 127.0.0.1 TCP_HIT/200 4451 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-hyperlink.mod - NONE/- text/plain
1204626173.506      0 127.0.0.1 TCP_HIT/200 2457 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-view.mod - NONE/- text/plain
1204626173.530      0 127.0.0.1 TCP_HIT/200 2404 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-script.mod - NONE/- text/plain
1204626173.555      0 127.0.0.1 TCP_HIT/200 8946 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-animation.mod - NONE/- text/plain
1204626173.581      0 127.0.0.1 TCP_HIT/200 13285 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-font.mod - NONE/- text/plain
1204626173.608      0 127.0.0.1 TCP_HIT/200 4198 GET http://www.w3.org/Graphics/SVG/1.1/DTD/svg-extensibility.mod - NONE/- text/plain
$ 

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Vitaly Ostanin]

[-- Attachment #1: Type: text/plain, Size: 1030 bytes --]

Alexey Tourbin пишет:
> On Tue, Mar 04, 2008 at 01:15:16PM +0300, Vitaly Ostanin wrote:
>> Alexey Tourbin пишет:
>>> При сборке пакета perl-Image-Info я заметил что активизируется сеть.
>>> Там есть тестовый SVG рисунок, в котором написано
>>> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
>>> и он при загрузке риснука лезет выкачивать этот урл и там дальше через
>>> ENTITY выкачивает ещё штук 20 файлов.
>> Кто именно лезет? У утилит libxml2 есть переключатель --nonet,
>> который запрещает entity resolver'у лазать в сеть.
> 
> Где-то во внутренностях libxml2 лезет -- разобраться нелегко.

Можно посмотреть в xmllint.c:
xmlSetExternalEntityLoader(xmlNoNetExternalEntityLoader);

Видимо, нужно научить perl bindings такому переключателю, или
перед сборкой проверять xml файлы на валидность 'xmllint
--nonet', чтобы убедиться, что из сети ничего не нужно.

<skipped/>

-- 
Regards, Vyt
mailto:  vyt@altlinux.org
JID:     vitaly.ostanin@gmail.com


[-- Attachment #2: OpenPGP digital signature --]
[-- Type: application/pgp-signature, Size: 252 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Tourbin]

[-- Attachment #1: Type: text/plain, Size: 1350 bytes --]

On Tue, Mar 04, 2008 at 03:00:53PM +0300, Vitaly Ostanin wrote:
> Alexey Tourbin пишет:
> > On Tue, Mar 04, 2008 at 01:15:16PM +0300, Vitaly Ostanin wrote:
> >> Alexey Tourbin пишет:
> >>> При сборке пакета perl-Image-Info я заметил что активизируется сеть.
> >>> Там есть тестовый SVG рисунок, в котором написано
> >>> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/DTD/svg11.dtd">
> >>> и он при загрузке риснука лезет выкачивать этот урл и там дальше через
> >>> ENTITY выкачивает ещё штук 20 файлов.
> >> Кто именно лезет? У утилит libxml2 есть переключатель --nonet,
> >> который запрещает entity resolver'у лазать в сеть.
> > 
> > Где-то во внутренностях libxml2 лезет -- разобраться нелегко.
> 
> Можно посмотреть в xmllint.c:
> xmlSetExternalEntityLoader(xmlNoNetExternalEntityLoader);
> 
> Видимо, нужно научить perl bindings такому переключателю, или
> перед сборкой проверять xml файлы на валидность 'xmllint
> --nonet', чтобы убедиться, что из сети ничего не нужно.

Это закручено по очень длинной цепочке:
Image::Info::SVG -> XML::Simple -> XML::SAX -> XML::LibXML -> libxml2

При этом не совсем понятно, что в каком месте и что именно
в этой цепочке надо отрубить.  По крайней мере предполагаю
что допустимо будет отрубить DTD валидацию в XML::Simple.
А может быть и нет.

[-- Attachment #2: Type: application/pgp-signature, Size: 197 bytes --]

Re: [devel] xml/catalog -- libxml2 лезет в сеть (телеграфом)

[Alexey Rusakov]

On Tue, 4 Mar 2008 11:17:04 +0300
Alexey Tourbin wrote:

> On Tue, Mar 04, 2008 at 10:36:47AM +0300, Alexey Rusakov wrote:
> > > Может кто-нибудь знает как лучше запаковать основные DTD или что
> > > там?!
> > Проблема, кстати, очень актуальная - буквально вчера я попросил viy@
> > заняться несколькими пакетами, лезущими по тем же причинам в сеть при
> > сборке.
> 
> Подробнее.  Что за пакеты и какие DTD в них вытягиваются.
Сорри, при ближайшем рассмотрении это оказалась не DTD, а XSLT. Пакет
называется mx4j, и в нём при сборке документации используется
Docbook'овский stylesheet, скачиваемый из инета.

-- 
  Alexey "Ktirf" Rusakov
  Head of Systems development dept.
  ALT Linux Technology