[devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Ivan A. Melnikov]

On Thu, 27 Jan 2011 15:21:43 +0300
Alexey Shabalin <a.shabalin@gmail.com> wrote:

> 2011/1/26 Alexey Shabalin <a.shabalin@gmail.com>:
[...]
> 
> Что-то я не пойму, как бороться с этим(в Makefile ничего криминального
> не обнаружил):
> 
> lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/bin/systemd-ask-password: overlinked
> libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd-notify:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/bin/systemd-tty-ask-password-agent:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-ac-power:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-cgroups-agent:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-fsck: overlinked
> libraries: /lib64/ld-linux-x86-64.so.2 /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-initctl:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-kmsg-syslogd:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-logger:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-modules-load:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-quotacheck:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-random-seed:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-readahead-collect:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-readahead-replay:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-remount-api-vfs:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-reply-password:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-shutdown:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-shutdownd:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-sysctl:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-timestamp:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-tmpfiles:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-update-utmp:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-user-sessions:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib/systemd/systemd-vconsole-setup:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> /lib64/libselinux.so.1
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/lib64/security/pam_systemd.so:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> lib.req: WARNING:
> /home/alex/tmp/systemd-buildroot/usr/bin/systemd-cgls: overlinked
> libraries: /lib64/libselinux.so.1
> 

Похоже на то, что -Wl,--as-needed и -Wl,--gc-sections довольно
интересно взаимодействуют. Сначала отрабатывает --as-needed, видит что
символы из библиотеки нужны, оставляет её; затем --gc-sections удаляет
все секции, которые порождали зависимость. Получаем перелинкованную
прогамму.

Завтра (теперь уже сегодня) попробую воспроизвести на более простом
примере.

P.S. Поскольку это теперь больше вопрос по тулчейну, перевожу в devel@.

-- 
WBR,
Ivan A. Melnikov

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[REAL]

29.01.2011 03:58, Ivan A. Melnikov пишет:
> Похоже на то, что -Wl,--as-needed и -Wl,--gc-sections довольно
> интересно взаимодействуют. Сначала отрабатывает --as-needed, видит что
> символы из библиотеки нужны, оставляет её; затем --gc-sections удаляет
> все секции, которые порождали зависимость. Получаем перелинкованную
> прогамму.
>
> Завтра (теперь уже сегодня) попробую воспроизвести на более простом
> примере.

У меня есть несколько таких примеров; несмотря на то, что я 
принудительно устанавливаю --as-needed при сборке с openmpi, довольно 
часто вылазят эти самые overlinked. Но судя по обсуждаемому здесь, 
проблема либо не в openmpi, либо НЕ ТОЛЬКО в нём...

-- 

REAL aka Евгений Ростовцев, программист ЦНИТ КемГУ

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Alexey Shabalin]

2011/1/29 REAL:
> 29.01.2011 03:58, Ivan A. Melnikov пишет:
>>
>> Похоже на то, что -Wl,--as-needed и -Wl,--gc-sections довольно
>> интересно взаимодействуют. Сначала отрабатывает --as-needed, видит что
>> символы из библиотеки нужны, оставляет её; затем --gc-sections удаляет
>> все секции, которые порождали зависимость. Получаем перелинкованную
>> прогамму.
>>
>> Завтра (теперь уже сегодня) попробую воспроизвести на более простом
>> примере.
>
> У меня есть несколько таких примеров; несмотря на то, что я принудительно
> устанавливаю --as-needed при сборке с openmpi, довольно часто вылазят эти
> самые overlinked. Но судя по обсуждаемому здесь, проблема либо не в openmpi,
> либо НЕ ТОЛЬКО в нём...
>
ibtool: link: x86_64-alt-linux-gcc -std=gnu99 -I/usr/include/dbus-1.0
-I/usr/lib64/dbus-1.0/include -pipe -Wall -O2 -pipe -Wall -W -Wextra
-Wno-inline -Wvla -Wundef -Wformat=2 -Wlogical-op -Wsign-compare
-Wformat-security -Wmissing-include-dirs -Wformat-nonliteral
-Wold-style-definition -Wpointer-arith -Winit-self
-Wdeclaration-after-statement -Wfloat-equal -Wmissing-prototypes
-Wstrict-prototypes -Wredundant-decls -Wmissing-declarations
-Wmissing-noreturn -Wshadow -Wendif-labels -Wcast-align
-Wstrict-aliasing=2 -Wwrite-strings -Wno-long-long
-Wno-overlength-strings -Wno-unused-parameter
-Wno-missing-field-initializers -Wno-unused-result
-Wp,-D_FORTIFY_SOURCE=2 -ffast-math -fno-common
-fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden
-ffunction-sections -fdata-sections -Wl,--as-needed -Wl,--gc-sections
-o systemd src/systemd-main.o  ./.libs/libsystemd-core.a -lselinux
-ldbus-1 -lpthread -ludev -lwrap -lpam -lpam_misc -laudit -lcap -ldl
-lrt


Правильно ли я понимаю, что пока не собраны все остальные библиотеки
(libselinux, libdbus, libudev, и остальные ) с параметрами
-ffunction-sections -fdata-sections -Wl,--gc-sections, то собирать
systemd с gc-sections не имеет смысла?
Стоит ли к нашему gcc по умолчанию добавлять эти опции, как сделано
для --as-needed?
Правильно ли сейчас ругается
lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
overlinked libraries: /lib64/ld-linux-x86-64.so.2
или lib.req ведёт себя не верно в этом случае. И если верно, может
просто убрать gc-sections из параметров линковки?


-- 
Alexey Shabalin

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Ivan A. Melnikov]

On Mon, 31 Jan 2011 21:39:04 +0300
Alexey Shabalin <a.shabalin@gmail.com> wrote:
[...]
> ibtool: link: x86_64-alt-linux-gcc -std=gnu99 -I/usr/include/dbus-1.0
> -I/usr/lib64/dbus-1.0/include -pipe -Wall -O2 -pipe -Wall -W -Wextra
> -Wno-inline -Wvla -Wundef -Wformat=2 -Wlogical-op -Wsign-compare
> -Wformat-security -Wmissing-include-dirs -Wformat-nonliteral
> -Wold-style-definition -Wpointer-arith -Winit-self
> -Wdeclaration-after-statement -Wfloat-equal -Wmissing-prototypes
> -Wstrict-prototypes -Wredundant-decls -Wmissing-declarations
> -Wmissing-noreturn -Wshadow -Wendif-labels -Wcast-align
> -Wstrict-aliasing=2 -Wwrite-strings -Wno-long-long
> -Wno-overlength-strings -Wno-unused-parameter
> -Wno-missing-field-initializers -Wno-unused-result
> -Wp,-D_FORTIFY_SOURCE=2 -ffast-math -fno-common
> -fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden
> -ffunction-sections -fdata-sections -Wl,--as-needed -Wl,--gc-sections
> -o systemd src/systemd-main.o  ./.libs/libsystemd-core.a -lselinux
> -ldbus-1 -lpthread -ludev -lwrap -lpam -lpam_misc -laudit -lcap -ldl
> -lrt

Читал.

> Правильно ли я понимаю, что пока не собраны все остальные библиотеки
> (libselinux, libdbus, libudev, и остальные ) с параметрами
> -ffunction-sections -fdata-sections -Wl,--gc-sections, то собирать
> systemd с gc-sections не имеет смысла?

Не вижу связи. Эти опции, насколько я понимаю, работают независимо от
зависимостей.

> Стоит ли к нашему gcc по умолчанию добавлять эти опции, как сделано
> для --as-needed? Правильно ли сейчас ругается
> lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
> overlinked libraries: /lib64/ld-linux-x86-64.so.2
> или lib.req ведёт себя не верно в этом случае.

Ругается правильно, и ведёт себя верно: фактически, программа
перелинкована. Другой вопрос, что не ясно, как с этим бороться, и что
(кроме отсутствия соответсвующей строки в логах сборки) это даст.

> И если верно, может просто убрать gc-sections из параметров линковки?

Это не исправит проблему, но только скроет её. В данном случае
-Wl,--gc-sections делает хорошее дело. ИМХО, правильнее всего этот
warning игнорировать. 

-- 
WBR,
Ivan A. Melnikov

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Kirill A. Shutemov]

On Mon, Jan 31, 2011 at 11:05:49PM +0300, Ivan A. Melnikov wrote:
> On Mon, 31 Jan 2011 21:39:04 +0300
> Alexey Shabalin <a.shabalin@gmail.com> wrote:
> [...]
> > ibtool: link: x86_64-alt-linux-gcc -std=gnu99 -I/usr/include/dbus-1.0
> > -I/usr/lib64/dbus-1.0/include -pipe -Wall -O2 -pipe -Wall -W -Wextra
> > -Wno-inline -Wvla -Wundef -Wformat=2 -Wlogical-op -Wsign-compare
> > -Wformat-security -Wmissing-include-dirs -Wformat-nonliteral
> > -Wold-style-definition -Wpointer-arith -Winit-self
> > -Wdeclaration-after-statement -Wfloat-equal -Wmissing-prototypes
> > -Wstrict-prototypes -Wredundant-decls -Wmissing-declarations
> > -Wmissing-noreturn -Wshadow -Wendif-labels -Wcast-align
> > -Wstrict-aliasing=2 -Wwrite-strings -Wno-long-long
> > -Wno-overlength-strings -Wno-unused-parameter
> > -Wno-missing-field-initializers -Wno-unused-result
> > -Wp,-D_FORTIFY_SOURCE=2 -ffast-math -fno-common
> > -fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden
> > -ffunction-sections -fdata-sections -Wl,--as-needed -Wl,--gc-sections
> > -o systemd src/systemd-main.o  ./.libs/libsystemd-core.a -lselinux
> > -ldbus-1 -lpthread -ludev -lwrap -lpam -lpam_misc -laudit -lcap -ldl
> > -lrt
> 
> Читал.
> 
> > Правильно ли я понимаю, что пока не собраны все остальные библиотеки
> > (libselinux, libdbus, libudev, и остальные ) с параметрами
> > -ffunction-sections -fdata-sections -Wl,--gc-sections, то собирать
> > systemd с gc-sections не имеет смысла?
> 
> Не вижу связи. Эти опции, насколько я понимаю, работают независимо от
> зависимостей.
> 
> > Стоит ли к нашему gcc по умолчанию добавлять эти опции, как сделано
> > для --as-needed? Правильно ли сейчас ругается
> > lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
> > overlinked libraries: /lib64/ld-linux-x86-64.so.2
> > или lib.req ведёт себя не верно в этом случае.
> 
> Ругается правильно, и ведёт себя верно: фактически, программа
> перелинкована. Другой вопрос, что не ясно, как с этим бороться, и что
> (кроме отсутствия соответсвующей строки в логах сборки) это даст.

Сходите к апстриму в багзиллу. Поставте меня в CC.

-- 
 Kirill A. Shutemov

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Ivan A. Melnikov]

On Mon, 31 Jan 2011 22:42:28 +0200
"Kirill A. Shutemov" <kirill@shutemov.name> wrote:

> On Mon, Jan 31, 2011 at 11:05:49PM +0300, Ivan A. Melnikov wrote:
> > On Mon, 31 Jan 2011 21:39:04 +0300
> > Alexey Shabalin <a.shabalin@gmail.com> wrote:
> > [...]
> > > ibtool: link: x86_64-alt-linux-gcc -std=gnu99
> > > -I/usr/include/dbus-1.0 -I/usr/lib64/dbus-1.0/include -pipe -Wall
> > > -O2 -pipe -Wall -W -Wextra -Wno-inline -Wvla -Wundef -Wformat=2
> > > -Wlogical-op -Wsign-compare -Wformat-security
> > > -Wmissing-include-dirs -Wformat-nonliteral -Wold-style-definition
> > > -Wpointer-arith -Winit-self -Wdeclaration-after-statement
> > > -Wfloat-equal -Wmissing-prototypes -Wstrict-prototypes
> > > -Wredundant-decls -Wmissing-declarations -Wmissing-noreturn
> > > -Wshadow -Wendif-labels -Wcast-align -Wstrict-aliasing=2
> > > -Wwrite-strings -Wno-long-long -Wno-overlength-strings
> > > -Wno-unused-parameter -Wno-missing-field-initializers
> > > -Wno-unused-result -Wp,-D_FORTIFY_SOURCE=2 -ffast-math -fno-common
> > > -fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden
> > > -ffunction-sections -fdata-sections -Wl,--as-needed
> > > -Wl,--gc-sections -o systemd
> > > src/systemd-main.o  ./.libs/libsystemd-core.a -lselinux -ldbus-1
> > > -lpthread -ludev -lwrap -lpam -lpam_misc -laudit -lcap -ldl -lrt
> > 
> > Читал.
> > 
> > > Правильно ли я понимаю, что пока не собраны все остальные
> > > библиотеки (libselinux, libdbus, libudev, и остальные ) с
> > > параметрами -ffunction-sections -fdata-sections
> > > -Wl,--gc-sections, то собирать systemd с gc-sections не имеет
> > > смысла?
> > 
> > Не вижу связи. Эти опции, насколько я понимаю, работают независимо
> > от зависимостей.
> > 
> > > Стоит ли к нашему gcc по умолчанию добавлять эти опции, как
> > > сделано для --as-needed? Правильно ли сейчас ругается
> > > lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
> > > overlinked libraries: /lib64/ld-linux-x86-64.so.2
> > > или lib.req ведёт себя не верно в этом случае.
> > 
> > Ругается правильно, и ведёт себя верно: фактически, программа
> > перелинкована. Другой вопрос, что не ясно, как с этим бороться, и
> > что (кроме отсутствия соответсвующей строки в логах сборки) это
> > даст.
> 
> Сходите к апстриму в багзиллу. Поставте меня в CC.
> 

Апстриму ld или systemd?

-- 
WBR,
Ivan A. Melnikov

Re: [devel] --as-needed и --gc-section was: Re: [sisyphus] systemd

[Kirill A. Shutemov]

On Mon, Jan 31, 2011 at 11:50:24PM +0300, Ivan A. Melnikov wrote:
> On Mon, 31 Jan 2011 22:42:28 +0200
> "Kirill A. Shutemov" <kirill@shutemov.name> wrote:
> 
> > On Mon, Jan 31, 2011 at 11:05:49PM +0300, Ivan A. Melnikov wrote:
> > > On Mon, 31 Jan 2011 21:39:04 +0300
> > > Alexey Shabalin <a.shabalin@gmail.com> wrote:
> > > [...]
> > > > ibtool: link: x86_64-alt-linux-gcc -std=gnu99
> > > > -I/usr/include/dbus-1.0 -I/usr/lib64/dbus-1.0/include -pipe -Wall
> > > > -O2 -pipe -Wall -W -Wextra -Wno-inline -Wvla -Wundef -Wformat=2
> > > > -Wlogical-op -Wsign-compare -Wformat-security
> > > > -Wmissing-include-dirs -Wformat-nonliteral -Wold-style-definition
> > > > -Wpointer-arith -Winit-self -Wdeclaration-after-statement
> > > > -Wfloat-equal -Wmissing-prototypes -Wstrict-prototypes
> > > > -Wredundant-decls -Wmissing-declarations -Wmissing-noreturn
> > > > -Wshadow -Wendif-labels -Wcast-align -Wstrict-aliasing=2
> > > > -Wwrite-strings -Wno-long-long -Wno-overlength-strings
> > > > -Wno-unused-parameter -Wno-missing-field-initializers
> > > > -Wno-unused-result -Wp,-D_FORTIFY_SOURCE=2 -ffast-math -fno-common
> > > > -fdiagnostics-show-option -fno-strict-aliasing -fvisibility=hidden
> > > > -ffunction-sections -fdata-sections -Wl,--as-needed
> > > > -Wl,--gc-sections -o systemd
> > > > src/systemd-main.o  ./.libs/libsystemd-core.a -lselinux -ldbus-1
> > > > -lpthread -ludev -lwrap -lpam -lpam_misc -laudit -lcap -ldl -lrt
> > > 
> > > Читал.
> > > 
> > > > Правильно ли я понимаю, что пока не собраны все остальные
> > > > библиотеки (libselinux, libdbus, libudev, и остальные ) с
> > > > параметрами -ffunction-sections -fdata-sections
> > > > -Wl,--gc-sections, то собирать systemd с gc-sections не имеет
> > > > смысла?
> > > 
> > > Не вижу связи. Эти опции, насколько я понимаю, работают независимо
> > > от зависимостей.
> > > 
> > > > Стоит ли к нашему gcc по умолчанию добавлять эти опции, как
> > > > сделано для --as-needed? Правильно ли сейчас ругается
> > > > lib.req: WARNING: /home/alex/tmp/systemd-buildroot/bin/systemd:
> > > > overlinked libraries: /lib64/ld-linux-x86-64.so.2
> > > > или lib.req ведёт себя не верно в этом случае.
> > > 
> > > Ругается правильно, и ведёт себя верно: фактически, программа
> > > перелинкована. Другой вопрос, что не ясно, как с этим бороться, и
> > > что (кроме отсутствия соответсвующей строки в логах сборки) это
> > > даст.
> > 
> > Сходите к апстриму в багзиллу. Поставте меня в CC.
> > 
> 
> Апстриму ld или systemd?

ld (binutils), конечно.

-- 
 Kirill A. Shutemov

Re: [devel] [sisyphus] systemd

[Dmitry V. Levin]

[-- Attachment #1: Type: text/plain, Size: 936 bytes --]

On Sat, Mar 05, 2011 at 09:34:52PM +0300, Dmitry V. Levin wrote:
[...]
> Пока пакет SysVinit вытягивается по зависимостям пакета basesystem, ничего
> с systemd-sysvinit путного не получится.  Осталось понять, действительно
> ли пакет SysVinit должен входить в basesystem?  Или, если он не нужен для
> сборки большинства пакетов, может быть, он не такой уж и базовый?
> 
> Если удалить из basesystem те пакеты, которые не нужны для работы
> непривилегированных процессов в чруте, то basesystem изрядно похудеет.

Я планирую перенести из basesystem в interactivesystem
следующие зависимости:
SysVinit, e2fsprogs, losetup, service, which.

В результате этого изменения базовую _сборочную_ среду покинут
следующие пакеты (не считая библиотек):
e2fsprogs, hashalot, losetup, msulogin, sysvinit.

Я надеюсь, что сборка пакетов от этого не пострадает.
Взамен мы получим возможность отправить systemd в Сизиф.


-- 
ldv

[-- Attachment #2: Type: application/pgp-signature, Size: 198 bytes --]