[d-kernel] дальнейший распил firmware-linux

[d-kernel] дальнейший распил firmware-linux

[Michael Shigorin]

	Здравствуйте.
"После распаковки потребуется дополнительно 345MB дискового пространства"
и послужило причиной слазить в firmware-linux и посмотреть, чего там
опять лишнего для подавляющего большинства наших систем.

В сборке 20231204-alt2, отправленной заданием #335975, выделены
подпакеты qcom, mrvl, mellanox, отвечающие за три верхние позиции
рейтинга местоядных:

e16c:/lib/firmware> du -sh * | sort -rh | head
159M    qcom
82M     mrvl
82M     mellanox
64M     nvidia
60M     amdgpu
44M     ath11k
31M     intel
30M     mediatek
26M     i915
21M     qed
e16c:/lib/firmware> rpm -qf qcom              
firmware-linux-20231115-alt2.noarch

В случае марвела с мелланоксом вынесены прошивки к свичам,
которые вообще очень мало кому нужны (но мне были :)) --
а в случае с квалкомом вынесены подкаталоги для платформ,
бишь SoC, которые опять же нужны тем, кто соберётся делать
образы конкретно для таких систем.

Заодно почистил Provides:/Obsoletes: пяти-десятилетней давности
(см. тж. ALT#46206).

Следующим набегом хорошо бы разобрать amdgpu и nvidia,
вот только тут уже думать надо будет и советоваться:
есть мысль, что надо выделить метапакеты desktop и server,
* под desktop утащить всё крупное про GPU и wifi,
* под server -- про соответствующие HBA и NIC;
* остальное содержимое унести в подпакет generic;
* а сам firmware-linux сделать метапакетом,
чтобы не менять ничего в сборке образов и обновлениях,
но иметь возможность снести лишнее (и более вдумчиво
распихивать по образам, когда дойдут руки и до них).

Возможно, в некоторые подпакеты вроде qcom стоит добавить
ExclusiveArch:, если это ровно одна архитектура -- тогда
можно будет не зеркалить на любой другой, а размер репо
будет тем же, что и в случае noarch (но тут вникать надо
и это уже совсем мелочи).

-- 
Michael Shigorin
http://altlinux.org/elbrus

Re: [d-kernel] дальнейший распил firmware-linux

[Konstantin Lepikhov]

Hi Michael!

On 12/06/2023, at 11:28:56 PM you wrote:

> 	Здравствуйте.
> "После распаковки потребуется дополнительно 345MB дискового пространства"
> и послужило причиной слазить в firmware-linux и посмотреть, чего там
> опять лишнего для подавляющего большинства наших систем.
> 
> В сборке 20231204-alt2, отправленной заданием #335975, выделены
> подпакеты qcom, mrvl, mellanox, отвечающие за три верхние позиции
> рейтинга местоядных:
> 
> e16c:/lib/firmware> du -sh * | sort -rh | head
> 159M    qcom
> 82M     mrvl
> 82M     mellanox
> 64M     nvidia
> 60M     amdgpu
> 44M     ath11k
> 31M     intel
> 30M     mediatek
> 26M     i915
> 21M     qed
> e16c:/lib/firmware> rpm -qf qcom              
> firmware-linux-20231115-alt2.noarch
> 
> В случае марвела с мелланоксом вынесены прошивки к свичам,
> которые вообще очень мало кому нужны (но мне были :)) --
> а в случае с квалкомом вынесены подкаталоги для платформ,
> бишь SoC, которые опять же нужны тем, кто соберётся делать
> образы конкретно для таких систем.
> 
> Заодно почистил Provides:/Obsoletes: пяти-десятилетней давности
> (см. тж. ALT#46206).
> 
> Следующим набегом хорошо бы разобрать amdgpu и nvidia,
> вот только тут уже думать надо будет и советоваться:
> есть мысль, что надо выделить метапакеты desktop и server,
> * под desktop утащить всё крупное про GPU и wifi,
> * под server -- про соответствующие HBA и NIC;
> * остальное содержимое унести в подпакет generic;
> * а сам firmware-linux сделать метапакетом,
> чтобы не менять ничего в сборке образов и обновлениях,
> но иметь возможность снести лишнее (и более вдумчиво
> распихивать по образам, когда дойдут руки и до них).
Это все экономия на спичках и создание проблем где их нет. Особенно,
когда каждое ядро версит по полгигабайта. Миша, тебе реально нечем
заняться?

> 
> Возможно, в некоторые подпакеты вроде qcom стоит добавить
> ExclusiveArch:, если это ровно одна архитектура -- тогда
> можно будет не зеркалить на любой другой, а размер репо
> будет тем же, что и в случае noarch (но тут вникать надо
> и это уже совсем мелочи).
> 

-- 
WBR et al.

Re: [d-kernel] дальнейший распил firmware-linux

[Michael Shigorin]

On Thu, Dec 07, 2023 at 12:41:40PM +0100, Konstantin Lepikhov wrote:
> > "После распаковки потребуется дополнительно 345MB дискового пространства"
> > Следующим набегом хорошо бы разобрать amdgpu и nvidia,
> > вот только тут уже думать надо будет и советоваться:
> > есть мысль, что надо выделить метапакеты desktop и server,
> Это все экономия на спичках и создание проблем где их нет.
> Особенно, когда каждое ядро версит по полгигабайта.
> Миша, тебе реально нечем заняться?

Образы пособирай, когда там по три ядра (в смысле набора модулей)
и три фирмвари входит -- задумаешься.

Антоха со товарищи предпринимают усилия против дублирования,
но большие бата^Wгигабайты пока пересиливают.
Особенно когда это гигабайты хлама.

В ядре, кстати, такая же картина -- куча того,
что не нужно на десктопе/сервере -- туда идёт.
(ты switchdev в руках держал?)

Но этим я займусь сперва для e2k. :)

-- 
Michael Shigorin
http://altlinux.org/elbrus

Re: [d-kernel] дальнейший распил firmware-linux

[Konstantin Lepikhov]

Hi Michael!

On 12/07/2023, at 08:08:39 PM you wrote:

> On Thu, Dec 07, 2023 at 12:41:40PM +0100, Konstantin Lepikhov wrote:
> > > "После распаковки потребуется дополнительно 345MB дискового пространства"
> > > Следующим набегом хорошо бы разобрать amdgpu и nvidia,
> > > вот только тут уже думать надо будет и советоваться:
> > > есть мысль, что надо выделить метапакеты desktop и server,
> > Это все экономия на спичках и создание проблем где их нет.
> > Особенно, когда каждое ядро версит по полгигабайта.
> > Миша, тебе реально нечем заняться?
> 
> Образы пособирай, когда там по три ядра (в смысле набора модулей)
> и три фирмвари входит -- задумаешься.
Ничего не понял, что такое "три фирмвари"? Конкретизируй, что именно не
устраивает и как это поддерживать с минимальными усилиями.

-- 
WBR et al.

Re: [d-kernel] дальнейший распил firmware-linux

[Антон Мидюков]

08.12.2023 00:49, Konstantin Lepikhov пишет:
> Hi Michael!
> 
> On 12/07/2023, at 08:08:39 PM you wrote:
> 
>> On Thu, Dec 07, 2023 at 12:41:40PM +0100, Konstantin Lepikhov wrote:
>>>> "После распаковки потребуется дополнительно 345MB дискового пространства"
>>>> Следующим набегом хорошо бы разобрать amdgpu и nvidia,
>>>> вот только тут уже думать надо будет и советоваться:
>>>> есть мысль, что надо выделить метапакеты desktop и server,
>>> Это все экономия на спичках и создание проблем где их нет.
>>> Особенно, когда каждое ядро версит по полгигабайта.
>>> Миша, тебе реально нечем заняться?
>>
>> Образы пособирай, когда там по три ядра (в смысле набора модулей)
>> и три фирмвари входит -- задумаешься.
> Ничего не понял, что такое "три фирмвари"? Конкретизируй, что именно не
> устраивает и как это поддерживать с минимальными усилиями.
> 

Три фирмвари - это по одному фирмвари в каждый сквош: alitnst, live, rescue.
Но выход напрашивается сам собой, не собирать три разных сквоша :)

Выделение Мишей пакетов из firmware дало минус 180 МБ на сквош.
Тут главный вопрос, действительно ли выделение этих пакетов никому ничего не поломало?

Дальнейший распил на данный момент будет действительно экономией на спичках.

-- 
С уважением, Антон Мидюков <antohami@basealt.ru>

Re: [d-kernel] дальнейший распил firmware-linux

[Michael Shigorin]

On Fri, Dec 08, 2023 at 12:54:18AM +0700, Антон Мидюков wrote:
> Выделение Мишей пакетов из firmware дало минус 180 МБ на сквош.
> Тут главный вопрос, действительно ли выделение этих пакетов
> никому ничего не поломало?

Затем и описал, что это было и почему/куда вынес.

switchdev -- это control plane для свичей, скажем, 100GE;
мы такими занимались (ср. http://altlinux.org/NetDev),
но там совершенно уместно явно запросить нужный пакет.

> Дальнейший распил на данный момент будет действительно
> экономией на спичках.

Мода пошла десятками мегабайт пихать помодельно...
по тому же qcom решил отрезать подкаталоги для SoC-ов,
оставив файлики мелких прошивок на месте (там и сеть водится).

-- 
Michael Shigorin
http://altlinux.org/elbrus

Re: [d-kernel] дальнейший распил firmware-linux

[Alexey V. Vissarionov]

Good ${greeting_time}!

On 2023-12-06 23:28:56 +0300, Michael Shigorin wrote:

 > "После распаковки потребуется дополнительно 345MB дискового
 > пространства" и послужило причиной слазить в firmware-linux
 > и посмотреть, чего там опять лишнего для подавляющего
 > большинства наших систем.

А в чем, собственно, сложность?

gremlin@warez:~ > du -sh repo/Sisyphus/
485G    repo/Sisyphus/

По нынешним временам такого объема уже флешки бывают.

 > Следующим набегом хорошо бы разобрать amdgpu и nvidia, вот
 > только тут уже думать надо будет и советоваться: есть мысль,
 > что надо выделить метапакеты desktop и server,

Совершенно точно не так: на рабочих станциях бывает, например,
виртуализация, а на серверах бывает всякая мультимудия.

 > * под desktop утащить всё крупное про GPU и wifi,

WiFi на сервере - вполне обычное явление. Разве что работает с
оборудованием там чаще не wpa_supplicant, а hostapd.

 > * под server -- про соответствующие HBA и NIC;
 > * остальное содержимое унести в подпакет generic;
 > * а сам firmware-linux сделать метапакетом, чтобы не менять
 > ничего в сборке образов и обновлениях, но иметь возможность
 > снести лишнее (и более вдумчиво распихивать по образам,
 > когда дойдут руки и до них).

На мой взгляд, нужны пакеты firmware-${devtype}-${vendor}, их
агрегировать в firmware-${devtype} и firmware-${vendor}, а для
определенных devtype еще более высокоуровневую агрегацию можно
предусмотреть - например, switchdev и wifi в network.

Таким образом установка firmware-network затащит в систему и
firmware-switchdev-mellanox, и firmware-wifi-realtek (кому и
насколько это может быть нужно - не нам решать).

Кстати, аналогичным образом можно и ядерные модули по пакетам
раскидать, только там добавляется задача и функциональность
сохранить, и поверхность атаки сократить. Решение я предлагал,
но энтузиазма оно ни у кого не вызвало.

 > Возможно, в некоторые подпакеты вроде qcom стоит добавить
 > ExclusiveArch:, если это ровно одна архитектура -- тогда
 > можно будет не зеркалить на любой другой, а размер репо
 > будет тем же, что и в случае noarch (но тут вникать надо
 > и это уже совсем мелочи).

Пакеты с firmware - они по определению noarch.


-- 
Alexey V. Vissarionov
gremlin ПРИ altlinux ТЧК org; +vii-cmiii-ccxxix-lxxix-xlii
GPG: 0D92F19E1C0DC36E27F61A29CD17E2B43D879005 @ hkp://keys.gnupg.net