[sisyphus] IA: collectd-5.0 (data migration needed)

[sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

	Здравствуйте.
Как уже и предупреждалось в ченжлоге пакета collectd,
нам предстоит переезд на 5.0.

Особых мер в пакете предпринимать не планирую, чтоб не вышло
задержки, как с 3.x->4.x (из-за чего новые установки могут
получить изначально устаревший формат данных, чего бы не
хотелось) -- то есть после обкатки в Sisyphus предполагаю
разместить collectd-5.0.x в t6/branch и по результатам
обкатки там рекомендовать в p6/branch.

Тестовая сборка здесь: http://git.altlinux.org/tasks/47676/

Рекомендации апстрима здесь:
http://collectd.org/wiki/index.php/V4_to_v5_migration_guide

Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
начиная с коллектора.  Не забудьте добавить на сервере:

<Chain "PreCache">
  Target "v5upgrade"
</Chain>

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Saturday, June 11, 2011, Michael Shigorin wrote:

> Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
> начиная с коллектора.  Не забудьте добавить на сервере:
> 
> <Chain "PreCache">
>   Target "v5upgrade"
> </Chain>

Это надо в конфиге старого сделать, до апгрейда на 5.0 ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Sat, Jun 11, 2011 at 04:32:04PM +0400, Sergey wrote:
> > Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
> > начиная с коллектора.  Не забудьте добавить на сервере:

(в смысле начиная с сервера)

> > <Chain "PreCache">
> >   Target "v5upgrade"
> > </Chain>
> 
> Это надо в конфиге старого сделать, до апгрейда на 5.0 ?

В конфиге сервера перед обновлением/рестартом.
Всё же лучше почитать ссылочку, там подробнее,
а это самый минимум.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Sat, Jun 11, 2011 at 02:30:44PM +0300, I wrote:
> Тестовая сборка здесь: http://git.altlinux.org/tasks/47676/

Отправляется в сизиф (вместе с новым libmemcached).

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Saturday 11 June 2011, Michael Shigorin wrote:

> то есть после обкатки в Sisyphus предполагаю разместить
> collectd-5.0.x в t6/branch и по результатам обкатки там
> рекомендовать в p6/branch. 

Вообще, это бы стоит сделать до выпуска первого дистрибутива на p6.

> Кто как, а я своё хозяйство уже потихоньку перетаскиваю,

В принципе работает, но есть кое-что непонятное. Местами данные
какие-то рваные получаются при сборе по snmp. Пока непонятно, почему.
Можно бы подумать на пропуски, но, даже в пределах одного коммутатора,
по некоторым портам есть пропуски, по некоторым нет.

> Не забудьте добавить на сервере:
>
><Chain "PreCache">
>  Target "v5upgrade"
></Chain>

Тут тоже что-то не так: collectd[13570]: Filter subsystem: Cannot
find a "v5upgrade" target. Did you load the appropriate plugin?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Aleksey Novodvorsky]

26 июня 2011 г. 16:55 пользователь Sergey <a_s_y@sama.ru> написал:
> On Saturday 11 June 2011, Michael Shigorin wrote:
>
>> то есть после обкатки в Sisyphus предполагаю разместить
>> collectd-5.0.x в t6/branch и по результатам обкатки там
>> рекомендовать в p6/branch.
>
> Вообще, это бы стоит сделать до выпуска первого дистрибутива на p6.

Время пока есть.

Rgrds, Алексей

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Sun, Jun 26, 2011 at 04:55:37PM +0400, Sergey wrote:
> > то есть после обкатки в Sisyphus предполагаю разместить
> > collectd-5.0.x в t6/branch и по результатам обкатки там
> > рекомендовать в p6/branch. 
> Вообще, это бы стоит сделать до выпуска первого дистрибутива на p6.

А я для чего предварительный анонс ещё в ченжлог зимнего
4.10.2-alt5 положил? ;-)

> > Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
> В принципе работает, но есть кое-что непонятное. Местами данные
> какие-то рваные получаются при сборе по snmp. Пока непонятно,
> почему.  Можно бы подумать на пропуски, но, даже в пределах
> одного коммутатора, по некоторым портам есть пропуски, по
> некоторым нет.

Лучше сразу к Флориану в апстрим.

> > Не забудьте добавить на сервере:
> ><Chain "PreCache">
> >  Target "v5upgrade"
> ></Chain>
> Тут тоже что-то не так: collectd[13570]: Filter subsystem: Cannot
> find a "v5upgrade" target. Did you load the appropriate plugin?

Это точно 5.0.x?

$ rpm -ql collectd | fgrep v5upgrade
/usr/lib64/collectd/target_v5upgrade.so
$ rpm -q collectd
collectd-5.0.0-alt1

(t6/branch, на котором и проверял)

PS: спасибо, что напомнил -- пожалуй, я всё-таки заброшу его
уже в бранч, чтоб перебирающиеся решали сейчас, а не когда всё
успокоится и тут внезапно накануне выпуска...

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Sunday 26 June 2011, Michael Shigorin wrote:

> > Тут тоже что-то не так: collectd[13570]: Filter subsystem: Cannot
> > find a "v5upgrade" target. Did you load the appropriate plugin?
> 
> Это точно 5.0.x?
> 
> $ rpm -ql collectd | fgrep v5upgrade
> /usr/lib64/collectd/target_v5upgrade.so
> $ rpm -q collectd
> collectd-5.0.0-alt1
 
collectd-5.0.0-alt2
/usr/lib64/collectd/target_v5upgrade.so есть.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Mon, Jun 27, 2011 at 02:32:04AM +0400, Sergey wrote:
> > > Тут тоже что-то не так: collectd[13570]: Filter subsystem: Cannot
> > > find a "v5upgrade" target. Did you load the appropriate plugin?
> > Это точно 5.0.x?
> > $ rpm -ql collectd | fgrep v5upgrade
> > /usr/lib64/collectd/target_v5upgrade.so
> > $ rpm -q collectd
> > collectd-5.0.0-alt1
> collectd-5.0.0-alt2
> /usr/lib64/collectd/target_v5upgrade.so есть.

И так жалуется?  У себя не наблюдаю.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Monday, June 27, 2011, Michael Shigorin wrote:

> > collectd-5.0.0-alt2
> > /usr/lib64/collectd/target_v5upgrade.so есть.
> 
> И так жалуется?  У себя не наблюдаю.

Жалуется. Ставил на p6 из Сизифа, как есть, без пересборок.
Что-то у меня сегодня руки не дошли до разбора.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Monday, June 27, 2011, Michael Shigorin wrote:

> > > $ rpm -q collectd
> > > collectd-5.0.0-alt1
> > collectd-5.0.0-alt2
> > /usr/lib64/collectd/target_v5upgrade.so есть.
> 
> И так жалуется?  У себя не наблюдаю.

А требуется что-то вроде "LoadPlugin v5upgrade" ? Хотя именно
вот это не помогло.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Wednesday, August 10, 2011, Sergey wrote:

> А требуется что-то вроде "LoadPlugin v5upgrade" ? Хотя именно
> вот это не помогло.

Ага... LoadPlugin target_v5upgrade
Надо бы это в конфиг добавить. А то привычка уже, что там всё есть,
хотябы закомментированное.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Wed, Aug 10, 2011 at 11:46:56AM +0400, Sergey wrote:
> > А требуется что-то вроде "LoadPlugin v5upgrade" ? Хотя именно
> > вот это не помогло.
> Ага... LoadPlugin target_v5upgrade
> Надо бы это в конфиг добавить. А то привычка уже, что там всё
> есть, хотябы закомментированное.

Так правленый конфиг не заменяется; да и в пакете апстримный,
который я руками не трогаю (там есть машинерия насчёт двойного
комментирования модулей, которые не собираются).

Может, триггер на обновление с 4.x нарисовать?..
(опять же буду признателен за готовый)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Wednesday, August 10, 2011, Michael Shigorin wrote:

> Так правленый конфиг не заменяется;

Это понятно.

> да и в пакете апстримный,

Вот в нём и нет...

> который я руками не трогаю (там есть машинерия насчёт
> двойного комментирования модулей, которые не собираются).

В смысле, это на этапе сборки происходит ? Интересный подход,
не знал.

> Может, триггер на обновление с 4.x нарисовать?..
> (опять же буду признателен за готовый)

Сразу с конвертацией данных ? А их много может быть... А без
конвертации особенного смысла и нет. Опять же, я всё ещё без
стимула - у меня так переход на collectd и не состоялся - так
и не доходят руки довести до конца принятие решения по поводу
того RAID (блин, может уже забить и попросить денег на хардварный),
я всё ещё могу себе позволить все данные снова грохнуть. :-)

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Wed, Aug 10, 2011 at 01:00:22PM +0400, Sergey wrote:
> > Может, триггер на обновление с 4.x нарисовать?..
> > (опять же буду признателен за готовый)
> Сразу с конвертацией данных ?

Не-не, с предупреждением.

Хотя вообще созреваю паковать такие вещи как collectd{3,4,5}
и разносить данные (из-за которых весь сыр-бор) соответственно.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Wednesday, August 10, 2011, Sergey wrote:

> > А требуется что-то вроде "LoadPlugin v5upgrade" ? Хотя именно
> > вот это не помогло.
> 
> Ага... LoadPlugin target_v5upgrade
> Надо бы это в конфиг добавить. А то привычка уже, что там всё есть,
> хотябы закомментированное.

Что-то с этим v5upgrade здорово растёт загрузка. Без него ниже 1,
с ним - выше 4-х.

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Monday, August 15, 2011, Sergey wrote:

> > Надо бы это в конфиг добавить. А то привычка уже, что там всё есть,
> > хотябы закомментированное.
> 
> Что-то с этим v5upgrade здорово растёт загрузка. Без него ниже 1,
> с ним - выше 4-х.
 
И, кажется, понятно, почему. Что-то там не работает и получается
значительно больше файлов (как раз в разы). Например, почему-то
load.rrd, относящийся к cpu, в какаих-то каталогах с именем интерфейса
образуется ещё:

load
load-eth2
load-eth2.889:
load-eth5:
load-eth8:
load-lo:

В каталогах интерфейсов тоже чужие данные какие-то, от других
интерфейсов... 

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Monday 15 August 2011, Sergey wrote:

> load-eth2.889:
> load-eth5:
> load-eth8:
> load-lo:
> 
> В каталогах интерфейсов тоже чужие данные какие-то, от других
> интерфейсов... 
 
У кого-нибудь подтвердилось, или никто не пробовал ?

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Michael Shigorin]

On Thu, Aug 18, 2011 at 01:34:28AM +0400, Sergey wrote:
> > В каталогах интерфейсов тоже чужие данные какие-то, от других
> > интерфейсов... 
> У кого-нибудь подтвердилось, или никто не пробовал ?

v5upgrade использую в одном месте, странностей будто не было.

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Thursday, August 18, 2011, Michael Shigorin wrote:

> > У кого-нибудь подтвердилось, или никто не пробовал ?
> 
> v5upgrade использую в одном месте, странностей будто не было.
 
Так проверить просто: посмотри, что в каталоге того хоста на
collectd-сервере. Точно нет лишних rrd ? И что на клиенте 4.x
включено в плагинах ? У меня конфиг по-умолчанию + network.
И, на вякий случай, сколько сетевых интерфейсов на клиенте ?
У меня, во всех случаях, или более одного, или сильно более
одного (без учёта lo). Может тут беда какая, так как именно они
в этой путанице участвуют...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Thursday, August 18, 2011, Michael Shigorin wrote:

> > У кого-нибудь подтвердилось, или никто не пробовал ?
> 
> v5upgrade использую в одном месте, странностей будто не было.
 
В общем, решил забить на эту проблему. 5.0 просто собрал себе для
более старых бранчей. Кое-какие плагины отключить пришлось, но их
было там не жаль. 

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Thursday 18 August 2011, Michael Shigorin wrote:

> > У кого-нибудь подтвердилось, или никто не пробовал ?
> 
> v5upgrade использую в одном месте, странностей будто не было.
 
Florian Forster баг подтвердил... В остальном проблем я не вижу. Кроме
стандартно включенных, использую плагины snmp, apcups, network, sensors,
dns. И, даже, вроде бы, падать перестало (это что я тут описывал 04/09/2010,
"[подземный стук] collectd-snmp-4.10.1-alt1.1...").

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Sunday, June 26, 2011, Michael Shigorin wrote:

> > > Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
> > В принципе работает, но есть кое-что непонятное. Местами данные
> > какие-то рваные получаются при сборе по snmp. Пока непонятно,
> > почему.  Можно бы подумать на пропуски, но, даже в пределах
> > одного коммутатора, по некоторым портам есть пропуски, по
> > некоторым нет.
> 
> Лучше сразу к Флориану в апстрим.
 
Написал в рассылку collectd@...

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Thursday, August 04, 2011, Sergey wrote:

> > > > Кто как, а я своё хозяйство уже потихоньку перетаскиваю,
> > > В принципе работает, но есть кое-что непонятное. Местами данные
> > > какие-то рваные получаются при сборе по snmp. Пока непонятно,
> > > почему.  Можно бы подумать на пропуски, но, даже в пределах
> > > одного коммутатора, по некоторым портам есть пропуски, по
> > > некоторым нет.
> > 
> > Лучше сразу к Флориану в апстрим.
>  
> Написал в рассылку collectd@...

Со второго раза ответ дошёл. В общем, это не бага, это фича. А суть
в том, что сменился тип данных как раз, с "COUNTER" на "DERIVE".
С типом COUNTER допускается однократное переполнение счётчика, при
этом, кто-то (вот тут не понял, rrd или collectd) восстанавливает
правильное значение. С типом DERIVE в базу попадает пустое значение.
В общем, всё-таки, банальное переполнение и надо переходить на
ifHCInOctets/ifHCOutOctets

-- 
С уважением, Сергей
a_s_y@sama.ru

Re: [sisyphus] IA: collectd-5.0 (data migration needed)

[Sergey]

On Wednesday, August 10, 2011, Sergey wrote:

> В общем, всё-таки, банальное переполнение и надо переходить на
> ifHCInOctets/ifHCOutOctets
 
Первые грабли. H3C ifHC-счётчики отдаёт по любому протоколу, а D-Link
по snmp 1 не отдаёт, только 2c...

-- 
С уважением, Сергей
a_s_y@sama.ru