Re: [devel] re APT patch with impossible error on "Can't allocate an item of size zero"

[Ivan Zakharyaschev <imz@altlinux.org>]

[-- Attachment #1: Type: text/plain, Size: 9840 bytes --]


On Thu, 13 Feb 2020, Aleksei Nikiforov wrote:

> 13.02.2020 05:08, Ivan Zakharyaschev пишет:
> > В ветке sisyphus_one_more_time в
> > git://git.altlinux.org/people/darktemplar/packages/apt.git в коммите
> > 
> > commit f53c1af17e2997ff6d2e23139bc61f5d5c82a547
> > Author: Aleksei Nikiforov <darktemplar@altlinux.org>
> > Date:   Tue Jun 11 14:53:47 2019 +0300
> > 
> >      dynamic memory management: apt-pkg/pkgcachegen.{cc,h} changes
> >      
> >      make the used MMap moveable (and therefore dynamic resizeable) by
> >      applying (some) mad pointer magic
> >      
> >      Ported from Apt from Debian
> >      
> >      Closes: https://bugzilla.altlinux.org/37373
> >      
> >      Change-Id: I4583e13077e7504ec8f59df4bcf3bc825eaf6202
> > 
> > есть такой hunk касательно DynamicMMap::RawAllocate():
> > 
> > diff --git a/apt/apt-pkg/contrib/mmap.cc b/apt/apt-pkg/contrib/mmap.cc
> > index d7a5c3a68..36dc11524 100644
> > --- a/apt/apt-pkg/contrib/mmap.cc
> > +++ b/apt/apt-pkg/contrib/mmap.cc
> > @@ -226,6 +245,12 @@ unsigned long DynamicMMap::RawAllocate(unsigned long
> > Size,unsigned long Aln)
> >      size in the file. */
> >   unsigned long DynamicMMap::Allocate(unsigned long ItemSize)
> >   {
> > +   if (ItemSize == 0)
> > +   {
> > +      _error->Error("Can't allocate an item of size zero");
> > +      return 0;
> > +   }
> > +
> >      // Look for a matching pool entry
> >      Pool *I;
> >      Pool *Empty = 0;

> Оригинальный commit message был взять из коммита, портируемого из Debian и не
> менялся, и без веских оснований не планирует меняться.

Гмм.

> > Во-вторых, я подумал, что это такой класс ошибок, который не возникает
> > в run-time из-за плохих данных или отказа ОС (например, выделить
> > память или прочитать файл) -- т.е. не что-то заранее непредсказуемое
> > для программиста и поэтому требующее специальной обработки в run-time.
> > 
> > Если програмист написал всё так, как он хотел, то он не передаст
> > неправильный аргумент (0) в функцию. (Да и понятно, что в реальном
> > коде APT это не ожидается: там обычно этот аргумент заполняется
> > константой sizeof(...).)
> > 
> 
> Ты упускаешь большой момент. mmap.h - публичный заголовок библиотеки libapt.
> Помимо самого apt, им пользуется ещё и немало клиентов. Даже если в самом apt
> не найдётся способа неправильно вызвать данную функцию, это ничего не значит.
> Не проверять входные данные - плохая идея.

Всё равно это ответственность программиста: правильно вызвать.

Я выше написал, в каких случаях я счиатю нужным проверять данные.

> > Я бы предложил такие требования (имеющие характер спецификации того,
> > что программист задумал реализовать) оформлять просто с помощью
> > assert.
> > 
> 
> assert в не-debug сборке отсутствует. Потому чуть более чем полностью
> бесполезен не во время разработки приложения.

Я так и задумывал.


> Это не средство проверки входных
> данных. Поэтому я против.
> 
> > Так будет легче понимать код: сразу ясно, что выполнение этого условия
> > (важного для корректности кода в теле функции) просто гарантируется
> > тем, как весь наш код написан и вообще-то может быть обосновано ещё до
> > run-time (просто глядя на исходный код, на том же этапе работы, что и
> > запускаем компилятор).
> > 
> > Для справки: единственный вызов Allocate() в коде, который находится с
> > помощью
> > 
> > git grep -nH -Ee '(^|[^[:alpha:]])Allocate\('
> > 
> > это:
> > 
> > std::experimental::optional<map_ptrloc>
> > pkgCacheGenerator::AllocateInMap(unsigned long size) {/*{{{*/
> >     void *oldMap = Map.Data();
> >     const auto index = Map.Allocate(size);
> >     if (index)
> >        ReMap(oldMap, Map.Data());
> >     return index;
> > }
> > 
> > поищем, как используется AllocateInMap():
> > 
> > git --no-pager grep -nH -Ee '(^|[^[:alpha:]])AllocateInMap\('
> > apt/apt-pkg/pkgcachegen.cc:167:std::experimental::optional<map_ptrloc>
> > pkgCacheGenerator::AllocateInMap(unsigned long size) {/*{{{*/
> > apt/apt-pkg/pkgcachegen.cc:449:   const auto Package =
> > AllocateInMap(sizeof(pkgCache::Package));
> > apt/apt-pkg/pkgcachegen.cc:502:   const auto VerFile =
> > AllocateInMap(sizeof(pkgCache::VerFile));
> > apt/apt-pkg/pkgcachegen.cc:533:   const auto Version =
> > AllocateInMap(sizeof(pkgCache::Version));
> > apt/apt-pkg/pkgcachegen.cc:561:   const auto Dependency =
> > Owner->AllocateInMap(sizeof(pkgCache::Dependency));
> > apt/apt-pkg/pkgcachegen.cc:639:   const auto Provides =
> > Owner->AllocateInMap(sizeof(pkgCache::Provides));
> > apt/apt-pkg/pkgcachegen.cc:686:   const auto idxFile =
> > AllocateInMap(sizeof(*CurrentFile));
> > apt/apt-pkg/pkgcachegen.cc:744:   const auto Item =
> > AllocateInMap(sizeof(pkgCache::StringItem));
> > apt/apt-pkg/pkgcachegen.h:45:   std::experimental::optional<map_ptrloc>
> > AllocateInMap(unsigned long size);
> > 
> > -- как я и подозревал, константа времени компиляции sizeof(...).
> > 
> > Я за assert в обсуждаемом месте.
> > 
> > Примеры использования assert в коде APT:
> > 
> > git --no-pager grep -nH -Ee '(^|[^_[:alpha:]])assert\('
> > apt/apt-pkg/acquire-item.cc:309:	 assert(Repository == NULL ||
> > Repository->IsAuthenticated() == false);
> > apt/apt-pkg/acquire-item.cc:390:   assert(Master == false || Repository !=
> > NULL);
> > apt/apt-pkg/luaiface.cc:125:   assert(lua_istable(L, -1));
> > apt/apt-pkg/luaiface.cc:198:   assert(lua_istable(L, -1));
> > apt/apt-pkg/luaiface.cc:220:	 assert(lua_gettop(L) == 0);
> > apt/apt-pkg/pkgcache.cc:421:	 assert(Size < sizeof(Res)/sizeof(*Res));
> > apt/apt-pkg/pkgcache.cc:450:	 assert(Size < sizeof(Res)/sizeof(*Res));
> > apt/apt-pkg/rpm/rpmhandler.cc:106:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmhandler.cc:112:   assert(rc != 0);
> > apt/apt-pkg/rpm/rpmhandler.cc:124:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmhandler.cc:141:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmhandler.cc:149:      assert(i != NULL);
> > apt/apt-pkg/rpm/rpmhandler.cc:162:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmhandler.cc:207:   assert(Offset == 0);
> > apt/apt-pkg/rpm/rpmrecords.cc:92:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:114:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:128:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:146:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:211:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:329:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmrecords.cc:369:   assert(type == RPM_STRING_ARRAY_TYPE ||
> > count == 0);
> > apt/apt-pkg/rpm/rpmrecords.cc:406:   assert(type == RPM_STRING_ARRAY_TYPE ||
> > count == 0);
> > apt/apt-pkg/rpm/rpmrecords.cc:423:   assert(type == RPM_STRING_ARRAY_TYPE ||
> > count == 0);
> > apt/apt-pkg/rpm/rpmrecords.cc:440:   assert(type == RPM_STRING_ARRAY_TYPE ||
> > count == 0);
> > apt/apt-pkg/rpm/rpmsrcrecords.cc:71:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmsrcrecords.cc:89:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmsrcrecords.cc:136:   assert(HeaderP != NULL);
> > apt/apt-pkg/rpm/rpmsrcrecords.cc:378:   assert(type == RPM_STRING_ARRAY_TYPE
> > || count == 0);
> > apt/apt-pkg/rpm/rpmsrcrecords.cc:415:   assert(type == RPM_STRING_ARRAY_TYPE
> > || count == 0);
> > apt/buildlib/ltmain.sh:4808:  assert(path != NULL);
> > apt/buildlib/ltmain.sh:4833:  assert(str != NULL);
> > apt/buildlib/ltmain.sh:4834:  assert(pat != NULL);
> > apt/lua/lapi.c:38:#define api_check(L, o)		/*{ assert(o); }*/
> > apt/lua/ltests.c:358:  assert(lua_gettop(L) == level+1);  /* +1 for result
> > */
> > apt/lua/ltests.c:365:  assert(lua_gettop(L) == level+1);
> > apt/lua/ltests.c:372:  assert(lua_gettop(L) == level);
> > apt/tools/cached_md5.cc:45:      assert(p1);
> > apt/tools/cached_md5.cc:50:      assert(p2);
> > apt/tools/genpkglist.cc:206:   assert(l1.bnc == l1.dic);
> > apt/tools/genpkglist.cc:237:   assert(l2.bnc == l2.dic);
> > 
> > 
> > * * *
> > 
> > Весь контекст изменений в DynamicMMap::RawAllocate():
> > 
> > diff --git a/apt/apt-pkg/contrib/mmap.cc b/apt/apt-pkg/contrib/mmap.cc
> > index d7a5c3a68..36dc11524 100644
> > --- a/apt/apt-pkg/contrib/mmap.cc
> > +++ b/apt/apt-pkg/contrib/mmap.cc
> > @@ -226,6 +245,12 @@ unsigned long DynamicMMap::RawAllocate(unsigned long
> > Size,unsigned long Aln)
> >      size in the file. */
> >   unsigned long DynamicMMap::Allocate(unsigned long ItemSize)
> >   {
> > +   if (ItemSize == 0)
> > +   {
> > +      _error->Error("Can't allocate an item of size zero");
> > +      return 0;
> > +   }
> > +
> >      // Look for a matching pool entry
> >      Pool *I;
> >      Pool *Empty = 0;
> > @@ -252,15 +277,26 @@ unsigned long DynamicMMap::Allocate(unsigned long
> > ItemSize)
> >         I->Count = 0;
> >      }
> >      
> > +   unsigned long Result = 0;
> >      // Out of space, allocate some more
> >      if (I->Count == 0)
> >      {
> > -      I->Count = 20*1024/ItemSize;
> > -      I->Start = RawAllocate(I->Count*ItemSize,ItemSize);
> > -   }
> > +      const unsigned long size = 20*1024;
> > +      I->Count = size/ItemSize;
> > +      Pool* oldPools = Pools;
> > +      Result = RawAllocate(I->Count*ItemSize,ItemSize);
> > +      if (Result == 0)
> > +         return 0;
> > +
> > +      if (Pools != oldPools)
> > +         I = RebasePointer(I, oldPools, Pools);
> > +
> > +      I->Start = Result;
> > +   }
> > +   else
> > +      Result = I->Start;
> >   
> >      I->Count--;
> > -   unsigned long Result = I->Start;
> >      I->Start += ItemSize;
> >      return Result/ItemSize;
> >   }
> > 
> > 
> > _______________________________________________
> > Devel mailing list
> > Devel@lists.altlinux.org
> > https://lists.altlinux.org/mailman/listinfo/devel
> > 
> _______________________________________________
> Devel mailing list
> Devel@lists.altlinux.org
> https://lists.altlinux.org/mailman/listinfo/devel
>