From mboxrd@z Thu Jan 1 00:00:00 1970 Return-Path: X-Spam-Checker-Version: SpamAssassin 3.2.5 (2008-06-10) on sa.int.altlinux.org X-Spam-Level: X-Spam-Status: No, score=-1.0 required=5.0 tests=AWL,BAYES_00,URIBL_SBL autolearn=no version=3.2.5 Date: Mon, 24 Nov 2008 18:57:44 +0200 From: Michael Shigorin To: ALT Linux sysadmin discuss Message-ID: <20081124165744.GN5669@osdn.org.ua> Mail-Followup-To: ALT Linux sysadmin discuss References: Mime-Version: 1.0 Content-Type: text/plain; charset=koi8-r Content-Disposition: inline Content-Transfer-Encoding: 8bit In-Reply-To: User-Agent: Mutt/1.4.2.1i Subject: Re: [Sysadmins] =?koi8-r?b?7NXe287JyiBSQUlEPw==?= X-BeenThere: sysadmins@lists.altlinux.org X-Mailman-Version: 2.1.10b3 Precedence: list Reply-To: shigorin@gmail.com, ALT Linux sysadmin discuss List-Id: ALT Linux sysadmin discuss List-Unsubscribe: , List-Archive: List-Post: List-Help: List-Subscribe: , X-List-Received-Date: Mon, 24 Nov 2008 16:57:46 -0000 Archived-At: List-Archive: Попробую к шапочному разбору с т.з. хозмастера ftp.linux.kiev.ua. On Mon, Nov 24, 2008 at 03:22:10PM +0300, Max Ivanov wrote: > Есть задача - отдавать много большой статики (фильмы). Денег нет :) > Значит будет софтовый RAID. Что лучше: 2 по RAID1 или 1 RAID 10? Как уже и сказали, 10 != 1+0 или 0+1 -- подробнее см. тж. md(4). Пользоваться лучше одним md высшего порядка, поскольку иначе двойной расход stripe cache как минимум. --- На ftp.linux.kiev.ua используется 2xRAID5 по 4 диска для основной части и NxMD RAID1 по 2..4 диска (кусочки тех же шпинделей, что не очень хорошо) -- для ответственной; возможно, вскоре буду смотреть на осмысленность переезда одной из основных частей на RAID10 (/pub/Linux/ALT), но пока не уверен. Планируемая замена попала, в частности, под такие тесты (варьировать stripe size и -p для меня оказалось без смысла; это 4xHitachi HDS721010-KLA330): ==> bonnie-raid10-64k-xfs.log <== Version 1.03 ------Sequential Output------ --Sequential Input- --Random- -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP gig 4G 45448 98 142184 21 45937 13 48763 95 167759 25 533.6 1 ------Sequential Create------ --------Random Create-------- -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 2815 19 +++++ +++ 9311 52 5999 32 +++++ +++ 4755 32 gig,4G,45448,98,142184,21,45937,13,48763,95,167759,25,533.6,1,16,2815,19,+++++,+++,9311,52,5999,32,+++++,+++,4755,32 ==> bonnie-raid5-64k-xfs.log <== Version 1.03 ------Sequential Output------ --Sequential Input- --Random- -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks-- Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP gig 4G 39882 89 46028 9 22759 8 44967 92 204721 61 418.3 1 ------Sequential Create------ --------Random Create-------- -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete-- files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP 16 1170 2 +++++ +++ 1263 2 1425 2 +++++ +++ 987 2 gig,4G,39882,89,46028,9,22759,8,44967,92,204721,61,418.3,1,16,1170,2,+++++,+++,1263,2,1425,2,+++++,+++,987,2 (следует иметь в виду, что при втором читателе RAID10 сможет выдать по существу вдвое больший throughput) При этом был благополучно забыт целый ряд вещей (к сожалению, не скопировал выхлоп с их учётом -- raid5 заметно полегчало): - noatime для смонтированной руками xfs ;-) - hdparm -a 1024 /dev/sd[a-h]; hdparm -a 4096 /dev/mdX - echo 2048 > /sys/block/mdX/md/stripe_cache_size Ещё в целевом rc.local наблюдается такое (возможно, неактуально -- была проблема в ioscheduler из ядра Server 4.0.0): for i in a b c d e f g h; do echo deadline > /sys/block/sd$i/queue/scheduler echo 1024 > /sys/block/sd$i/queue/read_ahead_kb done --- Кстати, если есть небольшой относительно RAM, но сильно активно разбираемый файл (у нас fgsetup-1.0.0.exe сейчас образует порядка трети трафика, имея размер 173M -- одно из официальных зеркал) -- сильно помогает его держать в tmpfs. Схожая нагрузка на видавшем виды SCSI не ощущается вообще; SAS тоже совсем другой вид спорта относительно SATA. -- ---- WBR, Michael Shigorin ------ Linux.Kiev http://www.linux.kiev.ua/