[Comm] кто врёт

[Comm] кто врёт

[Anton Gorlov]

Здравствуйте, community.

На лог сквида настроено 3 утилиты:
calamaris
oops-stat
webalizer

так вот -первые 2 показывают трафф примерно 4 мега (это всё в тесте
пока..) а webalizer аш 4 7 мб.. Кто врёт? ВНа всякий сллучай ниже
скрипт.. которым собираю статистику

#!/bin/sh
#
# 1. Move tscd logs -> *.date
# 2. Move File access.log -> access.log.date
# 3. Process Statistics

    MODE="hourly"
if [ "$1" = "dayly" ]; then
    MODE="dayly"
    echo "Running dayly mode"
fi


#
# 1. Set COMMON Variables
#

EXT="log"
HOST=fs.local
TOPN=100
LOGDIR=/var/log/squid
BINDIR=/work/statistics
WWWDIR=/var/www/vhosts/fs.local/https/squid
PIDFILE=/var/run/squid.pid

#
# Anything below here does NOT need changing!
#

umask 022
DATE=`date +%Y%m%d`
#
YEAR=`date +%Y`
MON=`date +%m`
DAY=`date +%d`
DATE2=${YEAR}${MON}
#

PID=`cat $PIDFILE`
LOGFILE=$LOGDIR/access.log.$DATE

STARTDIR=`pwd`
cd /work/statistics

############################ Process SQUID Log ##############################

############################ Rename SQUID Log ###############################

if [ $MODE = "dayly" ] ; then
    mv $LOGDIR/access.$EXT $LOGFILE
cat /dev/null  >$LOGDIR/access.$EXT
    chown squid:squid $LOGDIR/access.$EXT

    if [ -f /var/lock/subsys/squid ]; then
        /etc/rc.d/init.d/squid restart
    fi

else
    cp $LOGDIR/access.log $LOGFILE
fi


########################## Running oops-stat #################################

  SUMFILE=$WWWDIR/oops-stat/.SUM/$DATE.sum
  WWWFILE=$WWWDIR/oops-stat/Dayly/$DATE.html
  THISDAY=$WWWDIR/oops-stat/ThisDay.html
  date
  echo "Processing by oops-stat"
  echo "Processing $LOGFILE ..."
  echo "Running access-extract.pl ..."
  $BINDIR/oops-stat/access-extract.pl < $LOGFILE > $SUMFILE
  echo "Running access-extract-urls.pl ..."
  $BINDIR/oops-stat/access-extract-urls.pl < $LOGFILE >> $SUMFILE
  echo "Generating $WWWFILE ..."
  echo "Running access-summary.pl ..."
  $BINDIR/oops-stat/access-summary.pl -p 3128 -m $HOST -n $TOPN -H < $SUMFILE > $WWWFILE
  cp -f $WWWFILE $THISDAY

####################### Monthly oops-stat statistics #########################

if [ $MODE = "dayly" ] ; then
    WWWMONTHLY=$WWWDIR/oops-stat/Monthly/$DATE2.html
    SUMMONTHLY=$WWWDIR/oops-stat/.SUM/$DATE2
    THISMONTH=$WWWDIR/oops-stat/ThisMonth.html
    echo "Running access-summary.pl for whole $MON month ..."
    cat ${SUMMONTHLY}*.sum | $BINDIR/oops-stat/access-summary.pl -m $HOST -n $TOPN -H > $WWWMONTHLY
    cp -f $WWWMONTHLY $THISMONTH
fi
########################### Running Calamaris ###############################

  SUMFILE=$WWWDIR/calamaris/.SUM/$DATE.sum
  WWWFILE=${WWWDIR}/calamaris/Dayly/$DATE.html
  THISDAY=$WWWDIR/calamaris/ThisDay.html
  echo "Running calamaris-2.59 - thisday statistic"
  $BINDIR/calamaris-2.59/calamaris -u -d -1 -P 60 -r -1 -t 20 -s -w -O -o $WWWDIR/calamaris/.SUM/$DATE.sum < $LOGFILE >$WWWFILE
  cp $WWWFILE $THISDAY

  if [ $MODE="dayly" ] ; then
    WWWMONTHLY=${WWWDIR}/calamaris/Monthly/$DATE2.html
    THISMONTH=$WWWDIR/calamaris/ThisMonth.html
    echo "Running calamaris summary for whole $MON month ..."
    (cd ${WWWDIR}/calamaris/.SUM ; cat ${DATE2}* >${WWWDIR}/calamaris/.SUM/${DATE2}.sum ; $BINDIR/calamaris-2.59/calamaris -u -z -i ${WWWDIR}/calamaris/.SUM/${DATE2}.sum -d -1 -P 60 -r -1 -t 20 -s -w -O >$WWWMONTHLY ; rm ${WWWDIR}/calamaris/.SUM/${DATE2}.sum)
    cp -f $WWWMONTHLY $THISMONTH
  fi
#==============================================================================
if [ $MODE = "dayly" ] ; then
gzip $LOGFILE
else
    rm $LOGFILE
fi

#==собираем из кусков целое для обработкой web-alizer'ом==================================================================
cp $LOGDIR/access.log.*.gz /work/statistics/tmp/webalizer
gunzip /work/statistics/tmp/webalizer/*.gz
rm -f /work/statistics/tmp/webalizer/*.gz
cp $LOGDIR/access.log
cd /work/statistics/tmp/webalizer
cat ./access.log.* >>./mysquid.log
cat ./access.log >>./mysquid.log
webalizer -c /etc/webalizer/squid.conf
rm -f /work/statistics/tmp/webalizer/*

cd $STARTDIR
exit 0


-- 
С уважением,
 Anton                          mailto:Pnz.Stalker@mail.ru
                                     FIDO: 2:5059/37

Re: [Comm] кто врёт

[Mike Lykov]

В сообщении от Четверг 30 Июнь 2005 21:23 Alexey S. Kuznetsov написал:
> Я считаю, нужно создать правила на ipchains или iptables, которые
> будут считать трафф на порт 3128 сквида и проверить кто врёт.

а зачем учитывать локальный траффик? т.е. тот, что сквид отдаст из кеша?

-- 
Mike Lykov
Samara, "Vesna" parfum company, System administrator 

Re[2]: [Comm] кто врёт

[Anton Gorlov]

Здравствуйте, Mike.

Вы писали 30 июня 2005 г., 10:37:00:

>> Я считаю, нужно создать правила на ipchains или iptables, которые
>> будут считать трафф на порт 3128 сквида и проверить кто врёт.
> а зачем учитывать локальный траффик? т.е. тот, что сквид отдаст из кеша?
То есть webalizer учитывает и кеш? Хм.. всё равно много будет.. проксю
та только запустил.. откуда там столько..




-- 
С уважением,
 Anton                          mailto:Pnz.Stalker@mail.ru
                                     FIDO: 2:5059/37

Re[2]: [Comm] кто врёт

[Anton Gorlov]

Здравствуйте, Alexey.

Вы писали 30 июня 2005 г., 20:23:33:

> Hello!

>> На лог сквида настроено 3 утилиты:
>> calamaris
>> oops-stat
>> webalizer
>> так вот -первые 2 показывают трафф примерно 4 мега (это всё в тесте
>> пока..) а webalizer аш 4 7 мб.. Кто врёт?
> Я считаю, нужно создать правила на ipchains или iptables, которые
> будут считать трафф на порт 3128 сквида и проверить кто врёт.
Так тогда же я ещё и трафф из кеша посчитаю..




-- 
С уважением,
 Anton                          mailto:Pnz.Stalker@mail.ru
                                     FIDO: 2:5059/37

Re: [Comm] кто врёт

[Alexey S. Kuznetsov]

Hello!

Wednesday, June 29, 2005, 11:02:29 PM, you wrote:

> Здравствуйте, community.

> На лог сквида настроено 3 утилиты:
> calamaris
> oops-stat
> webalizer

> так вот -первые 2 показывают трафф примерно 4 мега (это всё в тесте
> пока..) а webalizer аш 4 7 мб.. Кто врёт?

Я считаю, нужно создать правила на ipchains или iptables, которые
будут считать трафф на порт 3128 сквида и проверить кто врёт.

-- 
Sincerely,
Alexey S. Kuznetsov
AK2351-RIPE

Re[2]: [Comm] кто врёт

[Alexey S. Kuznetsov]

Hello!

Wednesday, June 29, 2005, 11:37:00 PM, you wrote:

> В сообщении от Четверг 30 Июнь 2005 21:23 Alexey S. Kuznetsov написал:
>> Я считаю, нужно создать правила на ipchains или iptables, которые
>> будут считать трафф на порт 3128 сквида и проверить кто врёт.

> а зачем учитывать локальный траффик? т.е. тот, что сквид отдаст из кеша?

хм..действительно...ну если есть дальше роутеры то на них проверять.


-- 
Sincerely,
Alexey S. Kuznetsov
AK2351-RIPE