welinux.ru / Скрипты — Yet another httpd logs analyzer bash-scripts

idler 15.02.2010 00:21

Скрипты — Yet another httpd logs analyzer bash-scripts

Ну и под настроение еще один велосипед.
Бывает, что устанавливать на чей-то (а то и на свой) сайт/хостниг полноценный анализатор логов лень, а посмотреть, как вас находят очень хочется.

В этих случаях использую следующие скрипты:
( не все решения хороши, ибо писались в моменты, когда все лень или все некогда )

max@maxantonov:~/www$ cat yandex

1
2
3

#!/bin/bash

cat $1|grep yandex |awk '{print $4 "\t" $1 "\t " $7 "\t " $11}'|grep text |sed 's/".*text=//g; s/&.*$//g; s/"//g'|awk '{if(NF>2) {print $0;}}'|while read i; do echo "<?php \$z=urldecode('$i').\"\n\";   if(preg_match('#'.iconv('utf8','cp1251','<а-я>').'#is',\$z)){ echo \$z;}else{ echo iconv('utf8','cp1251',\$z); }                          "|php; done|iconv -f cp1251 -t utf-8

max@maxantonov:~/www$ cat google

#!/bin/bash


cat $1 | grep -E "google.*search"|awk '{print $4 "\t" $1 "\t" $7 "\t" $11}'|sed ' s/"http.*\/search//g; s/?q=//g; s/?.*&q;=//g; s/\&.*$//g'|while read i; do echo "<?php \$z=urldecode('$i').\"\n\";   if(preg_match('#'.iconv('utf8','cp1251','<а-я>').'#is',\$z)){ echo \$z;}else{ echo iconv('utf8','cp1251',\$z); }"|php; done|iconv -f cp1251 -t utf-8

работает это так: (когда IP URL запрос)

max@maxantonov:~/www$ ./yandex bash.log
<14/Feb/2010:08:43:40   80.71.253.249    /abs/chunks/ch07.html   if then fi
<14/Feb/2010:15:32:44   188.186.118.218  /       оболочка bash
<14/Feb/2010:18:42:53   80.71.253.249    /abs/chunks/ch10.html   for do done
<14/Feb/2010:20:14:05   80.250.160.20    /abs/chunks/ch07s02.html        bash test
<14/Feb/2010:22:02:39   80.250.160.20    /abs/chunks/ch07.html   bash команда test
max@maxantonov:~/www$