welinux.ru/welinux — Анализ временной активности

: dr_magnus 07.06.10 23:13 # +3–

в принципе, достаточно предсказуемо.
можно выделить несколько пиков активности:
- утренний час: люди проснулись/добрались до работы, почитали новости, отписались;
- обеденное время: грызем бутерброды и читаем новости
- вечернее время: добрались домой, поужинали и снова уселись за комп;
- ну и, естественно, подавляющая часть IT-шников - это полуношники: отсюда и всплеск активности с 21 до 02

exelens 07.06.10 23:15 # +0–

Молодец!

Теперь нужно только витуалопалилку написать и автобанилку настроить =)))

chemikadze 07.06.10 23:20 # ↑ +0–

Это наверное по ip палить придется, я так с ходу не знаю как сделать, чтобы работало корректно и не банило виртуалов налево-направо =)
Можно впринципе чонить прикрутить как анализатор логов опача.

dr_magnus 07.06.10 23:27 # ↑ +1–

ip может не прокатить, если юзеры за НАТом сидят. лучше сессии отслеживать. имхо.

: dr_magnus 07.06.10 23:35 # ↑ +0–

да и анализ логав апача тоже вряд ли поможет - он вроде как по дефолту пишет с какого ip какую страницу запросили. а здесь бы еще логи движка проанализировать - тогда результата можно было бы добиться.

chemikadze 07.06.10 23:44 # ↑ +1–

Сессии ж для разных юзеров будут разные. А вот провести идентификацию по IP + User-Agent + еще что-нибудь можно. Ну и отключить лишнюю автоматику, чтобы пол-сайта не перебанило, пусть просто выводит что-нибудь типа "abnormal acvivity from users XXX, YYY" =)

dr_magnus 07.06.10 23:50 # ↑ +0–

User-Agent тоже не всегда поможет. я как-то какую-то онлайн-игрушку дурил - заходил из-под разных браузеров под разными никами.
можно попробовать IP + Время + Пост - здесь "abnormal acvivity from users XXX, YYY" может стать актуальным.

: chemikadze 07.06.10 23:55 # ↑ +0–

Надо спросить у nvbn что он думает
(я пока пас, у меня своих проектов девать некуда =) )

: Username 07.06.10 23:32 # ↑ +0–

По айпи тупо банить. Овер 9000 пользователей сидят за одним внешним да еще и динамическим айпишником.

: chemikadze 07.06.10 23:21 # ↑ +0–

Кстати ты это, глянь логи хоста, мало ли ;)

chemikadze 07.06.10 23:16 # +3–

Прошу прощение за некрасивые ascii-графики, очень влом было =)

goblinyara 07.06.10 23:26 # ↑ +1–

да не за что прощать... читабельность нисколько не пострадала, а даже наоборот повысилась от отсутствия всяких рюшечек=)

chemikadze 07.06.10 23:27 # ↑ +0–

Можно было диаграммы "столбиками" нафигачить, емнип в викирситете про это даже статья есть.

: goblinyara 07.06.10 23:30 # ↑ +2–

а мне наоборот так нравится... консолько сразу вспоминается=) wget, pacman и иже с ними=)

dr_magnus 07.06.10 23:38 # ↑ +0–

не надо столбиков. такие графики обычно на сервере в консоли строятся, без всяких там ГУИ. так что твой вид представления - самое то.

: chemikadze 07.06.10 23:46 # ↑ +1–

На серверах лучше SQL-запросы выполнять, а не питоном парсить html ;)

: digiwhite 07.06.10 23:43 # ↑ +0–

Отличные графики. Все читабельно и понятно :)

: ner_uto 07.06.10 23:29 # +0–

Улыбнуло, спасибо:)

exelens 08.06.10 00:48 # +0–

Ниже приведена статистическая нагрузка аккаунта.

+--------------------------------------------------------------------------+
| server | user | cp_stat | quota | date | warnings | errors |
+--------------------------------------------------------------------------+
| stockholm | wewindows | 36.82 | 39 | 2010-05-28 | 39 | 0 |
| stockholm | wewindows | 34.95 | 38 | 2010-05-29 | 31 | 0 |
| stockholm | wewindows | 40.12 | 39 | 2010-05-30 | 23 | 0 |
| stockholm | wewindows | 41.59 | 39 | 2010-05-31 | 24 | 0 |
| stockholm | wewindows | 49.97 | 39 | 2010-06-01 | 49 | 0 |
| stockholm | wewindows | 65.28 | 40 | 2010-06-02 | 20 | 0 |
| stockholm | wewindows | 59.71 | 40 | 2010-06-04 | 39 | 0 |
| stockholm | wewindows | 56.62 | 40 | 2010-06-05 | 43 | 0 |
| stockholm | wewindows | 43.5 | 40 | 2010-06-06 | 9 | 0 |
| stockholm | wewindows | 48.02 | 40 | 2010-06-07 | 14 | 0 |
+--------------------------------------------------------------------------+

В таблице приведены следующие значения: cp_stat - статистическая процессорная
нагрузка аккаунта на сервер, warnings - число превышений нагрузки на процессор
более 10% (в течение 5 секунд), errors - число превышений нагрузки на процессор
более 50% (в течение 5 секунд). В первую очередь стоит обратить внимание на
параметр cp_stat (безразмерная величина, характеризующая статистическую нагрузку
на процессор втечение суток) - она не должна превышать заданных норм. Такими нормами
для виртуального хостинга (кроме тарифа VIP) является значение 50 и для тарифа VIP
значение - 90. Также необходимо обратить внимание на столбцы warnings и errors.
Число errors должно быть равно 0, а warnings должно стремиться к нулю. Нормально
отлаженные работающие скрипты среднего сайта не должны отнимать более 3% процессорного
времени более 3-5 секунд. Если это не так, и дальнейшая оптимизации невозможна,
следовательно необходимо рассмотреть вариант размещения проекта на выделенном сервере.

chemikadze 08.06.10 01:13 # ↑ +1–

У меня скрипт запахал числа эдак четвертого, я его пару раз в целях отладки прогонял на паре страниц, а в выходные вообще комп в руках не держал, поэтому я не при делах.

: exelens 08.06.10 01:16 # ↑ +2–

угу, понятно, нужно переезжать на ВПС и не парить моск.

mutantcornholio 08.06.10 08:05 # +0–

а как же активность на пятиминутке ненависти? Эт же самое интересное

: nvbn 08.06.10 09:22 # ↑ +2–

Там надо по комментариям анализ делать)

—

07.06.10 22:58 chemikadze

welinux — Анализ временной активности

Ради изучения питона и развлеченья для написал парсер, собирающий инфу по постам с блогов. Анализировал 4 блога:

welinux
Есть проблема
Есть вопрос
Tips & Tricks

Я анализировал зависимость кол-ва постов от времени, делая поправку на часовой пояс (по указанному городу, инфу брал здесь, всех остальных считал по дефолту "GMT+3").

В итоге получены следующие распределения по часам:

welinux.ru

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 3.61% [== ] 1: 1.81% [= ] 2: 0.60% [ ] 3: 1.20% [ ] 4: 0.00% [ ] 5: 0.00% [ ] 6: 0.60% [ ] 7: 3.61% [== ] 8: 6.02% [==== ] 9: 7.23% [===== ] 10: 1.20% [ ] 11: 4.22% [=== ] 12: 6.63% [===== ] 13: 7.23% [===== ] 14: 4.22% [=== ] 15: 3.61% [== ] 16: 9.64% [======= ] 17: 7.83% [====== ] 18: 3.01% [== ] 19: 4.82% [=== ] 20: 8.43% [====== ] 21: 3.01% [== ] 22: 7.23% [===== ] 23: 4.22% [=== ]

Как видно, наша администрация абсолютно адекватна и не красноглаза, под стать ресурсу =)

Есть проблема

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 2.76% [== ] 1: 2.41% [= ] 2: 2.41% [= ] 3: 1.72% [= ] 4: 0.34% [ ] 5: 1.03% [ ] 6: 0.00% [ ] 7: 1.72% [= ] 8: 1.38% [= ] 9: 4.14% [=== ] 10: 4.83% [=== ] 11: 4.83% [=== ] 12: 6.55% [===== ] 13: 5.17% [==== ] 14: 4.48% [=== ] 15: 8.62% [====== ] 16: 5.52% [==== ] 17: 6.90% [===== ] 18: 3.79% [=== ] 19: 5.17% [==== ] 20: 6.90% [===== ] 21: 8.62% [====== ] 22: 4.83% [=== ] 23: 5.86% [==== ]

Здесь какая-то аномалия, я ожидал что график не будет спадать до часа ночи. Но...

Есть вопрос

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 4.99% [=== ] 1: 5.21% [==== ] 2: 2.82% [== ] 3: 1.52% [= ] 4: 0.43% [ ] 5: 0.65% [ ] 6: 0.43% [ ] 7: 1.08% [ ] 8: 1.74% [= ] 9: 3.25% [== ] 10: 4.99% [=== ] 11: 4.56% [=== ] 12: 7.16% [===== ] 13: 5.64% [==== ] 14: 3.90% [=== ] 15: 5.42% [==== ] 16: 6.29% [===== ] 17: 4.99% [=== ] 18: 6.94% [===== ] 19: 6.94% [===== ] 20: 3.90% [=== ] 21: 5.86% [==== ] 22: 5.42% [==== ] 23: 5.86% [==== ]

...блог "Есть вопрос" показал всю истинную красноглазую природу линуксоидов :D

Tips & Tricks

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 6.29% [===== ] 1: 5.14% [==== ] 2: 1.71% [= ] 3: 3.43% [== ] 4: 1.71% [= ] 5: 0.00% [ ] 6: 0.00% [ ] 7: 4.00% [=== ] 8: 0.00% [ ] 9: 1.14% [ ] 10: 6.29% [===== ] 11: 5.71% [==== ] 12: 5.71% [==== ] 13: 4.57% [=== ] 14: 3.43% [== ] 15: 4.57% [=== ] 16: 2.86% [== ] 17: 6.86% [===== ] 18: 3.43% [== ] 19: 6.29% [===== ] 20: 5.14% [==== ] 21: 7.43% [===== ] 22: 7.43% [===== ] 23: 6.86% [===== ]

Тут как я понимаю большинство "полуночных постов" - результат многочасового сношения мозга с последующим победным постом.

Увы, с общей статистикой сравнить не выйдет, т.к. объем достаточно большой, а exelens мне и без этого руки оторвет.

Похожие +19–

mitrik — « Пятиминутка ненависти! / Как Windows чуть не сорвала мне защиту» mitrik — « Пятиминутка ненависти! / Как Windows чуть не сорвала мне защиту» pilat — « Есть проблема! / Не получается установить MsOffice на ubuntu 10.04» K-9 — « Есть проблема! / Не получается установить MsOffice на ubuntu 10.04» K-9 — « Есть проблема! / Не получается установить MsOffice на ubuntu 10.04» werru — « Tips & tricks / Будим компьютер удаленно.» pilat — « Есть проблема! / Не получается установить MsOffice на ubuntu 10.04» iMelnik — « How-to`s / Пакетная установка ПО для wine (wine-doors)» imurzich — « Хочу фичу! / Отключение отображения аватар в настройках» imurzich — « Хочу фичу! / Отключение отображения аватар в настройках» Astramak — « Пятиминутка ненависти! / Что за прикол в заголовок статьи на welinux ставить ссылку на другой сайт ?» HTaeD — « Tips & tricks / Рекурсивная загрузка или Как правильно загрузить в qemu собственную систему» Username — « Talks! / Сколько, если не секрет, Вы зарабатываете.» DobrijZmej — « Есть вопрос! / Использование клиента для протокола RAdmin под Linux [решено]» xT — « Хочу фичу! / Отключение отображения аватар в настройках» extra — « KDE / Стартовал проект «Join the Game»!»
Последние посты
Последние комментарии
Изменения
Черновики (все)
Избранное (всё)

Лучшие блоги (все 124) Tips & tricks (26) Есть вопрос! (21) How-to`s (20) Archlinux (19) Linux Games (15) Debian (14) Vim (14) Я рекомендую. (13) KDE (13) welinux (12)
Элита (все 2202 из 181 города) muhas (216.55) Username (211.35) h0rr0rr_drag0n (105.95) Aesdana (102.2) Shtsh (96.5) ZogG (95.25) LeniH (91.8) cppmm (90.3) Minoru (90.05) Astramak (77.9)

В сети: dfx, punk, hanoson, Craftuser, mitrik, nvbn, Shtsh, stogerc, devl547, doraneko, shidoh

Новенькие: centerprestigest, ingmar, moler, sayrink, nupam