welinux.ru/welinux — Анализ временной активности

: dr_magnus 07.06.10 23:13 # +3–

в принципе, достаточно предсказуемо.
можно выделить несколько пиков активности:
- утренний час: люди проснулись/добрались до работы, почитали новости, отписались;
- обеденное время: грызем бутерброды и читаем новости
- вечернее время: добрались домой, поужинали и снова уселись за комп;
- ну и, естественно, подавляющая часть IT-шников - это полуношники: отсюда и всплеск активности с 21 до 02

exelens 07.06.10 23:15 # +0–

Молодец!

Теперь нужно только витуалопалилку написать и автобанилку настроить =)))

chemikadze 07.06.10 23:20 # ↑ +0–

Это наверное по ip палить придется, я так с ходу не знаю как сделать, чтобы работало корректно и не банило виртуалов налево-направо =)
Можно впринципе чонить прикрутить как анализатор логов опача.

dr_magnus 07.06.10 23:27 # ↑ +1–

ip может не прокатить, если юзеры за НАТом сидят. лучше сессии отслеживать. имхо.

: dr_magnus 07.06.10 23:35 # ↑ +0–

да и анализ логав апача тоже вряд ли поможет - он вроде как по дефолту пишет с какого ip какую страницу запросили. а здесь бы еще логи движка проанализировать - тогда результата можно было бы добиться.

chemikadze 07.06.10 23:44 # ↑ +1–

Сессии ж для разных юзеров будут разные. А вот провести идентификацию по IP + User-Agent + еще что-нибудь можно. Ну и отключить лишнюю автоматику, чтобы пол-сайта не перебанило, пусть просто выводит что-нибудь типа "abnormal acvivity from users XXX, YYY" =)

dr_magnus 07.06.10 23:50 # ↑ +0–

User-Agent тоже не всегда поможет. я как-то какую-то онлайн-игрушку дурил - заходил из-под разных браузеров под разными никами.
можно попробовать IP + Время + Пост - здесь "abnormal acvivity from users XXX, YYY" может стать актуальным.

: chemikadze 07.06.10 23:55 # ↑ +0–

Надо спросить у nvbn что он думает
(я пока пас, у меня своих проектов девать некуда =) )

: Username 07.06.10 23:32 # ↑ +0–

По айпи тупо банить. Овер 9000 пользователей сидят за одним внешним да еще и динамическим айпишником.

: chemikadze 07.06.10 23:21 # ↑ +0–

Кстати ты это, глянь логи хоста, мало ли ;)

chemikadze 07.06.10 23:16 # +3–

Прошу прощение за некрасивые ascii-графики, очень влом было =)

goblinyara 07.06.10 23:26 # ↑ +1–

да не за что прощать... читабельность нисколько не пострадала, а даже наоборот повысилась от отсутствия всяких рюшечек=)

chemikadze 07.06.10 23:27 # ↑ +0–

Можно было диаграммы "столбиками" нафигачить, емнип в викирситете про это даже статья есть.

: goblinyara 07.06.10 23:30 # ↑ +2–

а мне наоборот так нравится... консолько сразу вспоминается=) wget, pacman и иже с ними=)

dr_magnus 07.06.10 23:38 # ↑ +0–

не надо столбиков. такие графики обычно на сервере в консоли строятся, без всяких там ГУИ. так что твой вид представления - самое то.

: chemikadze 07.06.10 23:46 # ↑ +1–

На серверах лучше SQL-запросы выполнять, а не питоном парсить html ;)

: digiwhite 07.06.10 23:43 # ↑ +0–

Отличные графики. Все читабельно и понятно :)

: ner_uto 07.06.10 23:29 # +0–

Улыбнуло, спасибо:)

exelens 08.06.10 00:48 # +0–

Ниже приведена статистическая нагрузка аккаунта.

+--------------------------------------------------------------------------+
| server | user | cp_stat | quota | date | warnings | errors |
+--------------------------------------------------------------------------+
| stockholm | wewindows | 36.82 | 39 | 2010-05-28 | 39 | 0 |
| stockholm | wewindows | 34.95 | 38 | 2010-05-29 | 31 | 0 |
| stockholm | wewindows | 40.12 | 39 | 2010-05-30 | 23 | 0 |
| stockholm | wewindows | 41.59 | 39 | 2010-05-31 | 24 | 0 |
| stockholm | wewindows | 49.97 | 39 | 2010-06-01 | 49 | 0 |
| stockholm | wewindows | 65.28 | 40 | 2010-06-02 | 20 | 0 |
| stockholm | wewindows | 59.71 | 40 | 2010-06-04 | 39 | 0 |
| stockholm | wewindows | 56.62 | 40 | 2010-06-05 | 43 | 0 |
| stockholm | wewindows | 43.5 | 40 | 2010-06-06 | 9 | 0 |
| stockholm | wewindows | 48.02 | 40 | 2010-06-07 | 14 | 0 |
+--------------------------------------------------------------------------+

В таблице приведены следующие значения: cp_stat - статистическая процессорная
нагрузка аккаунта на сервер, warnings - число превышений нагрузки на процессор
более 10% (в течение 5 секунд), errors - число превышений нагрузки на процессор
более 50% (в течение 5 секунд). В первую очередь стоит обратить внимание на
параметр cp_stat (безразмерная величина, характеризующая статистическую нагрузку
на процессор втечение суток) - она не должна превышать заданных норм. Такими нормами
для виртуального хостинга (кроме тарифа VIP) является значение 50 и для тарифа VIP
значение - 90. Также необходимо обратить внимание на столбцы warnings и errors.
Число errors должно быть равно 0, а warnings должно стремиться к нулю. Нормально
отлаженные работающие скрипты среднего сайта не должны отнимать более 3% процессорного
времени более 3-5 секунд. Если это не так, и дальнейшая оптимизации невозможна,
следовательно необходимо рассмотреть вариант размещения проекта на выделенном сервере.

chemikadze 08.06.10 01:13 # ↑ +1–

У меня скрипт запахал числа эдак четвертого, я его пару раз в целях отладки прогонял на паре страниц, а в выходные вообще комп в руках не держал, поэтому я не при делах.

: exelens 08.06.10 01:16 # ↑ +2–

угу, понятно, нужно переезжать на ВПС и не парить моск.

mutantcornholio 08.06.10 08:05 # +0–

а как же активность на пятиминутке ненависти? Эт же самое интересное

: nvbn 08.06.10 09:22 # ↑ +2–

Там надо по комментариям анализ делать)

—

07.06.10 22:58 chemikadze

welinux — Анализ временной активности

Ради изучения питона и развлеченья для написал парсер, собирающий инфу по постам с блогов. Анализировал 4 блога:

welinux
Есть проблема
Есть вопрос
Tips & Tricks

Я анализировал зависимость кол-ва постов от времени, делая поправку на часовой пояс (по указанному городу, инфу брал здесь, всех остальных считал по дефолту "GMT+3").

В итоге получены следующие распределения по часам:

welinux.ru

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 3.61% [== ] 1: 1.81% [= ] 2: 0.60% [ ] 3: 1.20% [ ] 4: 0.00% [ ] 5: 0.00% [ ] 6: 0.60% [ ] 7: 3.61% [== ] 8: 6.02% [==== ] 9: 7.23% [===== ] 10: 1.20% [ ] 11: 4.22% [=== ] 12: 6.63% [===== ] 13: 7.23% [===== ] 14: 4.22% [=== ] 15: 3.61% [== ] 16: 9.64% [======= ] 17: 7.83% [====== ] 18: 3.01% [== ] 19: 4.82% [=== ] 20: 8.43% [====== ] 21: 3.01% [== ] 22: 7.23% [===== ] 23: 4.22% [=== ]

Как видно, наша администрация абсолютно адекватна и не красноглаза, под стать ресурсу =)

Есть проблема

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 2.76% [== ] 1: 2.41% [= ] 2: 2.41% [= ] 3: 1.72% [= ] 4: 0.34% [ ] 5: 1.03% [ ] 6: 0.00% [ ] 7: 1.72% [= ] 8: 1.38% [= ] 9: 4.14% [=== ] 10: 4.83% [=== ] 11: 4.83% [=== ] 12: 6.55% [===== ] 13: 5.17% [==== ] 14: 4.48% [=== ] 15: 8.62% [====== ] 16: 5.52% [==== ] 17: 6.90% [===== ] 18: 3.79% [=== ] 19: 5.17% [==== ] 20: 6.90% [===== ] 21: 8.62% [====== ] 22: 4.83% [=== ] 23: 5.86% [==== ]

Здесь какая-то аномалия, я ожидал что график не будет спадать до часа ночи. Но...

Есть вопрос

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 4.99% [=== ] 1: 5.21% [==== ] 2: 2.82% [== ] 3: 1.52% [= ] 4: 0.43% [ ] 5: 0.65% [ ] 6: 0.43% [ ] 7: 1.08% [ ] 8: 1.74% [= ] 9: 3.25% [== ] 10: 4.99% [=== ] 11: 4.56% [=== ] 12: 7.16% [===== ] 13: 5.64% [==== ] 14: 3.90% [=== ] 15: 5.42% [==== ] 16: 6.29% [===== ] 17: 4.99% [=== ] 18: 6.94% [===== ] 19: 6.94% [===== ] 20: 3.90% [=== ] 21: 5.86% [==== ] 22: 5.42% [==== ] 23: 5.86% [==== ]

...блог "Есть вопрос" показал всю истинную красноглазую природу линуксоидов :D

Tips & Tricks

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24 0: 6.29% [===== ] 1: 5.14% [==== ] 2: 1.71% [= ] 3: 3.43% [== ] 4: 1.71% [= ] 5: 0.00% [ ] 6: 0.00% [ ] 7: 4.00% [=== ] 8: 0.00% [ ] 9: 1.14% [ ] 10: 6.29% [===== ] 11: 5.71% [==== ] 12: 5.71% [==== ] 13: 4.57% [=== ] 14: 3.43% [== ] 15: 4.57% [=== ] 16: 2.86% [== ] 17: 6.86% [===== ] 18: 3.43% [== ] 19: 6.29% [===== ] 20: 5.14% [==== ] 21: 7.43% [===== ] 22: 7.43% [===== ] 23: 6.86% [===== ]

Тут как я понимаю большинство "полуночных постов" - результат многочасового сношения мозга с последующим победным постом.

Увы, с общей статистикой сравнить не выйдет, т.к. объем достаточно большой, а exelens мне и без этого руки оторвет.

Похожие +19–

bjaka_max — « Есть вопрос! / Хром, Ubuntu и... Qip» silent — « Переводы / Заказы переводов» silent — « Переводы / Заказы переводов» mwChief — « Есть вопрос! / Хром, Ubuntu и... Qip» todeus — « Есть вопрос! / Хром, Ubuntu и... Qip» todeus — « Есть вопрос! / Хром, Ubuntu и... Qip» Flying_Funk — « Есть вопрос! / Хром, Ubuntu и... Qip» Есть вопрос! — «Хром, Ubuntu и... Qip» ( 1 ) Username — « Переводы / Debian: дистрибутив прошлого?» Username — « Переводы / Debian: дистрибутив прошлого?» solomenikm — « K-9 / Про uTorrent, плюшки и сбычу мечт» Astramak — « Есть вопрос! / Завязываем с фанатичностью. Или расскажите почему ДЕ УГ!» ner_uto — « Переводы / Debian: дистрибутив прошлого?» Zereal — « Переводы / Debian: дистрибутив прошлого?» ner_uto — « Переводы / Debian: дистрибутив прошлого?» ner_uto — « Переводы / Debian: дистрибутив прошлого?»
Последние посты
Последние комментарии
Изменения
Черновики (все)
Избранное (всё)

Лучшие блоги (все 133) Tips & tricks (30) Есть вопрос! (24) How-to`s (22) Archlinux (22) Vim (21) Мой рабочий стол. (17) Скрипты (16) Linux Games (15) KDE (15) Debian (14)
Элита (все 2589 из 203 городов) muhas (246.6) Username (243.55) Aesdana (130.9) Shtsh (120.9) h0rr0rr_drag0n (119.7) cppmm (117.8) ZogG (110.9) Minoru (98.05) digiwhite (95.9) LeniH (92.45)

В сети: HTaeD, Deyt, bjaka_max, mwChief, exelens, s.c.o.r.p.i.o.n., xT, Finn, goblinyara, silent, shidoh, cblp, nvbn, emfs

Новенькие: myinazosicnjkr, megabaks, andromedius, Machete, wi1fu1_alive