welinux.ru / Есть вопрос! — [Решено] Высокий load average

s4f 18.03.2011 11:21

Есть вопрос! — [Решено] Высокий load average

Дано:

Centos5.5

model name : Intel(R) Xeon(R) CPU X3210 @ 2.13GHz
cpu MHz : 2133.382
cache size : 4096 KB

MemTotal: 8053524 kB
MemFree: 1045784 kB

На сервере стоит:
isp-панель;
около 20 сайтов, два из которых крупные интернет магазины на битриксе;
5 почтовых доменов, общее количество ящиков пару сотен с greylist, spamassasin и без imap

Прочитал что загрузка должна колибаться до 2-4, так ли это?

Дополнение 1

top:

top - 12:17:36 up 63 days, 20:14,  2 users,  load average: 4.21, 3.90, 3.75

Tasks: 150 total,   5 running, 145 sleeping,   0 stopped,   0 zombie

Cpu0  : 94.7%us,  4.7%sy,  0.0%ni,  0.7%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu1  : 95.3%us,  3.7%sy,  0.0%ni,  1.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu2  : 96.3%us,  3.7%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Cpu3  : 98.0%us,  2.0%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

Mem:   8053524k total,  7961408k used,    92116k free,   353400k buffers

Swap:  4192956k total,   653092k used,  3539864k free,  1497968k cached



  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                               

17162 apache    25   0  387m  42m 4736 R 75.9  0.5  69:46.43 httpd                                 

17161 apache    25   0  397m  52m 4924 R 67.2  0.7  63:08.63 httpd                                 

 6996 apache    25   0  616m 220m 6320 R 65.9  2.8 232:27.18 httpd                                 

10032 apache    15   0  616m 220m 6264 S 46.6  2.8   3:26.89 httpd                                 

 5585 apache    16   0  616m 220m 6396 S 32.6  2.8 173:22.85 httpd                                 

27859 apache    16   0  563m 219m 4916 S 32.6  2.8   0:11.73 httpd                                 

27958 apache    16   0  565m 220m 4924 R 26.6  2.8   0:08.69 httpd                                 

27021 apache    15   0  618m 221m 6924 S 20.3  2.8 177:51.69 httpd                                 

22177 mysql     15   0  370m  59m 3688 S 13.6  0.8   1333:20 mysqld                                

 5612 apache    15   0  616m 220m 6312 S 11.3  2.8 172:55.64 httpd                                 

26724 apache    15   0  620m 223m 6972 S  3.0  2.8   5:26.18 httpd                                 

 2836 nobody    15   0  170m  44m 1912 S  0.3  0.6   0:09.56 spamd                                 

16915 apache    15   0  616m 219m 5676 S  0.3  2.8   2:02.06 httpd                                 

28606 root      15   0 12740 1116  812 R  0.3  0.0   0:00.03 top                                   

32410 smmsp     15   0  381m  86m  700 S  0.3  1.1   4:31.77 milter-greylist                       

    1 root      15   0 10348  556  524 S  0.0  0.0   0:14.74 init                                  

    2 root      RT  -5     0    0    0 S  0.0  0.0   0:08.08 migration/0                           

    3 root      34  19     0    0    0 S  0.0  0.0   0:00.12 ksoftirqd/0                           

    4 root      RT  -5     0    0    0 S  0.0  0.0   0:00.00 watchdog/0                            

    5 root      RT  -5     0    0    0 S  0.0  0.0   0:01.49 migration/1

Дополнение 2

Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sda               2.96    81.50  8.81 13.24   411.12   758.04    53.01     0.66   29.81   1.54   3.40

sda1              0.00     0.00  0.00  0.00     0.00     0.00    11.10     0.00    9.70   9.35   0.00

sda2              0.04     3.16  0.12  0.70     5.90    30.89    45.16     0.03   31.28   2.89   0.24

sda3              1.11     1.75  0.20  0.03    10.45    14.24   106.36     0.01   22.20   2.10   0.05

sda4              0.00     0.00  0.00  0.00     0.00     0.00     2.00     0.00   17.20  17.20   0.00

sda5              1.81    69.69  8.49 12.17   394.13   654.98    50.79     0.60   28.91   1.58   3.27

sda6              0.00     6.90  0.01  0.34     0.63    57.93   165.62     0.03   83.67   4.24   0.15

sdb               0.00     0.00  0.00  0.00     0.00     0.00    19.41     0.00    5.54   5.54   0.00



Device:         rrqm/s   wrqm/s   r/s   w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sda               0.00    10.50  0.00  9.00     0.00   156.00    17.33     0.00    0.50   0.22   0.20

sda1              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sda2              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sda3              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sda4              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sda5              0.00    10.50  0.00  9.00     0.00   156.00    17.33     0.00    0.50   0.22   0.20

sda6              0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdb               0.00     0.00  0.00  0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

Apache Server Status for $IP

Server Version: Apache/2.2.3 (CentOS)
Server Built: Aug 30 2010 12:28:40
Current Time: Friday, 18-Mar-2011 13:24:25 MSK
Restart Time: Friday, 18-Mar-2011 13:24:18 MSK
Parent Server Generation: 0
Server uptime: 7 seconds
4 requests currently being processed, 5 idle workers
WW_C_W___.......................................................
................................................................
................................................................
................................................................
Scoreboard Key:
"_" Waiting for Connection, "S" Starting up, "R" Reading Request,
"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,
"C" Closing connection, "L" Logging, "G" Gracefully finishing,
"I" Idle cleanup of worker, "." Open slot with no current process

PID Key:
11276 in state: W , 11277 in state: W , 11278 in state: _
11279 in state: C , 11280 in state: _ , 11281 in state: W
11282 in state: _ , 11283 in state: _ , 11290 in state: _

To obtain a full report with current status information you need to use the ExtendedStatus On directive.
SSL/TLS Session Cache Status:
cache type: SHMCB, shared memory: 512000 bytes, current sessions: 0
sub-caches: 32, indexes per sub-cache: 133
index usage: 0%, cache usage: 0%
total sessions stored since starting: 0
total sessions expired since starting: 0
total (pre-expiry) sessions scrolled out of the cache: 0
total retrieves since starting: 0 hit, 0 miss
total removes since starting: 0 hit, 0 miss
Apache/2.2.3 (CentOS) Server at $IP Port 80

Тэги:

+ 1 -

Похожие

cooler 18.03.2011 11:27 #

+ -1 -

bitrix...

imn 18.03.2011 11:42 #

+ 1 -

На сервере стоит:
isp-панель;
около 20 сайтов, два из которых крупные интернет магазины на битриксе;
5 почтовых доменов, общее количество ящиков пару сотен с greylist, spamassasin и без imap

могу предположить, что природа нагрузки не известна? тогда рекомендую понаставить утилит http://welinux.ru/post/5159/ и понаблюдать, что чаще бывает вверху.

без этих данных можно услышать только негативную оценку применяемых "панелек"

эм... еслиб были еще какиенить графики.... http.. или трафик хотяб..

neol 18.03.2011 11:57 #

+ 2 -

Посмотрите расписание резервного копирования в панели, я думаю пики нагрузки совпадут со временем запуска этих заданий. В принципе пока суетиться особого смысла нет. Лично я считаю, что:
LA <= CPU cores - отлично
LA <= CPU cores * 2 - нормально
LA > CPU cores * 2 - пора смотреть что там происходит
Но это субъективный взгляд на окружающую реальность.

Ну и "по фотографии" диагноз поставить крайне сложно. Если на глаз тормозов нет, то можно смело забить.

s4f 18.03.2011 12:23 # ↑

+ 0 -

добавил top и график трафика

s4f 18.03.2011 12:22 #

+ 1 -

тормозов нет, пики совпадают с резервным копированием панели. вот за это:

LA <= CPU cores - отлично
LA <= CPU cores * 2 - нормально
LA > CPU cores * 2 - пора смотреть что там происходит

огромное спасибо.
теперь понятно, как должна выглядеть нагрузка

s4f 18.03.2011 12:26 # ↑

+ 0 -

хм, что-то все комменты сползли на один =(

andreika 18.03.2011 12:54 #

+ 0 -

На LA можешь смело забить. А вот User нагрузка под 100% это беда... имхо... что-то тут не так... Поставь Atop и посмотри что у тебя происходит с диском, хотя проблемы могут и из другого места рости...

flashvoid 21.03.2011 20:41 # ↑

+ 0 -

user 100% это значит что на дисковых операциях комп проводит 0 процентов времени и можно на диски не смотреть пока. К тому же гиг свободной памяти означает что можно закешировать еще дохрена страниц и забыть про диск.

doit 18.03.2011 12:55 #

+ 0 -

Покажи iostat -dx 2
Может кэш съедает io

s4f 18.03.2011 13:09 # ↑

+ 0 -

добавил

doit 18.03.2011 12:57 #

+ 0 -

И еще сервак сильно свопится, смотреть в сторону оптимизации mysql и уменьшения воркеров. Можно помониторить запросы к мускулу, у битрикса бывают клевые join'ы ^_^

neol 18.03.2011 13:01 #

+ 0 -

Я бы посмотрел какие сайты так грузят систему (по выводу apache mod_status можно прикинуть что происходит). По нагрузке на проц и по потребляемой памяти цифры у апача довольно странные.
И судя по занимаемой памяти настройки mysql оставляют желать лучшего.

s4f 18.03.2011 13:25 # ↑

+ 0 -

на обоих сайтах около 20к товаров, с картинками, описаниями и т.п.
добавил mod_status

neol 18.03.2011 13:34 # ↑

+ 0 -

на обоих сайтах около 20к товаров, с картинками, описаниями и т.п.

Это никак не должно влиять на нагрузку, создаваемую апачем. Если влияет, то программистов надо сажать на кол. В битриксе такого нет. Да и 20К товаров - это не так много.

добавил mod_status

Включите расширенный (extended) вывод и собственными глазками ищите чем заняты процессы апача (хотя бы адреса, на которые идут запросы). В статике что-то сказать будет сложно.

librarian 18.03.2011 13:02 #

+ 0 -

Ещё могу посоветовать php-apc поставить, изменить suexec на mpm-itk(на сайте isp есть инструкция). И ulimit -u тоже можно, у меня на сервере было, что из-за этого load avg был под 60 :)

s4f 18.03.2011 13:10 # ↑

+ 0 -

apc стоит, в админках битрикса все настроено так, как ему нужно.

librarian 18.03.2011 13:14 # ↑

+ 1 -

В общем я пока ничего криминального не вижу.
То что httpd занимают всё доступное им процессорное время, это так и должно быть, не солить же процессор.
Я бы ещё всякие лишние модули в апаче поотключал, память сэкономить и процессора чутка.
Ну и для успокоения совести посмотреть по логам что там творится, и почему такие скачки нагрузки. Есть пара вариантов:

librarian 18.03.2011 13:15 # ↑

+ 0 -

Да блин, привык в IM Ctrl+Enter перенос строки
В общем варианты следующие, поскольку график нагрузки носит непериодический характер:
1. Какие то действия в панели управления(типа распаковки архивов), они достаточно неплохо сервер могут нагрузить
2. Какие то внутренние действия на сайтах(типа сброса кэширования или OPTIMIZE таблиц в бд)

neol 18.03.2011 13:19 # ↑

+ 0 -

Ну и для успокоения совести посмотреть по логам что там творится, и почему такие скачки нагрузки. Есть пара вариантов:

ТС выше писал, что пики соответствуют запускам резервного копирования.

librarian 18.03.2011 13:21 # ↑

+ 0 -

Ну тогда всё ок :)

neol 18.03.2011 13:24 # ↑

+ 1 -

изменить suexec на mpm-itk(на сайте isp есть инструкция)

Точно, если заменить почку на легкое, то пациент однозначно выздоровеет! (:
Предполагаю предлагалось заменить mpm-prefork на mpm-itk, но я не вижу ни одной причины это делать в данном случае.

И ulimit -u тоже можно, у меня на сервере было, что из-за этого load avg был под 60 :)

Что можно ulimit -u? Заменить на mpm-itk? ))

librarian 18.03.2011 13:27 # ↑

+ 0 -

Ну ты видимо просто не в курсе, что ISP Manager по умолчанию юзает suexec для работы

Что можно ulimit -u? Заменить на mpm-itk? ))

Не знаю, может ты точек не видишь, но это как бе отдельное предложение.

neol 18.03.2011 13:49 # ↑

+ 1 -

Ну ты видимо просто не в курсе, что ISP Manager по умолчанию юзает suexec для работы

Ох... Да куда мне с одной почкой (: Меня просто малость смутило, что модуль (suexec) и mpm (itk) это совсем разные вещи. По глупости наверное.

Не знаю, может ты точек не видишь, но это как бе отдельное предложение.

Ну тогда понятно. Значит ulimit можно! Не понятно что можно, но точно можно (:

s4f 18.03.2011 13:50 #

+ 0 -

Ну в принципе все ясно и понятно. Всем спасибо!

Murz 22.03.2011 22:46 #

+ 0 -

У меня периодически тоже вырастает load на серваке, хотя по iostat огромного чтения/записи не заметно, через iotop и htop, apache mod_status тоже никто не выделяется из процессов.
Помогает только остановка apache+mysql, пауза в пару минут и потом опять запуск, ну или полный ребут.

В итоге грешу на медленную скорость доступа к данным на винтах. Погуглив, выяснил что у винчестеро есть параметр IOPS - число операций ввода-вывода в секунду. Например система хочет прочитать 1000 блоков по 10 байт, и все они раскиданы по винту. И чтобы их прочитать - головка 1000 раз будет скакать туда-сюда, в результате время на чтение уйдёт много, а прочитается всего 10 килобайт!
Соответственно, IOPS эту скорость и отражает.

В результате по этому параметру на серваках заметно видно преимущество SAS-винчестеров с 10k и 15k RPM - при примерно равных скоростях линейного чтения параметр IOPS у 15k RPM примерно в 5 раз больше чем у 7,2k RPM (статистику брал отсюда http://www.thecabal.org/2010/05/the-disks-the-thing-exchange-2010-storage-essays-part-2/ )

Только вот как посмотреть кол-во ожидающих операций для винчестера (не общий объем данных в ожидании чтения/записи в мегабайтах, а именно кол-во отдельных операций чтения/записи блоков данных в ожидании) - так и не смог найти. Если кто подскажет - буду премного благодарен!

Murz 22.03.2011 22:46 #

+ 0 -

Ещё кстати можно поставить вместо mysql - percona или mariadb, они умеют вести статистику по логинам кто сколько нагрузки генерит на базу (трафик, проц, кол-во запросов) - мне это помогло вычислить с виду безобидные сайты, но которые базу мучали без всяких стеснений ;)