Всем привет!
Есть вопрос для гуру - гугл уже не помогает.
На некоторых линуксовых машинках со SLES и openSUSE есть проблема - оракловые транзакции иногда сильно замедляются. Когда захожу на эти машинки посмотреть то вижу что оракловые процессы висят в sync_page
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
# while :; do ps axo stat,pid,cmd,wchan | egrep '^D|^R'; echo --; sleep 5; done
D 3483 hald-addon-storage: polling ide_do_drive_cmd
Ds 4635 ora_dbw0_orcl sync_page
Ds 4637 ora_lgwr_orcl sync_page
Ds 4639 ora_ckpt_orcl sync_page
D 11210 oracleorcl (LOCAL=NO) sync_page
D 12457 [smtpd] sync_page
R+ 12458 ps axo stat,pid,cmd,wchan -
--
Ds 4635 ora_dbw0_orcl sync_page
Ds 4637 ora_lgwr_orcl sync_page
Ds 4639 ora_ckpt_orcl sync_page
D 11210 oracleorcl (LOCAL=NO) sync_page
R+ 12501 ps axo stat,pid,cmd,wchan -
--
Ds 4635 ora_dbw0_orcl sync_page
Ds 4637 ora_lgwr_orcl sync_page
Ds 4639 ora_ckpt_orcl sync_page
D 11210 oracleorcl (LOCAL=NO) sync_page
R+ 12535 ps axo stat,pid,cmd,wchan -
--
Ds 4635 ora_dbw0_orcl sync_page
Ds 4637 ora_lgwr_orcl sync_page
Ds 4639 ora_ckpt_orcl sync_page
D 11210 oracleorcl (LOCAL=NO) sync_page
R+ 12570 ps axo stat,pid,cmd,wchan -
--
|
Вижу это и думаю что кончилась память, нету буфферов и все пишут прямо на диск.
Однако памяти дофига, а под буферы ноль.
1
2
3
4
5
|
total used free shared buffers cached
Mem: 4149084 3994552 154532 0 0 2424328
-/+ buffers/cache: 1570224 2578860
Swap: 3148700 750696 2398004
|
Думаю это и есть проблема - буферы по нулям и все пишут прямо на диск - соответственно при массивных транзакциях все плохо становиться.
Вопрос почему буфферы по нулям - ненашел ответа в гугле и хочу спросить у умных людей.
Решение: Опытным путем было выяснено что виновата XFS - это из-за нее buffer=0, правда к замедлению транзакций она не имеет отношения.
Почему xfs так себя ведет еще предстоит выяснить, а пока всем спасибо кто наталкивал на умные мысли.
-
Пришлите что показывает
iostat -x 5
во время тормозов
и растет ли свап при этом ?
-
-
iostat соберу позже но это точно не свапинг. Памяти дофига и свап ноль.
На iostat правда надеяться то же мало смысла - есть графики где хорошо видно что периоды "тормознутого" поведения никак не бьют с периодами нагрузки на диск, и даже вручную созданная нагрузка как правило отрабатывается адекватно.
-
погуглите эти параметры обычно их в паре меняют
/proc/sys/vm/swappiness
/proc/sys/vm/vfs_cache_pressure
-
-
Неа, не то.
Памяти много, с этим все хорошо. И эти настройки регулируют скорость освобождения cache (как я понимаю буфер чтения), а здесь buffer это буфер записи - чем его регулировать я как раз и пытаюсь найти.
-
-
можно порыться еще тут
/proc/vmstat
вот вроде это
dirty_background_ratio
dirty_ratio
dirty_expire_centisecs
Я думаю что всетаки проблема в свапировании.
Проверь еще dmesg на всякого рода странные сообщения.
iostat находится в пакете systat, не нужно его компилить.
-
-
iostat есть, просто проблемы нет пока, она не по заказу появляется.
Это точно не свап, если даже free меньше 150 не падало за весь обозримый в заббиксе период. Да и пустой свап стоит.
Когда последний раз ловил подвисший оракл DBA сказал что оракл просто ждет окончания записи транзакции в лог - вот просто одну строчку около минуты писал. А система отзывается la в норме.
-
-
Действительно очень странно. Сними еще /proc/meminfo во время глюка, потом сравним.
-
-
Под спойлером большой график. Наверху график io диска в 13 14 и в 15 видны проблемные периоды. На втором частота обращения к диску, на 3 занятая память.
Думаю заменит meminfo
-
Покажи еще
/proc/meminfo
-
-
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
billing@Billing-server:~> cat /proc/meminfo
MemTotal: 4149084 kB
MemFree: 169620 kB
Buffers: 0 kB
Cached: 2502160 kB
SwapCached: 566868 kB
Active: 2806032 kB
Inactive: 1051464 kB
HighTotal: 3275100 kB
HighFree: 4740 kB
LowTotal: 873984 kB
LowFree: 164880 kB
SwapTotal: 3148700 kB
SwapFree: 2398188 kB
Dirty: 976 kB
Writeback: 0 kB
AnonPages: 1354728 kB
Mapped: 822560 kB
Slab: 54680 kB
PageTables: 50796 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
CommitLimit: 5223240 kB
Committed_AS: 3684500 kB
VmallocTotal: 112632 kB
VmallocUsed: 11344 kB
VmallocChunk: 99932 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
Hugepagesize: 2048 kB
|
-
-
такое впечатление, что или ядро собрано без поддержки буферов/шаред мемори, или оно отключено, и кеш записи как будто отключен.
проверь: конфиг ядра, с какими параметрами грузится ядро...
-
-
Вот у меня похожее впечатление, но найти таких опций в ядре у меня не получилось. Постить тут конфиг думаю смысла нет, он длинный - но проверить наличие каких опций можно если есть предположение.
-
Так строка с Cached показывает что вроде всё нормально с кэшированием. См. http://www.redhat.com/advice/tips/meminfo.html
Наверное, тут проблема в железе, т.е. скорость записи/считывания маленькая. Проверь это, другое в голову пока не приходит.
-
может тупо харварная проблема? обновить bios, если софтовый raid и все такое.
modinfo на счет специфических параметров драйвера жестких дисков не пробовали? ну и винты с кэш-памятью побольше ;)
-
-
Проблема повторяется на нескольких машинках - на некоторых есть нехватка памяти и я сначала на это сваливал. На данном экземпляре хардварный рейд от hp. Что внутри у рейда узнать нельзя.
В общем я неисключаю что проблема хардварная, но в чем она - какое железо может запретить ядру буфферить вообще? - такое разве бывает? - я ненашел пока подтверждений.
В параметрах ядра только root,vga и silent - никакой экзотики.
Кстати файловая система xfs - может она.
-
-
Кстати файловая система xfs - может она.
смотри опции монтирования...
-
Смотри как настроен кэш на запись в контроллере и очевидно, отложенная запись в vm отключена. Если кэш контроллера Write Back и есть батарея, то в принципе все правильно настроено и включать в vm отложенную запись ни есть хорошая идея.
-
Опытным путем было выяснено что виновата XFS - это из-за нее buffer=0, правда к замедлению транзакций она не имеет отношения.
Почему xfs так себя ведет еще предстоит выяснить, а пока всем спасибо кто наталкивал на умные мысли.
|
|
|
  |
|
Последние посты
|
|
|
Последние комментарии
|
|
|
Изменения
|
   |
|
Черновики (все)
|
|
|
Избранное (всё)
|
|
|
Есть вопрос! — [Решено] ядерная память под buffer = 0
