Talks! — Теория очередей.

Здравствуйте. Позвольте, в порядке пятничного мыслебреда, немного загрузить вас. Если скучно, идите под кат. Там много текста.


Работал я в одной компании, которая разрабатывала некую систему обработки трафика. Система работала так:

трафик валится на интерфейс, где dumpcap'ом собирается в дампы по 10Мб
готовый дамп переносится в каталог-хранилище, и сразу же начинается сбор следующего дампа
из каталога-хранилища дампы по одному забирает скрипт и скармливает их tshark'у, который благодаря самописному сишному модулю успешно нарезает дамп на кучу файлов по принципу: один файлик - один пакет из дампа
готовый файлики переносятся в другой каталог-хранилище, где перловый парсер тупо регулярками смотрит файлики-пакетики и выдирает оттуда то, что нужно
результат работы парсера пишется в lightSQL, откуда по крону последние записи утекают в postgreSQL.

Очевидно, что такой адский механизм не может работать без сбоев. Образуются очереди. Причём, как ни странно, очередь если и образовывалась, то на стадии обработки парсером файлов-пакетов, и исключельно редко (и незначительно малая) очередь собиралась на стадии нарезки дампов.

А очередь к парсеру выстраивалась всегда по одному принципу: очередь стремительно растёт с нуля файлов до 10-20 тысяч (цифра прямо зависит от производительности машины). А далее колеблется в пределах 1-2 тысяч, но остаётся стабильной. Сколь угодно долго: неделю, месяц, полгода (дольше не наблюдал). Ночью трафик спадает - очередь рассасывается, днём приходит лавина трафика - очередь растёт.

Вопрос мой вот в чём:

Почему очередь стабильна? Ведь если бы не хватало ресурсов, то очередь так и продолжила бы расти...



P.S.

Уточнения:
парсер работает в один поток и обрабатывает не более 10000 файлов за один запуск
в секунду парсер может обработать от 10 (десять) до 1000 (тысяча) файлов
если парсер отвалится в процессе обработки, то новый процесс поднимется не сразу, а только после прихода очередной порции файлов
если сортировать файлы по 4 каталогам (каждый раз добавлять файлы только в самый пустой) и запускать одновременно 4 парсера в каждом из каталогов, то очередь гарантированно исчезает при любых начальных условиях