В статье рассматривается задача обработки и индексирования неструктурированных текстовых данных в децентрализованных системах хранения. Проведён анализ существующих подходов, основанных на статических параметрах формирования блоков, выявлены их ограничения, связанные с отсутствием учёта динамических характеристик распределённой среды, что приводит к увеличению сетевой нагрузки и снижению эффективности поиска.

Предложен метод адаптивного формирования блоков и индексирования данных, учитывающий интенсивность входного потока, уровень загрузки сети и количество активных узлов. Описана архитектура системы, включающая модули предобработки, агрегации данных, индексирования и распределённого хранения на основе распределённых хеш-таблиц. Разработана математическая модель и алгоритм, обеспечивающие динамическое управление параметрами формирования блоков.

Проведён теоретический анализ работы алгоритма, показано влияние ключевых параметров системы на процессы формирования блоков. Выполнено сравнение с фиксированным методом, продемонстрированы преимущества адаптивного подхода с точки зрения снижения сетевых издержек, повышения масштабируемости и устойчивости к изменению нагрузки.

Работа может быть использована при разработке распределённых систем хранения, поисковых платформ и систем потоковой обработки данных. Полученные результаты создают основу для дальнейших исследований адаптивных и гибридных методов обработки неструктурированных данных в децентрализованных средах.