Построение тематико-ориентированных веб-краулеров с использованием обобщенного ядра

Описана архитектура обобщенного ядра веб-краулера для вебометрических исследований информационных источников в веб-пространстве и построения специализированных веб-краулеров. Приведены показатели, оценивающие качество работы различных видов веб-краулеров, и рассмотрены основные проблемы зарубежных аналогов. Поставлен эксперимент, в котором сделан сравнительный анализ производительности специализированных веб-краулеров на основе обобщенного ядра с его зарубежными аналогами.