Ядерная регрессия с индуцированными деревьями метриками

Интеллектуальные системы и технологии, искусственный интеллект
Авторы:
Горюнов М.Ю.Константинов А.В.Новиков Ф.А.
Аннотация:

В работе предложено семейство ядерных моделей, основанных на метриках, формируемых по структуре деревьев решений и случайных лесов. В отличие от стандартной меры близости случайного леса, которая учитывает только попадание двух объектов в один лист, предложенные метрики также используют информацию о путях в дереве, глубине их расхождения и глубине наименьшего общего предка. Кроме того, рассматривается взвешенная метрика с обучаемыми параметрами, зависящими от глубины дерева. Метрики отдельных деревьев агрегируются по лесу и используются для построения экспоненциальных ядер. Они также могут сочетаться с евклидовым расстоянием в исходном пространстве признаков. Для полученных ядер доказана положительная полуопределенность, что позволяет применять их в стандартных ядерных методах, включая регрессию Надарая-Уотсона и ядерную гребневую регрессию. Предложенные модели исследованы на задачах классификации и в контролируемом эксперименте по переносу структуры из исходной задачи в целевую задачу регрессии с малым числом размеченных наблюдений. Результаты показывают, что внутренняя структура деревьев может содержать полезную информацию, не ограниченную совпадением листьев. Несколько предложенных вариантов превосходят традиционные геометрические ядра и стандартное ядро близости случайного леса, при этом выбор наиболее подходящей метрики зависит от метода прогнозирования и набора данных.

Финансовые условия:

Исследование выполнено при финансовой поддержке Российского научного фонда в рамках реализации проекта «Новые методы и модели многовариантного обучения в задачах медицинской диагностики» (Соглашение №25-21-00103; https://rscf.ru/project/25-21-00103/).

Ключевые слова:
ядерная регрессиядеревья решенийметрики на основе деревьевслучайные лесаядерные методыоценка Надарая–Уотсонаядерная гребневая регрессия
  • Список литературы

    1. Breiman L. Random Forests. Machine Learning, 2001, Vol. 45, Pp. 5–32. DOI: 10.1023/A:1010933404324

    2. Biau G., Scornet E. A random forest guided tour. TEST, 2016, Vol. 25, Pp. 197–227. DOI: 10.1007/s11749-016-0481-7

    3. Geurts P., Ernst D., Wehenkel L. Extremely randomized trees. Machine Learning, 2006, Vol. 63, Pp. 3–42. DOI: 10.1007/s10994-006-6226-1

    4. Scornet E. Random Forests and Kernel Methods. IEEE Transactions on Information Theory, 2016, Vol. 62, No. 3, Pp. 1485–1500. DOI: 10.1109/TIT.2016.2514489

    5. Lin Y., Jeon Y. Random Forests and Adaptive Nearest Neighbors. Journal of the American Statistical Association, 2006, Vol. 101, No. 474, Pp. 578–590. DOI: 10.1198/016214505000001230

    6. Biau G., Devroye L., Lugosi G. Consistency of random forests and other averaging classifiers. Journal of Machine Learning Research, 2008, Vol. 9, Pp. 2015–2033.

    7. Biau G. Analysis of a random forests model. Journal of Machine Learning Research, 2012, Vol. 13, Pp. 1063–1095.

    8. Iakovidis I., Arcozzi N. Improved convergence rates for some kernel random forest algorithms. Mathematics in Engineering, 2024, Vol. 6, No. 2, Pp. 305–338. DOI: 10.3934/mine.2024013

    9. Shi T., Horvath S. Unsupervised Learning with Random Forest Predictors. Journal of Computational and Graphical Statistics, 2006, Vol. 15, No. 1, Pp. 118–138. DOI: 10.1198/106186006X94072

    10. Mantero A., Ishwaran H. Unsupervised random forests. Statistical Analysis and Data Mining, 2021, Vol. 14, No. 2, Pp. 144–167. DOI: 10.1002/sam.11498

    11. Sage A.J., Genschel U., Nettleton D. Tree aggregation for random forest class probability estimation. Statistical Analysis and Data Mining, 2020, Vol. 13, No. 2, Pp. 134–150. DOI: 10.1002/sam.11446

    12. Meinshausen N. Quantile Regression Forests. Journal of Machine Learning Research, 2006, Vol. 7, No. 35, Pp. 983–999.

    13. Rhodes J.S., Cutler A., Moon K.R. Geometry- and Accuracy-Preserving Random Forest Proximities. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, Vol. 45, No. 9, Pp. 10947–10959. DOI: 10.1109/TPAMI.2023.3263774

    14. Laabs B.-H., Westenberger A., König I.R. Identification of representative trees in random forests based on a new tree-based distance measure. Advances in Data Analysis and Classification, 2024, Vol. 18, Pp. 363–380. DOI: 10.1007/s11634-023-00537-7

    15. Xiong C., Johnson D., Xu R., Corso J.J. Random forests for metric learning with implicit pairwise position dependence. Proceedings of the 18th ACM SIGKDD International Conference on Knowledge Discove-ry and Data Mining, 2012, Pp. 958–966. DOI: 10.1145/2339530.2339680

    16. Bicego M., Cicalese F. Computing Random Forest-distances in the presence of missing data. ACM Transactions on Knowledge Discovery from Data, 2024, Vol. 18, No. 7, Art. no. 180. DOI: 10.1145/3656345

    17. Lee S., Lee C., Mun K.G., Kim D. Decision Tree Algorithm Considering Distances Between Classes. IEEE Access, 2022, Vol. 10, Pp. 69750–69756. DOI: 10.1109/ACCESS.2022.3187172

    18. Bicego M., Cicalese F. An Interesting Property of Random Forest Distances with Respect to the Cur-se of Dimensionality. In: Structural, Syntactic, and Statistical Pattern Recognition (eds. A. Torsello, L. Rossi, L. Cosmo, G. Minello), 2025, Vol. 15444, Pp. 188–198. DOI: 10.1007/978-3-031-80507-3_19

    19. Bicego M., Cicalese F. On the Good Behaviour of Extremely Randomized Trees in Random Forest-Distance Computation. Machine Learning and Knowledge Discovery in Databases: Research Track: European Conference (ECML PKDD), 2023, Vol. IV, Pp. 645–660. DOI: 10.1007/978-3-031-43421-1_38

    20. Schoenberg I.J. Metric spaces and positive definite functions. Transactions of the American Mathe-matical Society, 1938, Vol. 44, Pp. 522–536. DOI: 10.1090/S0002-9947-1938-1501980-0

    21. Kelly M., Longjohn R., Nottingham K. The UCI Machine Learning Repository [online]. Available: https://archive.ics.uci.edu (Accessed 30.08.2026).

     

This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License
Предыдущая статьяСледующая статья