Semi-supervised Multi-view Ensemble Learning with Consensus

No Thumbnail Available

Date

2024

Journal Title

Journal ISSN

Volume Title

Publisher

National Aviation University

Abstract

This paper is devoted to enchasing existing multi-view semi-supervised ensemble learning algorithms by introducing a cross-view consensus. A detailed overview of three state-of-the-art methods is given, with relevant steps of the training highlighted. A problem statement is formed to introduce both semi-supervised framework and consider the semi-supervised learning in the context of optimization problem. A novel multi-view semi-supervised ensemble learning algorithm called multi-view semi-supervised cross consensus (MSSXC) is introduced. The algorithm is tested against 5 synthetic datasets designed for semi-supervised learning challenges. The results indicate improvement in the average accuracy of up to 10% in comparison to existing methods, especially in low-volume, high density scenarios. Статтю присвячено вдосконаленню існуючих алгоритмів напівкерованого ансамблевого багатовидового навчання шляхом введення консенсусу між видами. Подано детальний огляд трьох найсучасніших методів із виділенням відповідних етапів навчання. Формується постановка задачі, щоб представити як напівкеровану структуру, так і розглянути напівкероване навчання в контексті проблеми оптимізації. Представлено новий багатовидовий напівкерований ансамблевий алгоритм навчання під назвою багатовидовий напівкерований перехресний консенсус (MSSXC). Алгоритм перевірено на п’яти синтетичних наборах даних, призначених для напівкерованого навчання. Результати вказують на підвищення середньої точності до 10% порівняно з існуючими методами, особливо в сценаріях з малим обсягом і високою щільністю.

Description

[1] Y. C. A. P. Reddy, P. Viswanath, and B. Eswara Reddy, “Semi-supervised learning: A brief review,” Int. J. Eng. Technol, 7.1.8, 2018: 81. https://doi.org/10.14419/ijet.v7i1.8.9977 [2] Prarthana Bhattacharyya, Chengjie Huang, and Krzysztof Czarnecki, “SSL-lanes: Self-supervised Learning for Motion Forecasting in Autonomous Driving,” Conference on Robot Learning. PMLR, pp. 1–12, June 2022. arXiv:2206.14116v1 [cs.CV] 28 Jun 2022 [3] Islam Nassar, et al., “All labels are not created equal: Enhancing semi-supervision via label grouping and co-training,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021. https://doi.org/10.1109/CVPR46437.2021.00716 [4] Yixin Liu, et al. “Graph self-supervised learning: A survey,” IEEE transactions on knowledge and data engineering, 35.6, 2022, 5879–5900. [5] Yuhao Chen, et al., “Boosting semi-supervised learning by exploiting all unlabeled data,” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023. https://doi.org/10.1109/CVPR52729.2023.00729 [6] Jafar Tanha, Maarten van Someren, and Hamideh Afsarmanesh, “An adaboost algorithm for multiclass semi-supervised learning,” 2012 IEEE 12th International Conference on Data Mining. IEEE, 2012. https://doi.org/10.1109/ICDM.2012.119 [7] Ion Muslea, Steven Minton, and Craig A. Knoblock, “Active+semi-supervised learning=robust multi-view learning,” ICML, vol. 2, 2002. [8] Dan Shi, et al., “Flexible multiview spectral clustering with self-adaptation,” IEEE Transactions on Cybernetics, 53.4, 2021, 2586–2599. https://doi.org/10.1109/TCYB.2021.3131749 [9] Jing Zhao, et al., “Multi-view learning overview: Recent progress and new challenges,” Information Fusion, 38, 2017, 43–54. https://doi.org/10.1016/j.inffus.2017.02.007 [10] Hearst, Marti A., et al., “Support vector machines,” IEEE Intelligent Systems and their applications, 13.4 1998, 18–28. https://doi.org/10.1016/j.inffus.2017.02.007

Keywords

machine learning, semi-supervised learning, label propagation, multi-view training, ensemble, машинне навчання, напівкероване навчання, поширення мітки, багатовидове навчання, ансамблі

Citation

Sineglazov V. M. Semi-supervised Multi-view Ensemble Learning with Consensus / V. M. Sineglazov, K.S. Lesohorskyi // Electronics and Control Systems, N 3(81) – Kyiv: ТОВ «Альянт», 2024. – pp. 15–21.