E2E-месенджер для групових чатів: протокол автентифікації, розподіл/ротація ключів і захищене розкриття історії повідомлень

Abstract

У даній кваліфікаційній роботі досліджується розробка криптографічного протоколу групового E2E-шифрування з механізмом контрольованого розкриття історії повідомлень, що спрямований на забезпечення балансу між конфіденційністю комунікацій та функціональністю надання історичного контексту новим учасникам груп. Робота складається з трьох розділів, у яких детально розглядаються існуючі протоколи захищених комунікацій, розроблений протокол з формальним аналізом безпеки, а також концептуальна архітектура системи. Перший розділ присвячено аналізу сучасних протоколів групового E2E-шифрування, зокрема Signal Protocol (Sender Keys), MLS (RFC 9420, TreeKEM) та Matrix (Megolm), що дозволяє виявити фундаментальний конфлікт між забезпеченням Forward Secrecy через видалення старих ключів та потребою надання історичного контексту новим учасникам груп. У ньому також представлено порівняльний аналіз протоколів за критеріями Forward Secrecy, Post-Compromise Security, можливості доступу до історії та обчислювальної складності. Другий розділ зосереджений на розробці криптографічного протоколу, в якому описуються три ключові механізми: History Window для обмеженого зберігання епох з автоматичним forward deletion, Bounded Export для криптографічно контрольованого розкриття історії, та адаптований TreeKEM для періодичної ротації ключів з Post-Compromise Security. Особливу увагу приділено формальному аналізу безпеки з доведенням п'яти теорем у моделі Computational Diffie-Hellman hardness: Partial Forward Secrecy, Post-Compromise Security, Bounded Export, Transcript Consistency та Backward Secrecy. У третьому розділі розроблено концептуальну трирівневу модульну архітектуру системи E2E-комунікації з детальною специфікацією програмних інтерфейсів компонентів. Проведено теоретичний аналіз обчислювальної складності протоколу: Add Member O(n log n), Update O(log n), Send Message O(1). Визначено, що History Window додає space overhead O(N×n) байт, що для типових параметрів становить 20-200 KB. Розроблено шляхи інтеграції протоколу з існуючими месенджерами (MLS, Signal, Matrix) як drop-in заміна з мінімальними вимогами до серверної інфраструктури. У загальних висновках підсумовуються результати дослідження та надаються рекомендації щодо практичної реалізації розробленого протоколу для захищених корпоративних месенджерів, систем зв'язку державних установ та військових підрозділів, що може сприяти підвищенню рівня захисту конфіденційності комунікацій з формальними математичними гарантіями безпеки.

This qualification work investigates the development of a cryptographic protocol for group E2E encryption with a controlled message history disclosure mechanism, aimed at ensuring a balance between communication confidentiality and the functionality of providing historical context to new group participants. The work consists of three sections, in which existing secure communication protocols, the developed protocol with formal security analysis, and the conceptual system architecture are considered in detail. The first chapter is devoted to the analysis of modern group E2E encryption protocols, including Signal Protocol (Sender Keys), MLS (RFC 9420, TreeKEM) and Matrix (Megolm), which allows identifying a fundamental conflict between ensuring Forward Secrecy through deletion of old keys and the need to provide historical context to new group participants. It also presents a comparative analysis of protocols based on criteria of Forward Secrecy, Post-Compromise Security, history access capability, and computational complexity. The second section focuses on the development of the cryptographic protocol, which describes three key mechanisms: History Window for limited epoch storage with automatic forward deletion, Bounded Export for cryptographically controlled history disclosure, and adapted TreeKEM for periodic key rotation with Post-Compromise Security. Special attention is paid to formal security analysis with proofs of five theorems in the Computational Diffie-Hellman hardness model: Partial Forward Secrecy, Post-Compromise Security, Bounded Export, Transcript Consistency, and Backward Secrecy. The third chapter develops a conceptual three-tier modular architecture for the E2E communication system with detailed specification of component programming interfaces. A theoretical analysis of the protocol's computational complexity was conducted: Add Member O(n log n), Update O(log n), Send Message O(1). It was determined that History Window adds space overhead of O(N×n) bytes, which for typical parameters is 20-200 KB. Integration pathways were developed for the protocol with existing messengers (MLS, Signal, Matrix) as a drop-in replacement with minimal requirements for server infrastructure. The general conclusions summarize the research results and provide recommendations for practical implementation of the developed protocol for secure corporate messengers, government communication systems, and military units, which can contribute to increasing the level of communication confidentiality protection with formal mathematical security guarantees.