2B Video ve Derinlik Haritası Temelli 3B Videolarda Yapısal Karmaşıklık Tabanlı Video Kalite Değerlendirmesi

Günümüz teknolojilerindeki gelişmeler, yüksek bant genişliğine sahip haberleşme kanallarının varlığı ve büyük video servis sağlayıcılarının tüketici piyasasına girmesi 3 Boyutlu (3B) video teknolojilerinin hızlı gelişim göstermesine neden olmuştur. 3B video teknolojilerine geri bildirim oluşturabilmesi ve bu gelişime destek olması dolayısı ile 3B Video Kalite Değerlendirmesi (VKD) günümüzde 3B video servis sağlayıcıları için oldukça bir ihtiyaç haline gelmiştir. Literatürde zaman alıcı ve maliyetli öznel testlerin yerini alabilecek, verimli, güvenilir ve yaygın olarak kullanılan nesnel bir 3B VKD metriği bulunmadığından 3B VKD yerine kullanılan 2 Boyutlu (2B) VKD metriklerinin çoğu Tam Referanslı (TR) ya da Azaltılmış Referanslı (AR) metriklerdir. Bu metriklerin hem gerçek zamanlı kalite ölçümü gerçekleştirmelerindeki eksiklikten hem de 3B videoların iletimi için yüksek bant genişliğine ihtiyaç duyulmasından ötürü bu yöntemlerin verimli olmadığı anlaşılmıştır. Dolayısıyla orijinal videodan ek bir bilgi gerekmeden alıcı tarafta sadece sıkıştırılmış 3B videoyu kullanarak değerlendirme yapan referanssız bir 3B VKD metriğinin kullanılması elzem olmuştur. Bu çalışmada, IGS ile oldukça bağlantılı olan, 3B videolardaki objelerin kenar bilgileri kullanılarak oluşturulan Yapısal Karmaşıklık (YK) temelli bir Referanssız 3B VKD metriği geliştirilmiştir. Geliştirilen bu metrik kullanılarak elde edilen verimli sonuçlar metriğin 3B video servislerinin geliştirilmesine büyük katkı sağlayabileceğini göstermiştir.

Anahtar Kelimeler:

3B video, video kalite değerledirmesi, yapısal karmaşıklık

Color Plus Depth Map Based 3D Video Quality Assessment Based on Structural Complexity

3-Dimensional (3D) video technologies present rapid improvement due the development of today’s technologies, the presence of the communication channels having high bandwidth capacities, and the entrance of the powerful video service providers into the consumer electronics market. 3D Video Quality Assessment (VQA) becomes a must for the 3D video service providers via feedback it provides to the 3D video technologies and its support to this improvement. There is currently lack of an efficient, reliable, and commonly utilized objective 3D VQA metric that is preferable than the time-consuming and costly subjective tests. The 2-Dimensional (2D) VQA metrics used instead of the 3D VQA metrics to fulfill this lack are mostly Full Reference (FR) metrics or Reduced Reference (RR) metrics. These metrics are considered inefficient due to their insufficiency at online quality evaluation and requirement of high bandwidth capacity during the 3D video transmission. Therefore, there becomes a need for a No Reference (NR) 3D VQA metric that does not require any information related to the original video but only uses the compressed 3D video for the assessment. In this study, a NR 3D VQA metric which is based on Structural Complexity (SC) formed using edge information of the objects existing in a 3D video is developed. The efficient results obtained using the proposed metric prove that tremendous support can be provided to improve the 3D video services using the proposed metric.

Keywords:

3D video, video quality assessment, structural complexity,

PDF

___

D.V.S.X. De Silva, G. Nur, E. Ekmekcioglu, and A. Kondoz, “QoE of 3D Media Delivery Systems,” Media Networks: Architectures, Applications, and Standards, CRC Press Taylor and Francis Group, May 2012.
G. Nur Yilmaz, “A Depth Perception Evaluation Metric for Immersive 3D Video Services,” 3DTV-Conference: The True Vision - Capture, Transmission and Display of 3D Video, 7-9 June 2017.
G. Nur Yilmaz, “A No Reference Depth Perception Assessment Metric for 3D Video,” Multimedia Tools and Applications, vol. 74, pp. 6937–6950, Sep. 2015. JSVM 9.13.1. CVS Server [Online]. Available Telnet: garcon.ient.rwth aachen.de:/cvs/jvt
Gilbarg, D.; Trudinger, N. , Elliptic Partial Differential Equations of Second Order, Springer, ISBN 978-3-540-41160-4, 2001.
Maria G.Martini, Chaminda T.E.R. Hewage, BarbaraVillarini, “Image Quality Assessment based on Edge Preservation”, Signal PRocessing: Image Communication, vol. 27, pp.875-882, September 2012.
Maria G.Martini, Chaminda T.E.R. Hewage, BarbaraVillarini, Image quality assessment based on edge preservation, Brajesh Patel, Neelam Patel, Motion Detection based on multi frame video under Surveillance System, International Journal of Emerging Technology and Advanced Engineering 2 (1), January 2012.
Q. Huynh-Thu, P. Le Callet, and M. Barkowsky, “Video Quality Assessment: From 2D to 3D Challenges and Future Trends,” 17th IEEE International Conference on Image Processing, Hong Kong, 26-29 Sep. 2010.
Wei Fu; Xiaodong Gu; Yuanyuan Wang, "Image Quality Assessment Using Edge and Contrast Similarity," IEEE International Joint Conference on Neural Networks, 1-8 June 2008.