Bulut Bilişimin Gelişmesi ile Büyük Verinin Tekilleştirilmesinde Yapay Zekâ Öneminin İncelenmesi
2011 yılında Endüstri 4.0’ın başlaması ile bilişim literatürüne yeni kavramlar ve teknolojiler girmiştir. Bu teknolojilerden bazıları sanallaştırma, modülerlik, büyük veri ve veri tekilleştirilmesidir. Büyük veri, geleneksel veritabanı sistemlerinde verilerin toplanması, saklanması, yönetilmesi ve çözümleme yeteneklerini aşan büyüklükteki veriler olarak ifade edilebilir. Günümüzde veriler çok çeşitli, büyük ve hızlı bir şekilde yer değiştirmektedir. Bu durum geleneksel veri tabanı yapısı ile çözülememektedir. Büyük verinin ortaya çıkmasıyla verinin işlenmesi için kullanılan algoritmalar ile verilerin işlenmesi zorlaşmıştır. Bu nedenle yeni algoritmalar ve teknolojiler geliştirilmiştir. Bu teknolojilerin en başında da veri tekilleştirilmesi gelmektedir. Veri tekilleştirme, verileri değişken veya sabit büyüklüklere bölerek yedeklemektedir. Bu sayede tekrarlanan birçok verinin yalnızca bir kopyasını saklayarak depolama alanından tasarruf sağlamayı amaçlamaktadır. Günümüzde hem server-storge, hemde hyper-converged (bütünleşik sistem) mimarisi sistemlerde veri depolama için “tekilleştirme ve sıkıştırma” vazgeçilmez bir özelliktir. Son zamanlarda Yapay zekâ teknolojileri çok hızlı ilerleme göstermekte ve uygulama alanları da genişlemektedir. Bu nedenle Yapay Zekâ, gelecekte endüstri ve hayatlarımız için çok önemli olacak bir teknoloji olmaktadır. Bu çalışmamın amacı çeşitli veri tekilleştirme sistemleri ve algoritmaları inceleyerek veri tekilleştirme teknolojisi ile yapay zekâ arasındaki ilişki hakkında fikir vermektir. Literatürdeki çalışmalar, veri tekilleştirmesi ile depolama alanında önemli ölçüde tasarruf sağlandığını, veri güvenliğinin önemini, yapay zekâ ile tekilleştirmenin bir bütün olarak kullanılmakta olduğunu göstermektedir.
EXAMINING THE IMPORTANCE OF ARTIFICIAL INTELLIGENCE IN THE SINGULARIZATION OF BIG DATA WITH THE DEVELOPMENT OF CLOUD COMPUTING
With the start of Industry 4.0 in 2011, new concepts and technologies have entered the IT literature. Some of these technologies are virtualization, modularity, big data and deduplication. Big data can be defined as data of a magnitude that exceeds the ability of traditional database systems to collect, store, manage and analyze data. Today, data is diverse, large and rapidly changing. This situation cannot be solved with the traditional database structure. With the emergence of big data, it has become difficult to process data with the algorithms used for data processing. Therefore, new algorithms and technologies have been developed. The most important of these technologies is data deduplication. Deduplication backs up data by dividing it into variable or fixed sizes. In this way, it aims to save storage space by storing only one copy of many repeated data. Today, "deduplication and compression" is an indispensable feature for data storage in both server-storge and hyper-converged architecture systems. Recently, artificial intelligence technologies are advancing very rapidly and their application areas are expanding. Therefore, Artificial Intelligence is a technology that will be very important for the industry and our lives in the future. The purpose of this paper is to give an idea about the relationship between deduplication technology and artificial intelligence by examining various deduplication systems and algorithms. Studies in the literature show that deduplication provides significant savings in storage space, the importance of data security, and the use of artificial intelligence and deduplication as a whole.
___
- [1] Keleş, Ü., & Nevcihan, D. U. R. U. (2021). Metin Benzerliği Algoritmaları ile Veri Tekilleştirme: Oteller Veri
Tabanında Bir Uygulama. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 14(2), 86-98.
- [2] PG, S., RK, N., Menon, V. G., Abbasi, M., & Khosravi, M. R. (2020). A secure data deduplication system for
integrated cloud-edge networks. Journal of Cloud Computing, 9(1), 1-12.
- [3] Jiang, S., Jiang, T., & Wang, L. (2017). Secure and efficient cloud data deduplication with ownership
management. IEEE Transactions on Services Computing, 13(6), 1152-1165.
- [4] Yang, X., Lu, R., Choo, K. K. R., Yin, F., & Tang, X. (2017). Achieving efficient and privacy-preserving crossdomain
big data deduplication in cloud. IEEE transactions on big data, 8(1), 73-84.
- [5] Barik, R. K., Patra, S. S., Patro, R., Mohanty, S. N., & Hamad, A. A. (2021, March). GeoBD2: Geospatial big
data deduplication scheme in fog assisted cloud computing environment. In 2021 8th International Conference
on Computing for Sustainable Global Development (INDIACom) (pp. 35-41). IEEE.
- [6] Vijayalakshmi, K., & Jayalakshmi, V. (2021, April). Analysis on data deduplication techniques of storage of
big data in cloud. In 2021 5th International Conference on Computing Methodologies and Communication
(ICCMC) (pp. 976-983). IEEE.
- [7] Manogar, E., & Abirami, S. (2014, December). A study on data deduplication techniques for optimized storage.
In 2014 Sixth International Conference on Advanced Computing (ICoAC) (pp. 161-166). IEEE.
- [8] Leesakul, W., Townend, P., & Xu, J. (2014, April). Dynamic data deduplication in cloud storage. In 2014 IEEE
8th International Symposium on Service Oriented System Engineering (pp. 320-325). IEEE.
- [9] Fan, C. I., Huang, S. Y., & Hsu, W. C. (2015, May). Encrypted data deduplication in cloud storage. In 2015
10th Asia Joint Conference on Information Security (pp. 18-25). IEEE.
- [10] Park, J., Kim, J., Kim, Y., Lee, S., & Mutlu, O. (2022). {DeepSketch}: A New Machine {Learning-Based}
Reference Search Technique for {Post-Deduplication} Delta Compression. In 20th USENIX Conference on
File and Storage Technologies (FAST 22) (pp. 247-264).
- [11] Tarun, S., Batth, R. S., & Kaur, S. (2021, December). A Scheme for Data Deduplication Using Advance
Machine Learning Architecture in Distributed Systems. In 2021 International Conference on Computing
Sciences (ICCS) (pp. 53-60). IEEE.
- [12] Dokuz, A. Ş., & Çelik, M. (2017). Bulut Bilişim Sistemlerinde Verinin Farklı Boyutları Üzerine
Derleme.Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi, 6(2), 316-338.
- [13] Çelik, K. (2021). Bulut Bilişim Teknolojileri. Bartın Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi,
12(24), 436-450.
- [14] Jamsa, K. (2022). Cloud computing. Jones & Bartlett Learning.
Keskin and Işık, International Journal of Engineering and Innovative Research 5:2 (2023) 170-180
180
- [15] Hurwitz, J. S., & Kirsch, D. (2020). Cloud computing for dummies. John Wiley & Sons.
- [16] Singhal, S., Sharma, P., Aggarwal, R. K., & Passricha, V. (2018). A global survey on data
deduplication. International Journal of Grid and High Performance Computing (IJGHPC), 10(4), 43-66.
- [17] Alonso, J. M., & Casalino, G. (2019, June). Explainable artificial intelligence for human-centric data analysis
in virtual learning environments. In International workshop on higher education learning methodologies and
technologies online (pp. 125-138). Springer, Cham.
- [18] Gill, S. S., Tuli, S., Xu, M., Singh, I., Singh, K. V., Lindsay, D., ... & Garraghan, P. (2019). Transformative
effects of IoT, Blockchain and Artificial Intelligence on cloud computing: Evolution, vision, trends and open
challenges. Internet of Things, 8, 100118.
- [19] Demirol, D., Das, R., & Hanbay, D. (2019, September). Büyük veri üzerine perspektif bir bakış. In 2019
International Artificial Intelligence and Data Processing Symposium (IDAP) (pp. 1-9). IEEE.
- [20] Süzen, A. A., & Kayaalp, K. (2019). Büyük Verilerde Gizlilik Tabanlı Yaklaşım: Federe
Öğrenme. International Journal of 3d Printing Technologies and Digital Industry, 3(3), 297-304.
- [21] Xu, L. J., Hao, R., Yu, J., & Vijayakumar, P. (2021). Secure deduplication for big data with efficient dynamic
ownership updates. Computers & Electrical Engineering, 96, 107531.
- [22] Premkamal, P. K., Pasupuleti, S. K., Singh, A. K., & Alphonse, P. J. A. (2021). Enhanced attribute based access
control with secure deduplication for big data storage in cloud. Peer-to-Peer Networking and
Applications, 14(1), 102-120.
- [23] Kumar, N., & Jain, S. C. (2019). Efficient data deduplication for big data storage systems. In Progress in
Advanced Computing and Intelligent Engineering (pp. 351-371). Springer, Singapore.
- [24] Savić, I., & Lin, X. (2021, November). The Analysis and Implication of Data Deduplication in Digital
Forensics. In International Symposium on Cyberspace Safety and Security (pp. 198-215). Springer, Cham.
- [25] Wu, H., Wang, C., Fu, Y., Sakr, S., Zhu, L., & Lu, K. (2017). Hpdedup: A hybrid prioritized data deduplication
mechanism for primary storage in the cloud. arXiv preprint arXiv:1702.08153.
- [26] URL-1 (2022). https://www.hsb.nl/the-importance-of-deduplication-and-adjudication-in-identitymanagement-
solutions/ (Erişim tarihi 12.02.2022)