Gürcan Yavuz, Sevcan Aytekin, Muammer Akçay

APACHE HADOOP VE DAĞITIK SİSTEMLER ÜZERİNDEKİ ROLÜ

Dağıtık sistemler, kaynakları paylaşmaya duyulan gereklilik neticesinde ortaya çıkmıştır. Kaynak paylaşımı donanımsal bileşenler ve yazılımsal varlıklar olabilir. Özellikle büyük çaplı verilerin güvenli, hızlı, tutarlı ve ölçeklenebilir bir şekilde işlenebilmesi için dağıtık sistemlerin kullanılabilir olduğu görülmüştür. Bu amaçla Apache Hadoop, dağıtık sistemlerde özellikle son yıllarda çokça kullanılmaya başlayan bir yazılım haline gelmiştir. Amacı Google Dosya Sistemi teknolojisi olan MapReduce algoritmasını birçok bilgisayara dağıtarak uygulamayı sağlamaktır. Google dosya sisteminin benzerini kullanarak çok büyük karmaşık verileri ölçeklendirebilme imkânı sağlar. Bu imkânla Hadoop’un kullanılabilirliği giderek artmaktadır. Bu çalışmada, mapreduce açık kaynak gerçeklenmiş hali hadoop çatısı incelenmiştir. Üç makineye kurulumu yapılıp, küçük bir küme oluşturulmuştur. Hadoop çatısı, küme üzerinde çalışması incelenmiştir.

Anahtar Kelimeler:

Dağıtık Sistemler, Hadoop, Paralel, Bulut, MapReduce

APACHE HADOOP VE DAĞITIK SİSTEMLER ÜZERİNDEKİ ROLÜ

Distributed systems have emerged because of the need for sharing of sources. Sharing of sources can be hardware component and software properties. Especially distributed systems can be useful for safe, fast and scalable process for a large amount of data. For this reason, Apache Hadoop software is being started to be mostly used especially in distributed systems recent years. Its purpose is distributing MapReduce algorithm which refers to Google File System technology to a lot of computer. It allows scaling a large amount of complicated data with Google File System similar. For this possibility availability of Hadoop is increasing. İn this work, one of the MapReduce open sourced implementation hadoop is examined which is installed to three machine in the small cluster.

Keywords:

Distributed Systems, Hadoop, Parallel, Cloud, MapReduce,

PDF

___

[1] Apache Hadoop, http://hadoop.apache.org/
[2] Apache HBase, http://hbase.apache.org/
[3] Apache Pig, http://hadoop.apache.org/pig/
[4] Apache Hive, http://hadoop.apache.org/hive/
[5] Apache Zookeeper, http://hadoop.apache.org/zookeeper/
[6] A. Silberschatz, P. B. Galvin,Greg Gagne, “Operating System Concepts 7th Ed”, John Wiley&Sons,611,(2004)
[7] J. WU, “Distrubuted System Design”, CRC-Press, (1998)
[8 ] İnternet: İşletim Sistemleri Dağıtık Sistemler (Çevrimiçi – “www.pinarsahin.net/dosyalar/isl1.ppt”)
[9] J. Dean , S. Ghemawat, “MapReduce: simplified data processing on large clusters”, Proceedings of the 6th conference on Symposium on Opearting Systems Design & Implementation, p.10-10, San Francisco, (2004)
[10] Internet: http://en.wikipedia.org/wiki/MapReduce, (2010)
[11] J. A. Stuart, C. K. Chen, K. L. Ma, J. D. Owens, “Multi-GPU volume rendering using MapReduce”,High Performance Distributed Computing Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing, Chicago, Illinois, USA (2010)
[12] İnternet: java, http://www.java.com (2010)
[13] S. Ghemawat , H. Gobioff , S. Leung, “The Google file system”, Proceedings of the nineteenth ACM symposium on Operating systems principles, Bolton Landing, NY, USA (2003)
[14] İnternet: http://wiki.apache.org/hadoop/PoweredBy(2010)
[15] İnternet: http://www.ibm.com/developerworks/aix/library/au-cloud_apache/(2010)
[16] K. Shvachko, K. Hairong, S. Radia,R. Chansle, “The Hadoop Distributed File System”, Mass Storage Systems and Technologies (MSST), 2010 IEEE 26th Symposium, Incline Village, NV, USA (2010)
[17] İnternet: Create,read,update and delete http://en.wikipedia.org/wiki/Create,_read,_update_and_delete (2010)
[18] J. Venner, “Pro Hadoop”, Apress, 1st ed. (2009)
[19] İnternet: Ken Mann,M. Tim Jones Distributed computing with Linux and Hadoop, http://www.ibm.com/developerworks/linux/library/l-hadoop/ (2010)
[20] F. Chang, J. Dean, S. Ghemawat, W. C. Hsieh, D. A. Wallach, M. Burrows, T. Chandra, A. Fikes, R. E. Gruber, “Bigtable: A Distributed Storage System for Structured Data”, OSDI'06: Seventh Symposium on Operating System Design and Implementation, Seattle, WA, (2006)
[21] İnternet: Debian GNU/Linux http://www.debian.org/(2010)