Tek Kart Bilgisayarlar ile Bulut Oluşturarak MapReduce İşlemleri Denemesi

Günümüzde bilişim sistemlerinde geçmişe oranla çok daha büyük veriler oluşmaktadır. Bu verilerin depolanması ve analizinde önemli kaynak sorunları yaşanmaktadır. Büyük Verinin depolanması, işlenmesi ve analiz edilmesi için ihtiyaç duyulan sistemlerin, güncel sistemlerden daha hızlı çalışması ve daha az enerji tüketmesi gerekmektedir. Aksi takdirde çok büyük maliyet ve veri analiz süreleri önümüze çıkmaktadır. Bu çalışmada tek kart mini kişisel bilgisayarlar ile küme oluşturup ve üzerinde kap tabanlı sanallaştırma sağlayıp büyük veri algoritmaları denemeleri yapılmıştır. Bu kapsamda oluşturulan büyük veri sistemlerinin temelini oluşturan Map Reduce işlemlerinin özel olarak tasarlanmış ARM işlemci kümeleri üzerinde yürütülmesini ve etkinliğinin test edilmesi araştırılmıştır. ARMişlemcili tek kart mini bilgisayarların maliyeti ucuz, enerji tüketimi düşük, karbon salınımı düşüktür. Kümeleme, bulut bilişim, çoklu işlem, paralel işlem ve büyük veri uygulamalarına da uygunluğu da görülmüştür.Tek kart bilgisayar donanımı üzerinde kap temelli sanallaştırma kullanımını denenmemiş bir yaklaşımdır. MapReduce uygulamasında işçi düğüm olarak işlem tecritlenmesi kullanılması da yeni bir uygulamadır

Study on MapReduce Operations Creating Cloud with Single Board Computer

- Nowadays information systems have much larger data than in the past. The storage and analysis of this data has a huge lack of resource. Saving, processing and analyzing of the big data needs systems that work faster and consume less energy than current systems. Otherwise much greater costs and times of data analysis will be faced. In this study, a cluster of single board computers is created and succeeded to run process isolation operating system level virtualization for experiencing on big data algorithms. In this context created our work, the Map Reduce transactions, which are the basics of big data systems, were executed on specifically designed ARM architecture mini supercomputer clusters. ARM processed single board computers have effective costs, less energy consumptions and less carbon emissions. Clustering, cloud computing, multiprocessing, parallel processing and big data applications compliance has been also observed. Container virtualization on single board computer is an untested approach to use. Using process isolation for MapReduce WorkerNode is yet another new practice.

Keywords:

single board computer cluster, virtualization, big data MapReduce, Hadoop,

PDF

___

[1] Y. Kaplan, Bulut Bilişim ve İş Sürekliliği, Telepati Telekomünikasyon 183 Rapor, Türkiye, 2010.
[2] Y. Korkmaz, Bulut Bilişim: Türkiye İçin Fırsatlar TÜBİTAK - UEKAE, Türkiye, 2008.
[3] Y. Zhao, I. Raicu, S.Lu , Cloud Computing and Grid Computing 360-Degree Compared, ,Texas,ABD, 2008
[4] B.Emily,M. Jaikrishnan, S. Karthikeyan, Power Struggles: Revisiting the RISC vs. CISC Debate on Contemporary ARM and x86 Architectures, Univ Wisconsin Madison, WI, ABD,2013
[5] Arm Company Profile, http://arm.com/about/company-profile/ ,21.03.2015 [6] Seal, David. ARM Architecture Reference Manual, (2001)
[7] Y. Liu,H. Zhenjiang, K. Matsuzaki. Towards Systematic Parallel Programming over MapReduceConference Proceedings, 483-485, 25.05.2015
[8] M. Owen, TeraByte Sort on Apache Hadoop,Kalifornia,ABD,2008
[9] R. L¨ammel , Google's MapReduce programming model ,2008
[10] Adapteva Parallella Manual, http://www.parallella.org/docs /parallella_manual.pdf ,20.01.2015
[11] CoreMark Scores http://www.eembc.org ,26.03.2015
[12] K. Freund, Redefining Datacenter Efficiency,Calxeda,2012
[13] Armservers http://armservers.com/2012/06/18/apachebenchmarks -for-calxedas-5-watt-web-server ,01.01.2015
[14] specPower http://www.spec.org/power_ssj2008/results/ res2011q3/power_ssj2008-20110806-00392.html ,07.01.2015
[15] Accenture, Hadoop Comparison Study CloudBased Deployments, http://www.accenture.com/ sitecollectiondocuments/ pdf/accenture-hadoop-deployment-comparison-study.pdf ,20.20.2014
[16] Accenture Hadoop on Cloud, http://www.accenture.com/ Site CollectionDocuments/PDF/Accenture-Cloud-Based-HadoopDeployments-Benefits-and-Considerations.pdf ,19.04.2015
[17] Parallella https://www.parallella.org/2013/08/21/parallellahardware-update ,16.02.2015
[18] Parallella Soft, http://elinux.org/Parallella_Software ,07.01.2015
[19]Parallella-hw, http://github.com/parallella/parallella-hw ,19.01.2015
[20] Adapteva Referans Tasarım, http://www.adapteva.com/whitepapers/parallella-platform-reference-design ,20.01.2015
[21] Linaro Open source for ARM-SOC http://www.linaro.org ,29.01.2015
[22] High Speed Serial, http://www.xilinx.com/products /technology/high-speed-serial.html ,02.04.2015
[23] Multi-Gigabit Transceiver, http://en.wikipedia.org/wiki/Multigigabit_transceiver ,20.01.2015
[24] Apache Hadoop https://hadoop.apache.org ,07.01.2015
[25] Apache Hadoop NextGen MapReduce (YARN), https://hadoop. apache.org/docs/r2.7.0/hadoop-yarn/hadoop-yarn-site/YARN.html
[26] Hadoop terasort http://hadoop.apache.org/docs/current/ api/org/apache/hadoop/ examples/terasort/package-summary.html ,17.04.2015
[27] General Technical Discuss, https://forums.xilinx.com/t5/ General-Technical-Discussion/bd-p/GenDis ,07.01.2015