الطرق الحديثة والحالية لتحليل البيانات الضخمة باستخدام ادوات هادووب
محتوى المقالة الرئيسي
الملخص
الجميع متصل بوسائل التواصل الاجتماعي مثل) الفيس بوك وتويتر ولنكدان والانستغرام ...الخ) , التي تتولد من خلالها كميات هائلة من البيانات لا تستطيع التطبيقات التقليدية من معالجتها , حيث تعتبر وسائل التواصل الاجتماعي منصة مهمة لتبادل المعلومات والآراء والمعرفة التي يجريها العديد من المشتركين ,على الرغم من هذه السمات الأساسية ، تساهم البيانات الضخمة أيضًا في العديد من المشكلات ، مثل جمع البيانات ، والتخزين ، والنقل ، والتحديث ، والمراجعة ، والنشر ، والمسح الضوئي ، والتصور ، وحماية البيانات ... إلخ. للتعامل مع كل هذه المشاكل، ظهرت الحاجة إلى نظام مناسب لا يقوم فقط بإعداد التفاصيل، بل يوفر أيضًا تحليلًا ذا مغزى للاستفادة من المواقف الصعبة، سواء ذات الصلة بالأعمال التجارية، أو القرار المناسب، أو الصحة، أو وسائل التواصل الاجتماعي، أو العلوم، الاتصالات، البيئة... إلخ.يلاحظ المؤلفون من خلال قراءة الدراسات السابقة أن هناك تحليلات مختلفة من خلال Hadoop وأدواته المختلفة مثل المشاعر في الوقت الفعلي وغيرها. ومع ذلك، فإن التعامل مع هذه البيانات الضخمة يعد مهمة صعبة. لذلك فإن هذا النوع من التحليل يكون بكفاءه أكثر أكثر كفاءة فقط من خلال نظام Hadoop البيئي.، الغرض من هذه الورقة هو تحليل الأدبيات المتعلقة بتحليل البيانات الضخمة لوسائل التواصل الاجتماعي باستخدام إطار Hadoop لمعرفة أدوات التحليل تقريبًا الموجودة في العالم تحت مظلة Hadoop وتوجهاتها بالإضافة إلى الصعوبات والأساليب الحديثة لها للتغلب على تحديات البيانات الضخمة في المعالجة غير المتصلة وفي الوقت الفعلي. تعمل التحليلات في الوقت الفعلي على تسريع عملية اتخاذ القرار إلى جانب توفير الوصول إلى مقاييس الأعمال وإعداد التقارير. كما تم توضيح المقارنة بين Hadoop و spark.
Received 1/3/2021
Accepted 24/6/2021
Published Online First 20/1/2022
تفاصيل المقالة
هذا العمل مرخص بموجب Creative Commons Attribution 4.0 International License.
كيفية الاقتباس
المراجع
Gole S, Tidke B. A survey of big data in social media using data mining techniques. ICACCS - Proc 2nd Int Conf Adv Comput Commun Syst. 2015;5–10.
Mouhssine E, Khalid C. Social Big Data Mining Framework for Extremist Content Detection in Social Networks. Int Symp Adv Electr Commun Technol ISAECT 2018 - Proc. 2019;1–5.
Bhardwaj A, Singh VK, Vanraj, Narayan Y. Analyzing BigData with Hadoop cluster in HDInsight azure Cloud. 12th IEEE Int Conf Electron Energy, Environ Commun Comput Control (E3-C3), INDICON 2015. 2016;
Monika, Bhat A. An analysis of Crime data under Apache Pig on Big Data. Proc 3rd Int Conf I-SMAC IoT Soc Mobile, Anal Cloud, I-SMAC 2019. 2019;330–5.
Jadhav B, Patankar AB, Jadhav SB. A Practical approach for integrating Big data Analytics into E-governance using hadoop. Proc Int Conf Inven Commun Comput Technol ICICCT 2018. 2018;(Icicct):1952–8.
Bhardwaj A, Vanraj, Kumar A, Narayan Y, Kumar P. Big data emerging technologies: A CaseStudy with analyzing twitter data using apache hive. 2015 2nd Int Conf Recent Adv Eng Comput Sci RAECS 2015. 2016;(December).
Farhan MN, Habib MA, Ali MA. A study and Performance Comparison of MapReduce and Apache Spark on Twitter Data on Hadoop Cluster. Int J Inf Technol Comput Sci. 2018;10(7):61–70.
Birjali M, Beni-Hssane A, Erritali M. Analyzing Social Media through Big Data using InfoSphere BigInsights and Apache Flume. Procedia Comput Sci [Internet]. 2017;113:280–5. Available from: http://dx.doi.org/10.1016/j.procs.2017.08.299
Adhikari BK, Zuo W, Maharjan R, Han X, Amatya PB, Ali W. Statistical analysis for detection of sensitive data using hadoop clusters. Proc - 21st IEEE Int Conf High Perform Comput Commun 17th IEEE Int Conf Smart City 5th IEEE Int Conf Data Sci Syst HPCC/SmartCity/DSS 2019. 2019;2373–8.
Sehgal D, Agarwal AK. Sentiment analysis of big data applications using Twitter Data with the help of HADOOP framework. Proc 5th Int Conf Syst Model Adv Res Trends, SMART 2016. 2017;V:251–5.
Khan M, Malviya A. Big data approach for sentiment analysis of twitter data using Hadoop framework and deep learning. Int Conf Emerg Trends Inf Technol Eng ic-ETITE 2020. 2020;1–5.
Tidke B, Mehta R, Rana D, Jangir H. Topic sensitive user clustering using sentiment score and similarity measures: Big data and social network. Int J Web-Based Learn Teach Technol. 2020;15(2):34–45.
Harikumar D, Kapoor D. Youtube Data Sensitivity and Analysis Using Hadoop Framework. Int Res J Eng Technol.2019; 06 (04): 3133-3139
Dabas C, Kaur P, Gulati N, Tilak M. Analysis of Comments on Youtube Videos using Hadoop. Proc IEEE Int Conf Image Inf Process. 2019;2019-Novem:353–8.
Kaur P, Dabas C, Singhal V, Nangru S, Sehgal A. News Data Analysis from Facebook Through MongoDB and Hive. Proc IEEE Int Conf Image Inf Process. 2019;2019-Novem:454–8.
Amin F, Ahmad A, Choi GS. To Study and Analyse Human Behaviours on Social Networks. Proc 4th Annu Int Conf Netw Inf Syst Comput ICNISC. 2018;233–6
Ashayer A, Yasrobi S, Thomas S, Tabrizi N. Performance Analysis of Hadoop Cluster for User Behavior Analysis. Proc - 20th Int Conf High Perform Comput Commun 16th Int Conf Smart City 4th Int Conf Data Sci Syst HPCC/SmartCity/DSS 2018. 2019;805–9.
Ganguly P. Big Data Analytics : Using Hadoop Inspired MapReduce and Apache Spark. Int. J. Adv. Sci. Technol. 2020;7(2):72–82.
Ashwitha TA, Rodrigues AP, Chiplunkar NN. Movie Dataset Analysis Using Hadoop-Hive. 2nd Int Conf Comput Syst Inf Technol Sustain Solut CSITSS 2017. 2018;1–5.
Seay C, Agrawal R, Kadadi A, Barel Y. Using hadoop on the mainframe: A big solution for the challenges of big data. Proc - 12th Int Conf Inf Technol New Gener ITNG 2015. 2015;765–9.
Cunha J, Silva C, Antunes M. Health Twitter Big Bata Management with Hadoop Framework. Procedia Comput Sci [Internet]. 2015;64:425–31. Available from: http://dx.doi.org/10.1016/j.procs.2015.08.536
Wu WT, Lin WW, Hsu CH, He LG. Energy-efficient hadoop for big data analytics and computing: A systematic review and research insights. Futur Gener Comput Syst [Internet]. 2018;86:1351–67. Available from: https://doi.org/10.1016/j.future.2017.11.010
Ahmad A, Rathore MM, Paul A, Rho S. Defining human behaviors using big data analytics in social internet of things. Proc - Int Conf Adv Inf Netw Appl AINA. 2016;2016-May:1101–7.