ஹடூப், பெரிய தரவுகளின் சுவரொட்டி சிறுவன் என்பது நாம் அனைவரும் அறிந்ததே. தரவின் யானை விகிதாச்சாரத்தை செயலாக்கக்கூடிய ஒரு மென்பொருள் கட்டமைப்பாக, ஹடூப் CIO buzzwords பட்டியலில் முதலிடம் வகிக்கிறது.
இருப்பினும், இன்-மெமரி ஸ்டேக்கின் முன்னோடியில்லாத உயர்வு பெரிய தரவு சுற்றுச்சூழல் அமைப்பை பகுப்பாய்வுகளுக்கான புதிய மாற்றாக அறிமுகப்படுத்தியுள்ளது. MapReduce பகுப்பாய்வு ஒரு புதிய அணுகுமுறையால் மாற்றப்படுகிறது, இது ஹடூப் கட்டமைப்பிற்குள் மற்றும் அதற்கு வெளியே பகுப்பாய்வுகளை அனுமதிக்கிறது. அப்பாச்சி ஸ்பார்க் என்பது பெரிய தரவு பகுப்பாய்வுகளின் புதிய புதிய முகம்.
பெரிய தரவு ஆர்வலர்கள் அப்பாச்சி ஸ்பார்க்கை உலகின் பெரிய தரவுகளுக்கான வெப்பமான தரவு கணக்கீட்டு இயந்திரமாக சான்றளித்துள்ளனர். இது MapReduce மற்றும் ஜாவாவை அவர்களின் பதவிகளில் இருந்து வேகமாக வெளியேற்றுகிறது, மேலும் வேலை போக்குகள் இந்த மாற்றத்தை பிரதிபலிக்கின்றன. டைப் சேஃப்பின் ஒரு கணக்கெடுப்பின்படி, உலகளாவிய ஜாவா டெவலப்பர்களில் 71% பேர் தற்போது ஸ்பார்க்கைச் சுற்றி மதிப்பீடு செய்கிறார்கள் அல்லது ஆராய்ச்சி செய்கிறார்கள், அவர்களில் 35% பேர் ஏற்கனவே இதைப் பயன்படுத்தத் தொடங்கியுள்ளனர். தீப்பொறி வல்லுநர்கள் தற்போது தேவைப்படுகிறார்கள், தொடர்ந்து வரும் வாரங்களில், தீப்பொறி தொடர்பான வேலை வாய்ப்புகளின் எண்ணிக்கை கூரை வழியாக மட்டுமே செல்லும் என்று எதிர்பார்க்கப்படுகிறது.
எனவே, அப்பாச்சி ஸ்பார்க் பற்றி என்ன செய்ய வேண்டும், இது ஒவ்வொரு சி.ஐ.ஓக்கள் செய்ய வேண்டிய பட்டியலில் முதலிடத்தில் தோன்றும்.
அப்பாச்சி தீப்பொறியின் சுவாரஸ்யமான அம்சங்கள் இங்கே:
- ஹடூப் ஒருங்கிணைப்பு - HDFS இல் சேமிக்கப்பட்ட கோப்புகளுடன் தீப்பொறி வேலை செய்ய முடியும்.
- ஸ்பார்க்கின் ஊடாடும் ஷெல் - ஸ்பார்க் ஸ்கலாவில் எழுதப்பட்டுள்ளது, மேலும் ஸ்கலா மொழிபெயர்ப்பாளரின் சொந்த பதிப்பைக் கொண்டுள்ளது.
- ஸ்பார்க்கின் பகுப்பாய்வு தொகுப்பு - ஊடாடும் வினவல் பகுப்பாய்வு, பெரிய அளவிலான வரைபட செயலாக்கம் மற்றும் பகுப்பாய்வு மற்றும் நிகழ்நேர பகுப்பாய்வுக்கான கருவிகளுடன் ஸ்பார்க் வருகிறது.
- நெகிழக்கூடிய விநியோகிக்கப்பட்ட தரவுத்தொகுப்புகள் (RDD கள்) - RDD கள் கம்ப்யூட்டட் முனைகளின் ஒரு கிளஸ்டர் முழுவதும் நினைவகத்தில் தற்காலிகமாக சேமிக்கக்கூடிய பொருட்களாக விநியோகிக்கப்படுகின்றன. அவை ஸ்பார்க்கில் பயன்படுத்தப்படும் முதன்மை தரவு பொருள்கள்.
- விநியோகிக்கப்பட்ட ஆபரேட்டர்கள் - MapReduce தவிர, RDD இல் ஒருவர் பயன்படுத்தக்கூடிய பல ஆபரேட்டர்கள் உள்ளனர்.
நாசா, யாகூ, அடோப் போன்ற நிறுவனங்கள் ஸ்பார்க்கிற்கு தங்களை உறுதிப்படுத்திக் கொண்டுள்ளன. டேட்டாபிரிக்ஸில் உள்ள ஜான் ட்ரிபியர், கூட்டணிகள் மற்றும் சுற்றுச்சூழல் முன்னணி, 'பெரிய மற்றும் சிறிய வணிகங்களால் அப்பாச்சி தீப்பொறியை ஏற்றுக்கொள்வது பரந்த அளவிலான தொழில்களில் நம்பமுடியாத விகிதத்தில் வளர்ந்து வருகிறது, மேலும் சான்றளிக்கப்பட்ட நிபுணத்துவத்துடன் டெவலப்பர்களுக்கான தேவை விரைவாக உள்ளது பின்வரும் வழக்கு ”. நீங்கள் ஹடூப்பில் பின்னணி இருந்தால் ஸ்பார்க்கைக் கற்றுக்கொள்வதற்கு இதைவிட சிறந்த நேரம் இருந்ததில்லை.
முதுகலை டிப்ளோமா Vs முதுநிலை
நிஜ வாழ்க்கை தொழில் பயிற்சியாளர்களால் இணைந்து உருவாக்கப்பட்ட அப்பாச்சி ஸ்பார்க் & ஸ்கலா குறித்த ஒரு பாடத்திட்டத்தை எடுரேகா சிறப்பாக உருவாக்கியுள்ளார். தொழில் சம்பந்தப்பட்ட திட்டங்களுடன் வேறுபட்ட நேரடி இ-கற்றல் அனுபவத்திற்கு, எங்கள் பாடத்திட்டத்தைப் பாருங்கள். புதிய தொகுதிகள் விரைவில் தொடங்குகின்றன, எனவே இங்கே படிப்பைப் பாருங்கள்: .
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.
தொடர்புடைய இடுகைகள்: