ஹடூப்புடன் அப்பாச்சி தீப்பொறி - இது ஏன் முக்கியமானது?

ஹடூப், தரவு செயலாக்க கட்டமைப்பானது, அது ஒரு தளமாக மாறும், நல்ல கூறுகள் அதனுடன் இணைக்கப்படும்போது இன்னும் சிறப்பாகிறது. ஹடூப்பின் MapReduce கூறு போன்ற ஹடூப்பின் சில குறைபாடுகள் நிகழ்நேர தரவு பகுப்பாய்விற்கு மெதுவாக இருப்பதற்கான நற்பெயரைக் கொண்டுள்ளன.

தொகுதி மற்றும் ஸ்ட்ரீமிங் பணிச்சுமைகளுக்கு வடிவமைக்கப்பட்ட ஹடூப் அடிப்படையிலான தரவு செயலாக்க இயந்திரமான அப்பாச்சி ஸ்பார்க்கை உள்ளிடவும், இப்போது அதன் 1.0 பதிப்பில் உள்ளது மற்றும் ஹடூப் எந்த வகையான வேலைகளைச் சேர்க்க வேண்டும் என்பதை எடுத்துக்காட்டுகின்ற அம்சங்களுடன் அலங்கரிக்கப்பட்டுள்ளது. மேம்பட்ட மற்றும் கூடுதல் செயல்பாட்டை வழங்க, இருக்கும் ஹடூப் கிளஸ்டர்களின் மேல் ஸ்பார்க் இயங்குகிறது.

தீப்பொறியின் முக்கிய அம்சங்கள் மற்றும் ஹடூப் மற்றும் அது எவ்வாறு இயங்குகிறது என்பதைப் பார்ப்போம் .

அப்பாச்சி தீப்பொறி விசை நன்மைகள்:

ஸ்பார்க்கின் அற்புதமான அம்சங்கள்:

• ஹடூப் ஒருங்கிணைப்பு - HDFS இல் சேமிக்கப்பட்ட கோப்புகளுடன் தீப்பொறி வேலை செய்ய முடியும்.
• ஸ்பார்க்கின் ஊடாடும் ஷெல் - ஸ்பார்க் ஸ்கலாவில் எழுதப்பட்டுள்ளது, மேலும் இது ஸ்கலா மொழிபெயர்ப்பாளரின் சொந்த பதிப்பைக் கொண்டுள்ளது.
• ஸ்பார்க்கின் பகுப்பாய்வு தொகுப்பு - ஊடாடும் வினவல் பகுப்பாய்வு, பெரிய அளவிலான வரைபட செயலாக்கம் மற்றும் பகுப்பாய்வு மற்றும் நிகழ்நேர பகுப்பாய்வுக்கான கருவிகளுடன் ஸ்பார்க் வருகிறது.
• நெகிழக்கூடிய விநியோகிக்கப்பட்ட தரவுத்தொகுப்புகள் (RDD’s) - RDD கள் கம்ப்யூட்டட் முனைகளின் தொகுப்பில் நினைவகத்தில் தேக்கமடையக்கூடிய விநியோகிக்கப்பட்ட பொருள்கள். அவை ஸ்பார்க்கில் பயன்படுத்தப்படும் முதன்மை தரவு பொருள்கள்.
• விநியோகிக்கப்பட்ட ஆபரேட்டர்கள் - MapReduce தவிர, RDD இல் ஒருவர் பயன்படுத்தக்கூடிய பல ஆபரேட்டர்கள் உள்ளனர்.

ஹடூப்புடன் அப்பாச்சி தீப்பொறியைப் பயன்படுத்துவதன் நன்மைகள்:

ஜாவாவில் ஈரேட்டரின் பயன்பாடு

• அப்பாச்சி ஸ்பார்க் ஹடூப் திறந்த மூல சமூகத்துடன் பொருந்துகிறது, ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை (HDFS) மேல் கட்டிடம். இருப்பினும், ஸ்பார்க் இரண்டு-நிலை மேப்ரூட் முன்மாதிரியுடன் பிணைக்கப்படவில்லை, மேலும் சில பயன்பாடுகளுக்கு ஹடூப் மேப்ரூட்யூஸை விட 100 மடங்கு வேகமாக செயல்திறனை உறுதிப்படுத்துகிறது.

  
  
  

• இயந்திர கற்றல் வழிமுறைகளுக்கு மிகவும் பொருத்தமானது - இன்-மெமரி கிளஸ்டர் கம்ப்யூட்டிங்கிற்கான பழமையானவற்றை ஸ்பார்க் வழங்குகிறது, இது பயனர் நிரல்களை ஒரு கிளஸ்டரின் நினைவகத்தில் தரவை ஏற்ற அனுமதிக்கிறது மற்றும் அதை மீண்டும் மீண்டும் வினவுகிறது.

• 100 மடங்கு வேகமாக இயக்கவும் - தீப்பொறி, பகுப்பாய்வு மென்பொருளானது ஹடூப் தரவு செயலாக்க தளங்களில் இயங்கும் வேலைகளை விரைவுபடுத்தும். 'ஹடூப் சுவிஸ் இராணுவ கத்தி' என்று அழைக்கப்படும் அப்பாச்சி ஸ்பார்க், தரமான அப்பாச்சி ஹடூப் வரைபடத்தில் இயங்கும் வேலைகளை விட 100 மடங்கு வேகமாக இயங்கக்கூடிய தரவு பகுப்பாய்வு வேலைகளை உருவாக்கும் திறனை வழங்குகிறது. MapReduce ஹடூப் கிளஸ்டர்களில் ஒரு இடையூறாக பரவலாக விமர்சிக்கப்படுகிறது, ஏனெனில் இது தொகுதி பயன்முறையில் வேலைகளைச் செய்கிறது, அதாவது தரவின் நிகழ்நேர பகுப்பாய்வு சாத்தியமில்லை.

• MapReduce க்கு மாற்று - MapReduce க்கு மாற்றீட்டை ஸ்பார்க் வழங்குகிறது. இது ஐந்து வினாடிகள் அல்லது அதற்கும் குறைவான இடைவெளியில் உள்ள மைக்ரோ பேட்ச்களின் குறுகிய வெடிப்புகளில் வேலைகளைச் செய்கிறது. இது ட்விட்டர் புயல் போன்ற நிகழ்நேர, ஸ்ட்ரீம்-சார்ந்த ஹடூப் கட்டமைப்பை விட அதிக ஸ்திரத்தன்மையை வழங்குகிறது. நேரடித் தரவின் தொடர்ச்சியான பகுப்பாய்வு மற்றும் ஒரு மென்பொருள் நூலகத்திற்கு நன்றி, இயந்திர கற்றல் மற்றும் வரைபட செயலாக்கம் சம்பந்தப்பட்ட கணக்கீட்டு ரீதியாக ஆழமான வேலைகள் போன்ற பல்வேறு வேலைகளுக்கு இந்த மென்பொருளைப் பயன்படுத்தலாம்.

• பல மொழிகளுக்கான ஆதரவு - ஸ்பார்க்கைப் பயன்படுத்தி, டெவலப்பர்கள் ஜாவா, ஸ்கலா அல்லது பைத்தானில் தரவு பகுப்பாய்வு வேலைகளை எழுதலாம், 80 க்கும் மேற்பட்ட உயர் மட்ட ஆபரேட்டர்களின் தொகுப்பைப் பயன்படுத்தி.

• நூலக ஆதரவு - ஸ்பார்க்கின் நூலகங்கள் ஹடூப்பின் வணிக ரீதியாக ஆதரிக்கப்படும் வரிசைப்படுத்தல்களுடன் மிகவும் தீவிரமாக ஆராயப்படும் செயலாக்க வேலைகளின் வகைகளை பூர்த்தி செய்ய வடிவமைக்கப்பட்டுள்ளன. அப்பட்டமான பேய்சியன் வகைப்பாடு அல்லது கிளஸ்டரிங் ஸ்பார்க் ஸ்ட்ரீமிங் போன்ற பொதுவான இயந்திர கற்றல் வழிமுறைகளை எம்.எல்லிப் செயல்படுத்துகிறது, பல மூலங்களிலிருந்து உட்கொள்ளப்பட்ட தரவின் அதிவேக செயலாக்கத்தை செயல்படுத்துகிறது மற்றும் வரைபடத் தரவுகளில் கணக்கீடுகளை வரைபடம் அனுமதிக்கிறது.

• நிலையான API - பதிப்பு 1.0 உடன், அப்பாச்சி ஸ்பார்க் ஒரு நிலையான ஏபிஐ (பயன்பாட்டு நிரலாக்க இடைமுகம்) வழங்குகிறது, இது டெவலப்பர்கள் தங்கள் சொந்த பயன்பாடுகளாக இருந்தாலும் ஸ்பார்க்குடன் தொடர்பு கொள்ள பயன்படுத்தலாம். இது ஹடூப் அடிப்படையிலான வரிசைப்படுத்தலில் புயலை மிகவும் எளிதாகப் பயன்படுத்த உதவுகிறது.

  ஜாவாவில் சரத்தின் இயல்புநிலை மதிப்பு

• SPARK SQL கூறு - கட்டமைக்கப்பட்ட தரவை அணுகுவதற்கான ஸ்பார்க் SQL கூறு, பகுப்பாய்வு பணியில் கட்டமைக்கப்படாத தரவுகளுடன் தரவை விசாரிக்க அனுமதிக்கிறது. இந்த நேரத்தில் ஆல்பாவில் மட்டுமே உள்ள ஸ்பார்க் SQL, அப்பாச்சி ஹைவ் இல் சேமிக்கப்பட்ட தரவுகளுக்கு எதிராக SQL போன்ற கேள்விகளை இயக்க அனுமதிக்கிறது. SQL வினவல்கள் வழியாக ஹடூப்பில் இருந்து தரவைப் பிரித்தெடுப்பது நிகழ்நேர வினவல் செயல்பாட்டின் மற்றொரு மாறுபாடாகும்.

• ஹடூப் [HDFS, HBASE மற்றும் YARN] உடன் அப்பாச்சி தீப்பொறி பொருந்தக்கூடியது - அப்பாச்சி தீப்பொறி ஹடூப்பின் விநியோகிக்கப்பட்ட கோப்பு முறைமை (எச்டிஎஃப்எஸ்), அதே போல் மற்ற ஹடூப் கூறுகளான YARN (இன்னொரு வள பேச்சுவார்த்தை) மற்றும் HBase விநியோகிக்கப்பட்ட தரவுத்தளத்துடன் முழுமையாக ஒத்துப்போகும்.

தொழில் தத்தெடுப்பாளர்கள்:

கிளவுட்ரா, பிவோட்டல், ஐபிஎம், இன்டெல் மற்றும் மேப்ஆர் போன்ற ஐடி நிறுவனங்கள் அனைத்தும் ஸ்பார்க்கை தங்கள் ஹடூப் அடுக்குகளில் மடித்துள்ளன. ஸ்பார்க்கின் சில டெவலப்பர்களால் நிறுவப்பட்ட டேட்டாபிரிக்ஸ் என்ற நிறுவனம், மென்பொருளுக்கு வணிக ரீதியான ஆதரவை வழங்குகிறது. யாகூ மற்றும் நாசா ஆகிய இரண்டும், அன்றாட தரவு செயல்பாடுகளுக்கு மென்பொருளைப் பயன்படுத்துகின்றன.

முடிவுரை:

ஸ்பார்க் வழங்க வேண்டியது பயனர்களுக்கும் ஹடூப்பின் வணிக விற்பனையாளர்களுக்கும் ஒரு பெரிய சமநிலையாக இருக்கும். ஹடூப்பைச் செயல்படுத்த விரும்பும் பயனர்கள் மற்றும் ஹடூப்பைச் சுற்றியுள்ள பல பகுப்பாய்வு அமைப்புகளை ஏற்கனவே உருவாக்கியவர்கள், ஹடூப்பை நிகழ்நேர செயலாக்க அமைப்பாகப் பயன்படுத்த முடியும் என்ற எண்ணத்தில் ஈர்க்கப்படுகிறார்கள்.

தனியுரிம உருப்படிகளை ஆதரிக்க அல்லது உருவாக்க ஸ்பார்க் 1.0 அவர்களுக்கு பலவிதமான செயல்பாடுகளை வழங்குகிறது. உண்மையில், பெரிய மூன்று ஹடூப் விற்பனையாளர்களில் ஒருவரான கிள oud டெரா ஏற்கனவே தனது கிளவுட்ரா எண்டர்பிரைஸ் பிரசாதம் மூலம் ஸ்பார்க்கிற்கு வணிக ரீதியான ஆதரவை வழங்கி வருகிறார். ஹார்டன்வொர்க்ஸ் அதன் ஹடூப் விநியோகத்தின் ஒரு அங்கமாக ஸ்பார்க்கை வழங்கி வருகிறது. சிறந்த நிறுவனங்களால் ஸ்பார்க்கை பெரிய அளவில் செயல்படுத்துவது அதன் வெற்றிகளையும் நிகழ்நேர செயலாக்கத்திற்கு வரும்போது அதன் ஆற்றலையும் குறிக்கிறது.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் அவற்றைக் குறிப்பிடுங்கள், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.

தொடர்புடைய இடுகைகள்:

கோட்டோ செயல்பாடு c ++