ஹடூப் YARN டுடோரியல் - YARN கட்டிடக்கலை அடிப்படைகளை அறிக

ஹடூப் YARN ஆனது ஹடூப்பின் சேமிப்பக அலகு, அதாவது எச்.டி.எஃப்.எஸ் (ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை) பல்வேறு செயலாக்க கருவிகளுடன் பின்னப்படுகிறது. இந்த தலைப்பில் முற்றிலும் புதியவர்களாகிய உங்களில், YARN என்பது “ ஒய் மற்றும் TO nother ஆர் ஆதாரம் என் egotiator ”. நீங்கள் எங்கள் வழியாக செல்லவும் நான் பரிந்துரைக்கிறேன் மற்றும் அப்பாச்சி ஹடூப் YARN ஐக் கற்றுக்கொள்வதற்கு முன். இந்த வலைப்பதிவின் முடிவில் ஹடூப் YARN பற்றிய உங்கள் புரிதல் தெளிவாக உள்ளது என்பதை உறுதிப்படுத்த பின்வரும் தலைப்புகளை இங்கு விளக்குகிறேன்.

• ஏன் YARN?
• ஹடூப் YARN அறிமுகம்
• YARN இன் கூறுகள்
• YARN இல் விண்ணப்ப சமர்ப்பிப்பு
• ஹடூப் YARN இல் பயன்பாட்டு பணிப்பாய்வு

ஏன் YARN?

MRV1 (MapReduce Version 1) என்றும் குறிப்பிடப்படும் ஹடூப் பதிப்பு 1.0 இல், MapReduce செயலாக்கம் மற்றும் வள மேலாண்மை செயல்பாடுகளைச் செய்தது. இது ஒற்றை மாஸ்டராக இருந்த வேலை டிராக்கரைக் கொண்டிருந்தது. வேலை டிராக்கர் வளங்களை ஒதுக்கியது, திட்டமிடல் செய்தது மற்றும் செயலாக்க வேலைகளை கண்காணித்தது. இது வரைபடத்தை ஒதுக்கியது மற்றும் பணி கண்காணிப்பாளர்கள் எனப்படும் பல துணை செயல்முறைகளில் பணிகளைக் குறைக்கிறது. பணி கண்காணிப்பாளர்கள் அவ்வப்போது தங்கள் முன்னேற்றத்தை வேலை கண்காணிப்பாளரிடம் தெரிவித்தனர்.

இந்த வடிவமைப்பு ஒரு வேலை டிராக்கரின் காரணமாக அளவிடக்கூடிய சிக்கலை ஏற்படுத்தியது.ஐபிஎம் தனது கட்டுரையில் யாகூவின் கூற்றுப்படி, அத்தகைய வடிவமைப்பின் நடைமுறை வரம்புகள் 5000 முனைகள் மற்றும் 40,000 பணிகள் ஒரே நேரத்தில் இயங்கும்.இந்த வரம்பைத் தவிர, கணக்கீட்டு வளங்களின் பயன்பாடு எம்.ஆர்.வி 1 இல் திறமையற்றது. மேலும், ஹடூப் கட்டமைப்பானது MapReduce செயலாக்க முன்னுதாரணத்திற்கு மட்டுமே மட்டுப்படுத்தப்பட்டது.

இந்த எல்லா சிக்கல்களையும் சமாளிக்க, YARN ஹடூப் பதிப்பு 2.0 இல் 2012 ஆம் ஆண்டில் யாகூ மற்றும் ஹார்டன்வொர்க்ஸ் அறிமுகப்படுத்தியது. YARN க்குப் பின்னால் உள்ள அடிப்படை யோசனை, வள மேலாண்மை மற்றும் வேலை திட்டமிடல் ஆகியவற்றின் பொறுப்பை ஏற்றுக்கொள்வதன் மூலம் MapReduce ஐ விடுவிப்பதாகும். ஹடூப் கட்டமைப்பிற்குள் வரைபடம் அல்லாத வேலைகளை இயக்கும் திறனை YARN ஹடூப்பிற்கு வழங்கத் தொடங்கியது.

செஃப் மற்றும் பதிலளிக்கக்கூடிய வித்தியாசம்

எங்களுடைய கீழே உள்ள வீடியோவையும் நீங்கள் பார்க்கலாம் நிபுணர் YARN கருத்துகளைப் பற்றி விவாதித்து வருகிறார், மேலும் இது கட்டிடக்கலை பற்றி விரிவாகக் கூறுகிறது.

ஹடூப் நூல் பயிற்சி | ஹடூப் நூல் கட்டிடக்கலை | எடுரேகா

YARN அறிமுகத்துடன், தி முற்றிலும் புரட்சிகரமானது. இது மிகவும் நெகிழ்வான, திறமையான மற்றும் அளவிடக்கூடியதாக மாறியது. 2013 ஆம் ஆண்டின் முதல் காலாண்டில் யாகூ YARN உடன் நேரலைக்குச் சென்றபோது, ​​அதன் ஹடூப் கிளஸ்டரின் அளவை 40,000 முனைகளிலிருந்து 32,000 முனைகளாகக் குறைக்க நிறுவனத்திற்கு உதவியது. ஆனால் வேலைகளின் எண்ணிக்கை மாதத்திற்கு 26 மில்லியனாக இரட்டிப்பாகியது.

ஹடூப் YARN அறிமுகம்

இப்போது நான் உங்களுக்கு YARN இன் தேவையை உணர்த்தியுள்ளேன், ஹடூப் v2.0 இன் முக்கிய கூறுகளை உங்களுக்கு அறிமுகப்படுத்துகிறேன், YARN . எச்.டி.எஃப்.எஸ் இல் சேமிக்கப்பட்ட தரவை இயக்க மற்றும் செயலாக்க வரைபட செயலாக்கம், ஊடாடும் செயலாக்கம், ஸ்ட்ரீம் செயலாக்கம் மற்றும் தொகுதி செயலாக்கம் போன்ற வெவ்வேறு தரவு செயலாக்க முறைகளை YARN அனுமதிக்கிறது. எனவே MARReduce க்கு அப்பால் விநியோகிக்கப்பட்ட பிற வகையான பயன்பாடுகளுக்கு YARN ஹடூப்பை திறக்கிறது.

போன்ற பல்வேறு கருவிகளைப் பயன்படுத்தி பயனர்கள் தேவைக்கேற்ப செயல்பாடுகளைச் செய்ய YARN உதவியது நிகழ்நேர செயலாக்கத்திற்கு, ஹைவ் SQL க்கு, HBase NoSQL மற்றும் பிறருக்கு.

வள மேலாண்மை தவிர, YARN வேலை திட்டமிடலையும் செய்கிறது. வளங்களை ஒதுக்குவதன் மூலமும் பணிகளை திட்டமிடுவதன் மூலமும் உங்கள் அனைத்து செயலாக்க நடவடிக்கைகளையும் YARN செய்கிறது. அப்பாச்சி ஹடூப் YARN கட்டிடக்கலை பின்வரும் முக்கிய கூறுகளைக் கொண்டுள்ளது:

1. வள மேலாளர் : மாஸ்டர் டீமனில் இயங்குகிறது மற்றும் கிளஸ்டரில் வள ஒதுக்கீட்டை நிர்வகிக்கிறது.
2. முனை மேலாளர்: அவை அடிமை டெமன்களில் இயங்குகின்றன மற்றும் ஒவ்வொரு தரவு முனையிலும் ஒரு பணியை நிறைவேற்றுவதற்கு பொறுப்பாகும்.
3. விண்ணப்ப மாஸ்டர்: பயனர் வேலை வாழ்க்கை சுழற்சி மற்றும் தனிப்பட்ட பயன்பாடுகளின் வள தேவைகளை நிர்வகிக்கிறது. இது முனை மேலாளருடன் இணைந்து செயல்படுகிறது மற்றும் பணிகளை நிறைவேற்றுவதை கண்காணிக்கிறது.
4. கொள்கலன்: ஒற்றை முனையில் ரேம், சிபியு, நெட்வொர்க், எச்டிடி உள்ளிட்ட வளங்களின் தொகுப்பு.

YARN இன் கூறுகள்

உங்கள் ஹடூப் சுற்றுச்சூழல் அமைப்பின் மூளையாக YARN ஐ நீங்கள் கருதலாம். கீழே உள்ள படம் YARN கட்டமைப்பைக் குறிக்கிறது.

பைத்தானில் ஒரு சரத்தை எவ்வாறு மாற்றுவது

தி முதல் கூறு YARN கட்டிடக்கலை,

வள மேலாளர்

• வள ஒதுக்கீட்டில் இது இறுதி அதிகாரமாகும் .
• செயலாக்கக் கோரிக்கைகளைப் பெறும்போது, ​​அதற்கேற்ப கோரிக்கைகளின் பகுதிகளை தொடர்புடைய முனை மேலாளர்களுக்கு அனுப்புகிறது, அங்கு உண்மையான செயலாக்கம் நடைபெறுகிறது.
• இது கிளஸ்டர் வளங்களின் நடுவர் மற்றும் போட்டியிடும் பயன்பாடுகளுக்கு கிடைக்கக்கூடிய வளங்களை ஒதுக்கீடு செய்வதை தீர்மானிக்கிறது.
• திறன் உத்தரவாதங்கள், நேர்மை மற்றும் எஸ்.எல்.ஏக்கள் போன்ற பல்வேறு தடைகளுக்கு எதிராக எல்லா வளங்களையும் எல்லா நேரத்திலும் பயன்பாட்டில் வைத்திருப்பது போன்ற கிளஸ்டர் பயன்பாட்டை மேம்படுத்துகிறது.
• இது இரண்டு முக்கிய கூறுகளைக் கொண்டுள்ளது:a) திட்டமிடுபவர்b)பயன்பாட்டு மேலாளர்

a) திட்டமிடுபவர்

• திறன்கள், வரிசைகள் போன்றவற்றின் கட்டுப்பாடுகளுக்கு உட்பட்டு பல்வேறு இயங்கும் பயன்பாடுகளுக்கு வளங்களை ஒதுக்குவதற்கு திட்டமிடல் பொறுப்பு.
• இது ரிசோர்ஸ் மேனேஜரில் ஒரு தூய திட்டமிடல் என்று அழைக்கப்படுகிறது, அதாவது இது பயன்பாடுகளுக்கான நிலையை எந்த கண்காணிப்பையும் கண்காணிப்பையும் செய்யாது.
• பயன்பாட்டு தோல்வி அல்லது வன்பொருள் செயலிழப்பு இருந்தால், தோல்வியுற்ற பணிகளை மறுதொடக்கம் செய்ய திட்டமிடுபவர் உத்தரவாதம் அளிக்கவில்லை.
• பயன்பாடுகளின் ஆதாரத் தேவைகளின் அடிப்படையில் திட்டமிடல் செய்கிறது.
• இது ஒரு சொருகக்கூடிய கொள்கை செருகுநிரலைக் கொண்டுள்ளது, இது பல்வேறு பயன்பாடுகளுக்கிடையில் கொத்து வளங்களை பகிர்வதற்கு பொறுப்பாகும். அத்தகைய இரண்டு செருகுநிரல்கள் உள்ளன: திறன் திட்டமிடுபவர் மற்றும் நியாயமான திட்டமிடுபவர் , தற்போது ResourceManager இல் திட்டமிடுபவர்களாகப் பயன்படுத்தப்படுகின்றன.

b) விண்ணப்ப மேலாளர்

• வேலை சமர்ப்பிப்புகளை ஏற்றுக்கொள்வது பொறுப்பு.
• பயன்பாட்டு குறிப்பிட்ட பயன்பாட்டு மாஸ்டரை இயக்க வள மேலாளரிடமிருந்து முதல் கொள்கலனை பேச்சுவார்த்தை நடத்துகிறது.
• பயன்பாட்டு மாஸ்டர்களை ஒரு கிளஸ்டரில் இயக்குவதை நிர்வகிக்கிறது மற்றும் தோல்வியுற்றால் பயன்பாட்டு மாஸ்டர் கொள்கலனை மறுதொடக்கம் செய்வதற்கான சேவையை வழங்குகிறது.

வருகிறது இரண்டாவது கூறு எது:

முனை மேலாளர்

• இது ஒரு ஹடூப் கிளஸ்டரில் தனிப்பட்ட முனைகளை கவனித்துக்கொள்கிறதுகொடுக்கப்பட்ட முனையில் பயனர் வேலைகள் மற்றும் பணிப்பாய்வு ஆகியவற்றை நிர்வகிக்கிறது.
• இது வள மேலாளரிடம் பதிவுசெய்கிறது மற்றும் முனையின் ஆரோக்கிய நிலையுடன் இதயத் துடிப்புகளை அனுப்புகிறது.
• ஆதார மேலாளரால் ஒதுக்கப்பட்ட பயன்பாட்டுக் கொள்கலன்களை நிர்வகிப்பதே இதன் முதன்மை குறிக்கோள்.
• இது வள மேலாளருடன் புதுப்பித்த நிலையில் உள்ளது.
• பயன்பாட்டு மாஸ்டர் ஒதுக்கப்பட்ட கொள்கலனை நோட் மேலாளரிடமிருந்து ஒரு கொள்கலன் வெளியீட்டு சூழலை (சி.எல்.சி) அனுப்புவதன் மூலம் கோருகிறது, இதில் பயன்பாடு இயங்குவதற்கு தேவையான அனைத்தையும் உள்ளடக்கியது. முனை மேலாளர் கோரப்பட்ட கொள்கலன் செயல்முறையை உருவாக்கி அதைத் தொடங்குகிறார்.
• தனிப்பட்ட கொள்கலன்களின் வள பயன்பாட்டை (நினைவகம், CPU) கண்காணிக்கிறது.
• பதிவு நிர்வாகத்தை செய்கிறது.
• வள மேலாளரால் இயக்கப்பட்டபடி இது கொள்கலனைக் கொல்கிறது.

தி மூன்றாவது கூறு அப்பாச்சி ஹடூப்பின் YARN,

விண்ணப்ப மாஸ்டர்

• பயன்பாடு என்பது கட்டமைப்பிற்கு சமர்ப்பிக்கப்பட்ட ஒற்றை வேலை. அத்தகைய ஒவ்வொரு பயன்பாட்டிற்கும் ஒரு தனித்துவமான பயன்பாட்டு மாஸ்டர் உள்ளது, இது ஒரு கட்டமைப்பின் குறிப்பிட்ட நிறுவனம்.
• கிளஸ்டரில் ஒரு பயன்பாட்டின் செயல்பாட்டை ஒருங்கிணைக்கும் மற்றும் தவறுகளை நிர்வகிக்கும் செயல்முறையாகும்.
• அதன் பணி வள மேலாளரிடமிருந்து வளங்களை பேச்சுவார்த்தை நடத்துதல் மற்றும் கூறு பணிகளை செயல்படுத்த மற்றும் கண்காணிக்க முனை மேலாளருடன் இணைந்து செயல்படுவது.
• ரிசோர்ஸ் மேனேஜரிடமிருந்து பொருத்தமான வள கொள்கலன்களைப் பேச்சுவார்த்தை நடத்துவதற்கும், அவற்றின் நிலையைக் கண்காணிப்பதற்கும் முன்னேற்றத்தைக் கண்காணிப்பதற்கும் இது பொறுப்பு.
• தொடங்கியதும், அதன் ஆரோக்கியத்தை உறுதிப்படுத்தவும், அதன் வள கோரிக்கைகளின் பதிவைப் புதுப்பிக்கவும் அவ்வப்போது இதயத்துடிப்புகளை வள மேலாளருக்கு அனுப்புகிறது.

தி நான்காவது கூறு இருக்கிறது:

கொள்கலன்

• இது ஒற்றை முனையில் ரேம், சிபியு கோர்கள் மற்றும் வட்டுகள் போன்ற இயற்பியல் வளங்களின் தொகுப்பாகும்.
• YARN கொள்கலன்கள் ஒரு கொள்கலன் வெளியீட்டு சூழலால் நிர்வகிக்கப்படுகின்றன, இது கொள்கலன் வாழ்க்கை சுழற்சி (CLC) ஆகும். இந்த பதிவில் சுற்றுச்சூழல் மாறிகள், தொலைவிலிருந்து அணுகக்கூடிய சேமிப்பகத்தில் சேமிக்கப்பட்ட சார்புநிலைகள், பாதுகாப்பு டோக்கன்கள், முனை மேலாளர் சேவைகளுக்கான பேலோட் மற்றும் செயல்முறையை உருவாக்க தேவையான கட்டளை ஆகியவை உள்ளன.
• ஒரு குறிப்பிட்ட ஹோஸ்டில் ஒரு குறிப்பிட்ட அளவு வளங்களை (நினைவகம், CPU போன்றவை) பயன்படுத்த ஒரு பயன்பாட்டிற்கான உரிமைகளை இது வழங்குகிறது.

YARN இல் விண்ணப்ப சமர்ப்பிப்பு

படத்தைப் பார்க்கவும், ஹடூப் YARN இன் விண்ணப்ப சமர்ப்பிப்பில் உள்ள படிகளைப் பாருங்கள்:

1) வேலையைச் சமர்ப்பிக்கவும்

2)விண்ணப்ப ஐடியைப் பெறுங்கள்

3) விண்ணப்ப சமர்ப்பிக்கும் சூழல்

4 அ) கன்டெய்னரைத் தொடங்குங்கள்தொடங்க

b) விண்ணப்ப மாஸ்டரைத் தொடங்கவும்

ஆரம்பகால வசந்த எம்விசி பயிற்சி

5) வளங்களை ஒதுக்குங்கள்

6 அ) கொள்கலன்

b) தொடங்க

7) செயல்படுத்து

ஹடூப் YARN இல் பயன்பாட்டு பணிப்பாய்வு

கொடுக்கப்பட்ட படத்தைப் பார்க்கவும், அப்பாச்சி ஹடூப் YARN இன் பயன்பாட்டு பணிப்பாய்வுகளில் பின்வரும் படிகளைப் பார்க்கவும்:

1. வாடிக்கையாளர் ஒரு விண்ணப்பத்தை சமர்ப்பிக்கிறார்
2. பயன்பாட்டு மேலாளரைத் தொடங்க வள மேலாளர் ஒரு கொள்கலனை ஒதுக்குகிறார்
3. பயன்பாட்டு மேலாளர் வள மேலாளருடன் பதிவு செய்கிறார்
4. பயன்பாட்டு மேலாளர் வள மேலாளரிடமிருந்து கொள்கலன்களைக் கேட்கிறார்
5. கொள்கலன்களைத் தொடங்க பயன்பாட்டு நிர்வாகி நோட் மேலாளருக்கு அறிவிக்கிறார்
6. பயன்பாட்டுக் குறியீடு கொள்கலனில் செயல்படுத்தப்படுகிறது
7. பயன்பாட்டின் நிலையை கண்காணிக்க வாடிக்கையாளர் தொடர்புகள் வள மேலாளர் / பயன்பாட்டு மேலாளர்
8. பயன்பாட்டு மேலாளர் ஆதார மேலாளருடன் பதிவு செய்யவில்லை

அப்பாச்சி ஹடூப் YARN இப்போது உங்களுக்குத் தெரியும், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.