ஹடூப் 2.0 கிளஸ்டர் கட்டிடக்கலை கூட்டமைப்பின் கண்ணோட்டம்

ஹடூப் 2.0 கிளஸ்டர் கட்டிடக்கலை கூட்டமைப்பு

அறிமுகம்:

இந்த வலைப்பதிவில், நான் ஹடூப் 2.0 கிளஸ்டர் கட்டிடக்கலை கூட்டமைப்பில் ஆழமாக டைவ் செய்வேன். அப்பாச்சி ஹடூப் 1.x வெளியானதிலிருந்து அப்பாச்சி ஹடூப் நிறைய உருவாகியுள்ளது. என் முந்தைய வலைப்பதிவில் இருந்து உங்களுக்குத் தெரியும் மாஸ்டர் / ஸ்லேவ் டோபாலஜியைப் பின்தொடர்கிறது, அங்கு நேம்நோட் ஒரு மாஸ்டர் டீமனாக செயல்படுகிறது மற்றும் டேட்டாநோட்ஸ் எனப்படும் பிற அடிமை முனைகளை நிர்வகிக்கும் பொறுப்பாகும். இந்த சுற்றுச்சூழல் அமைப்பில், இந்த ஒற்றை மாஸ்டர் டீமான் அல்லது நேம்நோட் ஒரு இடையூறாக மாறும், மாறாக, நிறுவனங்கள் அதிக அளவில் கிடைக்கக்கூடிய நேம்நோட் வேண்டும். இந்த காரணமே எச்.டி.எஃப்.எஸ் கூட்டமைப்பு கட்டிடக்கலை மற்றும் HA (உயர் கிடைக்கும்) கட்டிடக்கலை .

இந்த வலைப்பதிவில் நான் விவரித்த தலைப்புகள் பின்வருமாறு:

• தற்போதைய HDFS கட்டமைப்பு
• தற்போதைய HDFS கட்டமைப்பின் வரம்புகள்
• HDFS கூட்டமைப்பு கட்டமைப்பு

தற்போதைய HDFS கட்டிடக்கலை பற்றிய கண்ணோட்டம்:

மேலே உள்ள படத்தில் நீங்கள் காணக்கூடியது போல, தற்போதைய HDFS க்கு இரண்டு அடுக்குகள் உள்ளன:

ஜாவாவில் வர்க்கத்திற்கும் இடைமுகத்திற்கும் இடையிலான வேறுபாடு

• HDFS பெயர்வெளி (NS): கோப்பகங்கள், கோப்புகள் மற்றும் தொகுதிகளை நிர்வகிக்க இந்த அடுக்கு பொறுப்பு. கோப்புகள் அல்லது கோப்பு கோப்பகங்களை உருவாக்குதல், நீக்குதல் அல்லது மாற்றியமைத்தல் போன்ற பெயர்வெளி தொடர்பான அனைத்து கோப்பு முறைமை செயல்பாட்டையும் இது வழங்குகிறது.
• சேமிப்பு அடுக்கு: இது இரண்டு அடிப்படை கூறுகளைக் கொண்டுள்ளது.
  1. தொகுதி மேலாண்மை : இது பின்வரும் செயல்பாடுகளை செய்கிறது:
     • டேட்டாநோட்களின் இதயத் துடிப்புகளை அவ்வப்போது சரிபார்க்கிறது, மேலும் இது டேட்டாநோட் உறுப்பினர்களை கிளஸ்டருக்கு நிர்வகிக்கிறது.
     • தொகுதி அறிக்கைகளை நிர்வகிக்கிறது மற்றும் தொகுதி இருப்பிடத்தை பராமரிக்கிறது.
     • தொகுதி இருப்பிடத்தை உருவாக்குதல், மாற்றியமைத்தல், நீக்குதல் மற்றும் ஒதுக்கீடு போன்ற தொகுதி செயல்பாடுகளை ஆதரிக்கிறது.
     • கொத்து முழுவதும் பிரதிபலிப்பு காரணியை சீராக பராமரிக்கிறது.

2. உடல் சேமிப்பு : இது தரவுகளை சேமிப்பதற்கு பொறுப்பான டேட்டாநோட்களால் நிர்வகிக்கப்படுகிறது, இதன் மூலம் HDFS இல் சேமிக்கப்பட்ட தரவை படிக்க / எழுத அணுகலை வழங்குகிறது.

எனவே, தற்போதைய எச்டிஎஃப்எஸ் கட்டிடக்கலை ஒரு கிளஸ்டருக்கு ஒற்றை பெயர்வெளியை வைத்திருக்க உங்களை அனுமதிக்கிறது. இந்த கட்டமைப்பில், பெயர்வெளியை நிர்வகிக்க ஒற்றை நேம்நோட் பொறுப்பு. இந்த கட்டமைப்பு மிகவும் வசதியானது மற்றும் செயல்படுத்த எளிதானது. மேலும், இது சிறிய உற்பத்தி கிளஸ்டரின் தேவைகளை பூர்த்தி செய்ய போதுமான திறனை வழங்குகிறது.

தற்போதைய HDFS இன் வரம்புகள்:

முன்னர் விவாதித்தபடி, தற்போதைய எச்.டி.எஃப்.எஸ் ஒரு சிறிய உற்பத்தி கிளஸ்டரின் தேவைகள் மற்றும் பயன்பாட்டு நிகழ்வுகளுக்கு போதுமானதாக இருந்தது. ஆனால், எச்.டி.எஃப்.எஸ் கிளஸ்டர் அதிவேகமாக வளர்ந்ததால் யாகூ, பேஸ்புக் போன்ற பெரிய நிறுவனங்கள் சில வரம்புகளைக் கண்டன. சில வரம்புகளை விரைவாகப் பார்ப்போம்:

பைதான் எண்ணை பைனரிக்கு மாற்றுகிறது

1. பெயர்வெளி அளவிட முடியாது டேட்டாநோட்ஸ் போன்றவை. எனவே, ஒரு நேம்நோட் கையாளக்கூடிய கிளஸ்டரில் அந்த எண்ணிக்கையிலான டேட்டா நோட்களை மட்டுமே வைத்திருக்க முடியும்.
2. இரண்டு அடுக்குகள், அதாவது பெயர்வெளி அடுக்கு மற்றும் சேமிப்பு அடுக்கு இறுக்கமாக இணைக்கப்பட்ட இது நேம்நோட்டின் மாற்று செயல்படுத்தலை மிகவும் கடினமாக்குகிறது.
3. முழு ஹடூப் அமைப்பின் செயல்திறன் உற்பத்தி பெயர்நொட்டின். எனவே, அனைத்து எச்டிஎஃப்எஸ் செயல்பாடுகளின் முழு செயல்திறன் ஒரு குறிப்பிட்ட நேரத்தில் நேம்நோட் எத்தனை பணிகளைக் கையாள முடியும் என்பதைப் பொறுத்தது.
4. நேம்நோட் முழு பெயர்வெளியை ரேமில் வேகமாக அணுகுவதற்காக சேமிக்கிறது. இது அடிப்படையில் வரம்புகளுக்கு வழிவகுக்கிறது நினைவக அளவு அதாவது ஒற்றை பெயர்வெளி சேவையகம் சமாளிக்கக்கூடிய பெயர்வெளி பொருள்களின் எண்ணிக்கை (கோப்புகள் மற்றும் தொகுதிகள்).
5. எச்.டி.எஃப்.எஸ் வரிசைப்படுத்தல் கொண்ட பல நிறுவனங்கள் (விற்பனையாளர்), பல நிறுவனங்களை (குத்தகைதாரர்) தங்கள் கிளஸ்டர் பெயர்வெளியைப் பயன்படுத்த அனுமதிக்கிறது. எனவே, பெயர்வெளியைப் பிரிப்பது இல்லை, எனவே, உள்ளது தனிமை இல்லை கொத்து பயன்படுத்தும் குத்தகைதாரர் அமைப்பு மத்தியில்.

HDFS கூட்டமைப்பு கட்டமைப்பு:

• HDFS கூட்டமைப்பு கட்டமைப்பில், பெயர் சேவையின் கிடைமட்ட அளவிடுதல் எங்களிடம் உள்ளது. எனவே, எங்களிடம் பல நேம்நோட்கள் உள்ளன, அவை கூட்டமைப்பு, அதாவது ஒருவருக்கொருவர் சுயாதீனமாக உள்ளன.
• டேட்டாநோட்கள் கீழே உள்ளன, அதாவது அடிப்படை சேமிப்பக அடுக்கு.
• ஒவ்வொரு டேட்டாநோடும் கிளஸ்டரில் உள்ள அனைத்து நேம்நோட்களுடன் பதிவுசெய்கிறது.
• டேட்டாநோட்கள் அவ்வப்போது இதயத் துடிப்புகளை அனுப்புகின்றன, அறிக்கைகளைத் தடுக்கின்றன மற்றும் பெயர்நெட்களிலிருந்து கட்டளைகளைக் கையாளுகின்றன.

HDFS கூட்டமைப்பு கட்டமைப்பின் சித்திர பிரதிநிதித்துவம் கீழே கொடுக்கப்பட்டுள்ளது:

மேலே செல்வதற்கு முன், மேலே உள்ள கட்டடக்கலை படத்தைப் பற்றி சுருக்கமாக பேசுவேன்:

• பல பெயர்வெளிகள் உள்ளன (NS1, NS2,…, NSn) அவை ஒவ்வொன்றும் அந்தந்த நேம்நோட் மூலம் நிர்வகிக்கப்படுகின்றன.
• ஒவ்வொரு பெயர்வெளிக்கும் அதன் சொந்த தொகுதிக் குளம் உள்ளது (NS1 க்கு பூல் 1 உள்ளது, NSk க்கு பூல் கே உள்ளது மற்றும் பல).
• படத்தில் காட்டப்பட்டுள்ளபடி, பூல் 1 (ஸ்கை ப்ளூ) இலிருந்து தொகுதிகள் டேட்டாநோட் 1, டேட்டாநோட் 2 மற்றும் பலவற்றில் சேமிக்கப்படுகின்றன. இதேபோல், ஒவ்வொரு தொகுதிக் குளத்திலிருந்தும் அனைத்து தொகுதிகள் எல்லா டேட்டா நோட்களிலும் இருக்கும்.

இப்போது, ​​HDFS கூட்டமைப்பு கட்டமைப்பின் கூறுகளை விரிவாக புரிந்துகொள்வோம்:

தொகுதி குளம்:

பிளாக் பூல் என்பது ஒரு குறிப்பிட்ட பெயர்வெளியைச் சேர்ந்த தொகுதிகளின் தொகுப்பைத் தவிர வேறில்லை. எனவே, எங்களிடம் தொகுதிக் குளம் உள்ளது, அங்கு ஒவ்வொரு தொகுதிக் குளமும் மற்றொன்றிலிருந்து சுயாதீனமாக நிர்வகிக்கப்படுகிறது. ஒவ்வொரு தொகுதிக் குளமும் சுயாதீனமாக நிர்வகிக்கப்படும் இந்த சுதந்திரம், பிற பெயர்வெளிகளுடன் ஒருங்கிணைப்பு இல்லாமல் புதிய தொகுதிகளுக்கான தொகுதி ஐடிகளை உருவாக்க பெயர்வெளியை அனுமதிக்கிறது. அனைத்து தொகுதிக் குளத்திலும் உள்ள தரவுத் தொகுதிகள் எல்லா டேட்டா நோட்களிலும் சேமிக்கப்படுகின்றன. அடிப்படையில், பிளாக் பூல் ஒரு சுருக்கத்தை வழங்குகிறது, இது டேட்டாநோட்களில் (ஒற்றை நேம்ஸ்பேஸ் கட்டிடக்கலை போல) ஒரு குறிப்பிட்ட பெயர்வெளிக்கு ஒத்ததாக தொகுக்கப்படலாம்.

பெயர்வெளி தொகுதி:

பெயர்வெளி தொகுதி என்பது அதன் தொகுதிக் குளத்துடன் பெயர்வெளியைத் தவிர வேறில்லை. எனவே, எச்.டி.எஃப்.எஸ் கூட்டமைப்பில் எங்களிடம் பல பெயர்வெளி தொகுதிகள் உள்ளன. இது நிர்வாகத்தின் ஒரு தன்னிறைவான அலகு, அதாவது ஒவ்வொரு பெயர்வெளி அளவும் சுயாதீனமாக செயல்பட முடியும். ஒரு நேம்நோட் அல்லது பெயர்வெளி நீக்கப்பட்டால், டேட்டா நோட்களில் வசிக்கும் தொடர்புடைய தொகுதிக் குளமும் நீக்கப்படும்.

டெமோ ஆன் ஹடூப் 2.0 கிளஸ்டர் ஆர்கிடெக்சர் கூட்டமைப்பு | எடுரேகா

இப்போது, ​​HDFS கூட்டமைப்பு கட்டிடக்கலை பற்றி உங்களுக்கு நல்ல யோசனை இருப்பதாக நான் நினைக்கிறேன். இது ஒரு தத்துவார்த்த கருத்து மற்றும் மக்கள் பொதுவாக ஒரு நடைமுறை உற்பத்தி முறையில் இதைப் பயன்படுத்துவதில்லை. எச்.டி.எஃப்.எஸ் கூட்டமைப்பில் சில செயல்படுத்தல் சிக்கல்கள் உள்ளன, அவை வரிசைப்படுத்துவது கடினம். எனவே, தி HA (உயர் கிடைக்கும்) கட்டிடக்கலை ஒற்றை புள்ளி தோல்வி சிக்கலை தீர்க்க விரும்பப்படுகிறது. நான் உள்ளடக்கியுள்ளேன் HDFS HA ​​கட்டமைப்பு எனது அடுத்த வலைப்பதிவில்.

ஜாவா நிரலை எவ்வாறு தொகுப்பது

இப்போது நீங்கள் ஹடூப் எச்.டி.எஃப்.எஸ் கூட்டமைப்பு கட்டமைப்பைப் புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், மேப்ரூட், பன்றி, ஹைவ், எச் பேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.