ஹடூப்பை நிறுவவும்: ஒற்றை முனை ஹடூப் கிளஸ்டரை அமைத்தல்
எங்கள் முந்தைய வலைப்பதிவுகளிலிருந்து , ஹடூப், எச்.டி.எஃப்.எஸ் மற்றும் அதன் கட்டிடக்கலை பற்றி உங்களுக்கு ஒரு தத்துவார்த்த யோசனை கிடைத்திருக்க வேண்டும்.ஆனால் பெற உங்களுக்கு நல்ல அறிவு தேவை.எங்கள் முந்தைய வலைப்பதிவை நீங்கள் விரும்பியிருப்பீர்கள் என்று நம்புகிறேன் , இப்போது ஹடூப் மற்றும் எச்.டி.எஃப்.எஸ் பற்றிய நடைமுறை அறிவின் மூலம் உங்களை அழைத்துச் செல்வேன். முதல் படி ஹடூப்பை நிறுவ வேண்டும்.
ஹடூப்பை நிறுவ இரண்டு வழிகள் உள்ளன, அதாவது. ஒற்றை முனை மற்றும் பல முனை .
ஒற்றை முனை கொத்து ஒரே ஒரு டேட்டாநோட் மட்டுமே இயங்குகிறது மற்றும் ஒரே கணினியில் அனைத்து நேம்நோட், டேட்டாநோட், ரிசோர்ஸ் மேனேஜர் மற்றும் நோட் மேனேஜரை அமைக்கிறது. இது படிப்பு மற்றும் சோதனை நோக்கங்களுக்காக பயன்படுத்தப்படுகிறது. எடுத்துக்காட்டாக, ஒரு சுகாதாரத் துறையில் அமைக்கப்பட்ட மாதிரி தரவைக் கருத்தில் கொள்வோம். ஆகவே, தரவை சரியான வரிசையில் சேகரித்தல், திரட்டுதல், சேமித்தல் மற்றும் செயலாக்குதல் போன்ற அனைத்து செயல்முறைகளையும் ஓஸி வேலைகள் திட்டமிட்டுள்ளனவா என்பதை சோதிக்க, நாங்கள் ஒற்றை முனை கிளஸ்டரைப் பயன்படுத்துகிறோம். நூற்றுக்கணக்கான இயந்திரங்களில் விநியோகிக்கப்பட்ட டெராபைட் தரவுகளைக் கொண்ட பெரிய சூழல்களுடன் ஒப்பிடும்போது, இது ஒரு சிறிய சூழலில் தொடர்ச்சியான பணிப்பாய்வுகளை எளிதாகவும் திறமையாகவும் சோதிக்க முடியும்.
ஒரு போது மல்டி நோட் கிளஸ்டர் , ஒன்றுக்கு மேற்பட்ட டேட்டாநோட் இயங்குகிறது மற்றும் ஒவ்வொரு டேட்டா நோடும் வெவ்வேறு கணினிகளில் இயங்குகிறது. பிக் டேட்டாவை பகுப்பாய்வு செய்வதற்கு நிறுவனங்களில் மல்டி நோட் கிளஸ்டர் நடைமுறையில் பயன்படுத்தப்படுகிறது. மேற்கண்ட எடுத்துக்காட்டைக் கருத்தில் கொண்டு, உண்மையான நேரத்தில் நாம் பெட்டாபைட் தரவுகளைக் கையாளும் போது, செயலாக்க நூற்றுக்கணக்கான இயந்திரங்களில் விநியோகிக்கப்பட வேண்டும். எனவே, இங்கே நாம் பல முனை கிளஸ்டரைப் பயன்படுத்துகிறோம்.
இந்த வலைப்பதிவில், ஒற்றை முனை கிளஸ்டரில் ஹடூப்பை எவ்வாறு நிறுவுவது என்பதைக் காண்பிப்பேன்.
முன்நிபந்தனைகள்
- VIRTUAL BOX : இது இயக்க முறைமையை நிறுவ பயன்படுகிறது.
- இயக்க முறைமை : நீங்கள் லினக்ஸ் அடிப்படையிலான இயக்க முறைமைகளில் ஹடூப்பை நிறுவலாம். உபுண்டு மற்றும் சென்டோஸ் ஆகியவை பொதுவாகப் பயன்படுத்தப்படுகின்றன. இந்த டுடோரியலில், நாங்கள் CentOS ஐப் பயன்படுத்துகிறோம்.
- ஜாவா : உங்கள் கணினியில் ஜாவா 8 தொகுப்பை நிறுவ வேண்டும்.
- ஹடூப் : உங்களுக்கு ஹடூப் 2.7.3 தொகுப்பு தேவை.
ஹடூப்பை நிறுவவும்
படி 1: இங்கே கிளிக் செய்க ஜாவா 8 தொகுப்பைப் பதிவிறக்க. இந்த கோப்பை உங்கள் வீட்டு அடைவில் சேமிக்கவும்.
படி 2: ஜாவா தார் கோப்பை பிரித்தெடுக்கவும்.
கட்டளை : tar -xvf jdk-8u101-linux-i586.tar.gz
படம்: ஹடூப் நிறுவல் - ஜாவா கோப்புகளை பிரித்தெடுத்தல்
படி 3: ஹடூப் 2.7.3 தொகுப்பைப் பதிவிறக்கவும்.
கட்டளை : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
படம்: ஹடூப் நிறுவல் - ஹடூப்பை பதிவிறக்குகிறது
படி 4: ஹடூப் தார் கோப்பை பிரித்தெடுக்கவும்.
கட்டளை : tar -xvf hadoop-2.7.3.tar.gz
படம்: ஹடூப் நிறுவல் - ஹடூப் கோப்புகளை பிரித்தெடுத்தல்
படி 5: பாஷ் கோப்பில் (.bashrc) ஹடூப் மற்றும் ஜாவா பாதைகளைச் சேர்க்கவும்.
திற . bashrc கோப்பு. இப்போது, கீழே காட்டப்பட்டுள்ளபடி ஹடூப் மற்றும் ஜாவா பாதையைச் சேர்க்கவும்.
கட்டளை : vi .bashrc
படம்: ஹடூப் நிறுவல் - சுற்றுச்சூழல் மாறியை அமைத்தல்
பின்னர், பாஷ் கோப்பை சேமித்து அதை மூடவும்.
தற்போதைய டெர்மினலில் இந்த மாற்றங்கள் அனைத்தையும் பயன்படுத்த, மூல கட்டளையை இயக்கவும்.
கட்டளை : மூல .bashrc
படம்: ஹடூப் நிறுவல் - புத்துணர்ச்சியூட்டும் சூழல் மாறிகள்
உங்கள் கணினியில் ஜாவா மற்றும் ஹடூப் சரியாக நிறுவப்பட்டுள்ளதா என்பதை உறுதிப்படுத்த, டெர்மினல் வழியாக அணுகலாம், இஜாவா -வெர்ஷன் மற்றும் ஹடூப் பதிப்பு கட்டளைகளை xecute.
கட்டளை : ஜாவா-மாற்றம்
படம்: ஹடூப் நிறுவல் - ஜாவா பதிப்பைச் சரிபார்க்கிறது
கட்டளை : ஹடூப்பதிப்பு
படம்: ஹடூப் நிறுவல் - ஹடூப் பதிப்பைச் சரிபார்க்கிறது
படி 6 : திருத்து .
கட்டளை: cd hadoop-2.7.3 / etc / hadoop /
கட்டளை: ls
அனைத்து ஹடூப் உள்ளமைவு கோப்புகளும் அமைந்துள்ளன hadoop-2.7.3 / etc / hadoop கீழேயுள்ள ஸ்னாப்ஷாட்டில் நீங்கள் காணக்கூடிய அடைவு:
ஜாவாவில் முட்டுக்கட்டை தடுப்பது எப்படி
படம்: ஹடூப் நிறுவல் - ஹடூப் உள்ளமைவு கோப்புகள்
படி 7 : திற core-site.xml உள்ளமைவு குறிச்சொல்லுக்குள் கீழே குறிப்பிடப்பட்டுள்ள சொத்தைத் திருத்தவும்:
core-site.xml க்ளஸ்டரில் நேம்நோட் இயங்கும் ஹடூப் டீமானுக்குத் தெரிவிக்கிறது. இது HDFS & MapReduce க்கு பொதுவான I / O அமைப்புகள் போன்ற ஹடூப் கோரின் உள்ளமைவு அமைப்புகளைக் கொண்டுள்ளது.
கட்டளை : vi core-site.xml
படம்: ஹடூப் நிறுவல் - கோர்-சைட்.எக்ஸ்.எம்.எல்
fs.default.name hdfs: // localhost: 9000
படி 8: தொகு hdfs-site.xml உள்ளமைவு குறிச்சொல்லுக்குள் கீழே குறிப்பிடப்பட்டுள்ள சொத்தைத் திருத்தவும்:
hdfs-site.xml HDFS டீமன்களின் உள்ளமைவு அமைப்புகளைக் கொண்டுள்ளது (அதாவது பெயர்நொட், டேட்டாநோட், இரண்டாம் நிலை பெயர்நொட்). இது HDFS இன் பிரதி காரணி மற்றும் தொகுதி அளவையும் உள்ளடக்கியது.
கட்டளை : vi hdfs-site.xml
படம்: ஹடூப் நிறுவல் - hdfs-site.xml ஐ கட்டமைக்கிறது
dfs.replication 1 dfs.permission false
படி 9 : திருத்து mapred-site.xml உள்ளமைவு குறிச்சொல்லின் உள்ளே கீழே குறிப்பிடப்பட்டுள்ள சொத்தை கோப்பு மற்றும் திருத்த:
mapred-site.xml இணையாக இயங்கக்கூடிய JVM இன் எண்ணிக்கை, மேப்பரின் அளவு மற்றும் குறைப்பான் செயல்முறை, ஒரு செயல்முறைக்கு கிடைக்கக்கூடிய CPU கோர்கள் போன்ற MapReduce பயன்பாட்டின் உள்ளமைவு அமைப்புகள் உள்ளன.
சில சந்தர்ப்பங்களில், mapred-site.xml கோப்பு கிடைக்கவில்லை. எனவே, நாம் வரைபடம்- site.xml கோப்பை உருவாக்க வேண்டும்mapred-site.xml வார்ப்புருவைப் பயன்படுத்துதல்.
கட்டளை : cp mapred-site.xml.template mapred-site.xml
கட்டளை : நாங்கள் mapred-தளம்.xml.
படம்: ஹடூப் நிறுவல் - வரைபடம்-தளம். Xml ஐ கட்டமைக்கிறது
mapreduce.framework.name நூல்
படி 10: தொகு yarn-site.xml உள்ளமைவு குறிச்சொல்லுக்குள் கீழே குறிப்பிடப்பட்டுள்ள சொத்தைத் திருத்தவும்:
yarn-site.xml பயன்பாட்டு நினைவக மேலாண்மை அளவு, நிரல் மற்றும் வழிமுறை போன்றவற்றில் தேவைப்படும் செயல்பாடு போன்ற ResourceManager மற்றும் NodeManager இன் உள்ளமைவு அமைப்புகளைக் கொண்டுள்ளது.
கட்டளை : vi yarn-site.xml
படம்: ஹடூப் நிறுவல் - நூல்-தளம். Xml ஐ கட்டமைக்கிறது
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
படி 11: தொகு hadoop-env.sh கீழே குறிப்பிட்டுள்ளபடி ஜாவா பாதையைச் சேர்க்கவும்:
hadoop-env.sh ஜாவா வீட்டுப் பாதை போன்ற ஹடூப்பை இயக்க ஸ்கிரிப்டில் பயன்படுத்தப்படும் சூழல் மாறிகள் உள்ளன.
கட்டளை : நாங்கள் ஹடூப்-env.sh
படம்: ஹடூப் நிறுவல் - hadoop-env.sh ஐ கட்டமைத்தல்
படி 12: ஹடூப் முகப்பு கோப்பகத்திற்குச் சென்று பெயர்நெட்டை வடிவமைக்கவும்.
கட்டளை : குறுவட்டு
கட்டளை : cd hadoop-2.7.3
கட்டளை : பின் / ஹடூப் நோக்கம்-வடிவமைப்பு
படம்: ஹடூப் நிறுவல் - பெயர்நெட்டை வடிவமைத்தல்
இது பெயர்நொட் வழியாக HDFS ஐ வடிவமைக்கிறது. இந்த கட்டளை முதல் முறையாக மட்டுமே செயல்படுத்தப்படுகிறது. கோப்பு முறைமையை வடிவமைப்பது என்பது dfs.name.dir மாறியால் குறிப்பிடப்பட்ட கோப்பகத்தை துவக்குவதாகும்.
ஹடூப் கோப்பு முறைமையை ஒருபோதும் வடிவமைக்க வேண்டாம். HDFS இல் சேமிக்கப்பட்ட உங்கள் எல்லா தரவையும் இழப்பீர்கள்.
படி 13: நேம்நோட் வடிவமைக்கப்பட்டதும், ஹடூப் -2.7.3 / எஸ்.பி.என் கோப்பகத்திற்குச் சென்று அனைத்து டீமன்களையும் தொடங்கவும்.
கட்டளை: cd hadoop-2.7.3 / sbin
ஒன்று நீங்கள் அனைத்து டெமன்களையும் ஒரே கட்டளையுடன் தொடங்கலாம் அல்லது தனித்தனியாக செய்யலாம்.
கட்டளை: ./ start-all.sh
மேலே உள்ள கட்டளை ஒரு கலவையாகும் start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
அல்லது நீங்கள் கீழே உள்ளபடி அனைத்து சேவைகளையும் தனித்தனியாக இயக்கலாம்:
பெயர்நொட்டைத் தொடங்குங்கள்:
பெயர்நெட் என்பது ஒரு HDFS கோப்பு முறைமையின் மையப்பகுதியாகும். இது HDFS இல் சேமிக்கப்பட்ட அனைத்து கோப்புகளின் அடைவு மரத்தையும் வைத்திருக்கிறது மற்றும் கொத்து முழுவதும் சேமிக்கப்பட்ட எல்லா கோப்பையும் கண்காணிக்கிறது.
கட்டளை: ./hadoop-daemon.sh தொடக்க நோக்கம்
படம்: ஹடூப் நிறுவல் - பெயர்நொட்டைத் தொடங்குகிறது
டேட்டாநோட்டைத் தொடங்குங்கள்:
தொடக்கத்தில், ஒரு டேட்டாநோட் நேமனோடோடு இணைகிறது, மேலும் இது வெவ்வேறு செயல்பாடுகளுக்கான பெயரிலிருந்து வரும் கோரிக்கைகளுக்கு பதிலளிக்கிறது.
கட்டளை: ./hadoop-daemon.sh தொடக்க டேடனோட்
படம்: ஹடூப் நிறுவல் - டேட்டா நோட்டைத் தொடங்குகிறது
ResourceManager ஐத் தொடங்குங்கள்:
ரிசோர்ஸ் மேனேஜர் என்பது கிடைக்கக்கூடிய அனைத்து கிளஸ்டர் வளங்களையும் மத்தியஸ்தம் செய்யும் மாஸ்டர், இதனால் YARN கணினியில் இயங்கும் விநியோகிக்கப்பட்ட பயன்பாடுகளை நிர்வகிக்க உதவுகிறது. ஒவ்வொரு NodeManagers மற்றும் ஒவ்வொரு பயன்பாட்டின் ApplicationMaster ஐ நிர்வகிப்பதே இதன் பணி.
கட்டளை: ./ ஆண்டு-daemon.sh தொடக்க வள மேலாளர்
படம்: ஹடூப் நிறுவல் - வள மேலாளரைத் தொடங்குதல்
NodeManager ஐத் தொடங்குங்கள்:
ஒவ்வொரு இயந்திர கட்டமைப்பிலும் உள்ள NodeManager என்பது கொள்கலன்களை நிர்வகிப்பதற்கும், அவற்றின் வள பயன்பாட்டைக் கண்காணிப்பதற்கும், அதை ResourceManager க்கு புகாரளிப்பதற்கும் பொறுப்பான முகவர்.
கட்டளை: ./ ஆண்டு-daemon.sh தொடக்க நோட்மேனேஜர்
படம்: ஹடூப் நிறுவல் - நோட்மேனேஜரைத் தொடங்குகிறது
JobHistoryServer ஐத் தொடங்கவும்:
வாடிக்கையாளரிடமிருந்து வேலை வரலாறு தொடர்பான அனைத்து கோரிக்கைகளையும் வழங்குவதற்கு ஜாப்ஹிஸ்டரிசர்வர் பொறுப்பு.
கட்டளை : ./mr-jobhistory-daemon.sh தொடக்க வரலாறு சேவையகம்
படி 14: அனைத்து ஹடூப் சேவைகளும் இயங்குகின்றனவா என்பதை சரிபார்க்க, கீழே உள்ள கட்டளையை இயக்கவும்.
கட்டளை: jps
படம்: ஹடூப் நிறுவல் - டெமன்களைச் சரிபார்க்கிறது
படி 15: இப்போது மொஸில்லா உலாவியைத் திறந்து செல்லுங்கள் லோக்கல் ஹோஸ்ட் : 50070 / dfshealth.html நேம்நோட் இடைமுகத்தை சரிபார்க்க.
படம்: ஹடூப் நிறுவல் - WebUI ஐத் தொடங்குகிறது
வாழ்த்துக்கள், ஒரே நேரத்தில் ஒரு முனை ஹடூப் கிளஸ்டரை வெற்றிகரமாக நிறுவியுள்ளீர்கள்.எங்கள் அடுத்த வலைப்பதிவில் , பல முனை கிளஸ்டரில் ஹடூப்பை எவ்வாறு நிறுவுவது என்பதை நாங்கள் உள்ளடக்குவோம்.
ஹடூப்பை எவ்வாறு நிறுவுவது என்பதை இப்போது நீங்கள் புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.