பிக் டேட்டாவிற்கான தேவை அதிகரித்து வருவதோடு, அப்பாச்சி ஹடூப்பும் உள்ளதுஇல்புரட்சியின் இதயம், நாங்கள் தரவை ஒழுங்கமைத்து கணக்கிடும் முறையை மாற்றியுள்ளது. நிறுவனங்கள் தங்கள் வணிகத் தேவைகளுடன் ஹடூப்பை சீரமைக்க வேண்டிய அவசியம் வணிக விநியோகங்களின் தோற்றத்திற்கு தூண்டுகிறது. வணிக ஹடூப் விநியோகங்கள் வழக்கமாக அம்சங்களுடன் தொகுக்கப்படுகின்றன, அவை ஹடூப்பின் வரிசைப்படுத்தலை நெறிப்படுத்த வடிவமைக்கப்பட்டுள்ளன. கிளவுட்ரா ஹடூப் விநியோகம் அளவிடக்கூடிய, நெகிழ்வான, ஒருங்கிணைந்த தளத்தை வழங்குகிறது, இது உங்கள் நிறுவனத்தில் வேகமாக அதிகரித்து வரும் தொகுதிகளையும் தரவுகளின் வகைகளையும் நிர்வகிக்க எளிதாக்குகிறது.
கிளவுட்ரா ஹடூப் விநியோகத்தின் இந்த வலைப்பதிவில், பின்வரும் தலைப்புகளை நாங்கள் காண்போம்:
கிளவுட்ரா ஹடூப்: ஹடூப் அறிமுகம்
ஹடூப் என்பது அப்பாச்சி திறந்த மூல கட்டமைப்பாகும், இது விநியோகிக்கப்பட்ட சூழலில் பெரிய தரவை சேமித்து செயலாக்குகிறதுமுழுவதும்எளிய நிரலாக்க மாதிரிகளைப் பயன்படுத்தி கொத்து. விநியோகிக்கப்பட்ட சேமிப்பகத்தின் மேல் இணையான கணக்கீட்டை ஹடூப் வழங்குகிறது.ஹடூப்பைப் பற்றி விரிவாக அறிய இதை நீங்கள் குறிப்பிடலாம்
ஹடூப்பின் இந்த குறுகிய அறிமுகத்திற்குப் பிறகு, பல்வேறு வகையான ஹடூப் விநியோகத்தை இப்போது விளக்குகிறேன்.
கிளவுட்ரா ஹடூப்: ஹடூப் விநியோகம்
அப்பாச்சி ஹடூப் திறந்த மூலமாக இருப்பதால், பல நிறுவனங்கள் அசல் திறந்த மூலக் குறியீட்டைத் தாண்டிய விநியோகங்களை உருவாக்கியுள்ளன. இது லினக்ஸ் விநியோகங்களான ரெட்ஹாட், ஃபெடோரா மற்றும் உபுண்டு போன்றவற்றுடன் மிகவும் ஒத்திருக்கிறது. ஒவ்வொரு லினக்ஸ் விநியோகங்களும் அதன் சொந்த செயல்பாடுகள் மற்றும் உபுண்டுவில் பயனர் நட்பு ஜி.யு.ஐ போன்ற அம்சங்களை ஆதரிக்கின்றன. இதேபோல், Red Hat நிறுவனங்களுக்குள் பிரபலமாக உள்ளது, ஏனெனில் இது ஆதரவை வழங்குகிறது, மேலும் அமைப்பின் எந்தப் பகுதியிலும் விருப்பப்படி மாற்றங்களைச் செய்வதற்கான சித்தாந்தத்தையும் வழங்குகிறது. மென்பொருள் பொருந்தக்கூடிய சிக்கல்களிலிருந்து Red Hat உங்களை விடுவிக்கிறது. இது பொதுவாக பயனர்களுக்கு ஒரு பெரிய பிரச்சினையாகும்விண்டோஸிலிருந்து மாறுகிறவர்கள்.
அதேபோல், ஹடூப் விநியோகங்களில் 3 முக்கிய வகைகள் உள்ளன, அவை அதன் சொந்த செயல்பாடுகள் மற்றும் அம்சங்களைக் கொண்டுள்ளன, மேலும் அவை அடிப்படை HDFS இன் கீழ் கட்டப்பட்டுள்ளன.
கிளவுட்ரா vs மேப்ஆர் vs ஹார்டன்வொர்க்ஸ்
படம்: மேப்ஆர் Vs ஹார்டன்வொர்க்ஸ் Vs கிளவுட்ரா
கிளவுட்ரா ஹடூப் விநியோகம்
கிளவுட்ரா என்பது ஹடூப் இடத்தின் சந்தை போக்கு மற்றும் வணிகரீதியான ஹடூப் விநியோகத்தை வெளியிட்ட முதல் நிறுவனம் ஆகும். 'அப்பாச்சி ஹடூப் என்ன வழங்குகிறது' மற்றும் 'நிறுவனங்களுக்கு என்ன தேவை' - ஆகியவற்றுக்கு இடையேயான இடைவெளியைக் குறைக்க இது ஆலோசனை சேவைகளை வழங்குகிறது.
கிளவுட்ரா விநியோகம்:
- வணிகத்திற்கு வேகமாக : பகுப்பாய்வு முதல் தரவு அறிவியல் மற்றும் இடையில் உள்ள அனைத்தும், வரம்பற்ற தரவின் திறனைத் திறக்க உங்களுக்கு தேவையான செயல்திறனை கிளவுட்ரா வழங்குகிறது.
- ஹடூப்பை நிர்வகிக்க எளிதாக்குகிறது : கிளவுட்ரா மேலாளருடன், தானியங்கு வழிகாட்டிகள் அளவு அல்லது வரிசைப்படுத்தல் சூழலைப் பொருட்படுத்தாமல், உங்கள் கிளஸ்டரை விரைவாக வரிசைப்படுத்த அனுமதிக்கின்றன.
- சமரசம் இல்லாமல் பாதுகாப்பானது: வணிக சுறுசுறுப்பை தியாகம் செய்யாமல் கடுமையான தரவு பாதுகாப்பு மற்றும் இணக்க தேவைகளை பூர்த்தி செய்கிறது. தரவு பாதுகாப்பு மற்றும் நிர்வாகத்திற்கான ஒருங்கிணைந்த அணுகுமுறையை கிளவுட்ரா வழங்குகிறது.
ஹார்டன்-ஒர்க்ஸ் விநியோகம்
ஹார்டன்-ஒர்க்ஸ் டேட்டா பிளாட்ஃபார்ம் (எச்டிபி) முற்றிலும் திறந்த மூல தளமாகும், இது பல ஆதாரங்கள் மற்றும் வடிவங்களிலிருந்து தரவை கையாள வடிவமைக்கப்பட்டுள்ளது. இந்த மேடையில் ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை (எச்டிஎஃப்எஸ்), மேப்ரூட், ஜூக்கீப்பர், எச் பேஸ், பிக், ஹைவ் மற்றும் கூடுதல் கூறுகள் போன்ற பல்வேறு ஹடூப் கருவிகள் உள்ளன.
இது போன்ற அம்சங்களையும் இது ஆதரிக்கிறது:
- எச்டிபி ஹைவ் செய்கிறது வேகமாக அதன் புதிய ஸ்டிங்கர் திட்டத்தின் மூலம்.
- HDP விற்பனையாளர் பூட்டுவதைத் தவிர்க்கிறது ஹடூப்பின் முட்கரண்டி பதிப்பிற்கு உறுதியளிப்பதன் மூலம்.
- எச்டிபி மேம்படுத்துவதில் கவனம் செலுத்துகிறது பயன்பாட்டினை ஹடூப் தளத்தின்.
மேப்ஆர் விநியோகம்
வரைபடம் என்பது ஹார்டன்வொர்க்ஸ் மற்றும் கிள oud டெராவைப் போலவே ஒரு தளத்தை மையமாகக் கொண்ட ஹடூப் தீர்வுகள் வழங்குநராகும். MapR அதன் சொந்த தரவுத்தள அமைப்பை ஒருங்கிணைக்கிறது, இது MapR-DB என அழைக்கப்படுகிறது, இது ஹடூப் விநியோக சேவைகளை வழங்கும் போது. MapR-DB பங்கு ஹடூப் தரவுத்தளத்தை விட நான்கு முதல் ஏழு மடங்கு வேகமாக இருப்பதாகக் கூறப்படுகிறது, அதாவது HBase, இது மற்ற விநியோகங்களில் செயல்படுத்தப்படுகிறது.
இது போன்ற புதிரான அம்சங்களைக் கொண்டுள்ளது:
- எந்த ஜாவா சார்புகளும் இல்லாமல் பன்றி, ஹைவ் மற்றும் ஸ்கூப் ஆகியவற்றை உள்ளடக்கிய ஒரே ஹடூப் விநியோகம் இதுவாகும் - ஏனெனில் இது மேப்ஆர்-கோப்பு முறைமையை நம்பியுள்ளது.
- மேப்ஆர் என்பது அதிக உற்பத்தித் தயாராக இருக்கும் ஹடூப் விநியோகமாகும், இது பல மேம்பாடுகளுடன் பயனர் நட்பு, வேகமான மற்றும் நம்பகமானதாக ஆக்குகிறது.
இப்போது கிளவுட்ரா ஹடூப் விநியோகம் பற்றி ஆழமாக விவாதிக்கலாம்.
புதிய புதுப்பிப்புகளைப் பெற எங்கள் YouTube சேனலுக்கு குழுசேரவும் ...
கிளவுட்ரா ஹடூப்: கிளவுட்ரா விநியோகம்
முதல் வணிக ஹடூப் விநியோகத்தை வெளியிடும் ஹடூப் இடத்தில் கிளவுட்ரா சிறந்த அறியப்பட்ட வீரர் ஆவார்.
படம்: கிளவுட்ரா ஹடூப் விநியோகம்
கிளவுட்ரா ஹடூப் விநியோகம் பின்வரும் அம்சங்களை ஆதரிக்கிறது:
- கிளவுட்ராவின் சி.டி.எச் அனைத்து திறந்த மூல கூறுகளையும் உள்ளடக்கியது, நிறுவன-வகுப்பு வரிசைப்படுத்தல்களை குறிவைக்கிறது, மேலும் இது மிகவும் பிரபலமான வணிக ஹடூப் விநியோகங்களில் ஒன்றாகும்.
- அதன் கண்டுபிடிப்புகளுக்கு பெயர் பெற்ற, கிளவுட்ரா முதன்முதலில் வழங்கினார் SQL-for-Hadoop அதன் உடன் இம்பலா வினவல் இயந்திரம்.
- மேலாண்மை கன்சோல் - கிளவுட்ரா மேலாளர் , அனைத்து கிளஸ்டர் தகவல்களையும் ஒழுங்கமைக்கப்பட்ட மற்றும் சுத்தமான வழியில் காண்பிக்கும் பணக்கார பயனர் இடைமுகத்துடன் பயன்படுத்த எளிதானது மற்றும் செயல்படுத்தலாம்.
- சி.டி.எச் இல் நீங்கள் எந்தவித இடையூறும் இல்லாமல் அப் மற்றும் இயங்கும் கிளஸ்டருக்கு சேவைகளைச் சேர்க்கலாம்.
- கிளவுட்ராவின் பிற சேர்த்தல்களில் பாதுகாப்பு, பயனர் இடைமுகம் மற்றும் மூன்றாம் தரப்பு பயன்பாடுகளுடன் ஒருங்கிணைப்பதற்கான இடைமுகங்கள் ஆகியவை அடங்கும்.
- சி.டி.எச் வழங்குகிறது முனை வார்ப்புருக்கள் அதாவது, மாறுபட்ட உள்ளமைவுடன் ஹடூப் கிளஸ்டரில் ஒரு கணு முனைகளை உருவாக்க இது அனுமதிக்கிறது. இது ஹடூப் கிளஸ்டர் முழுவதும் ஒரே கட்டமைப்பைப் பயன்படுத்துவதை அழிக்கிறது.
- இது ஆதரிக்கிறது:
- நம்பகத்தன்மை
ஒரு பிழை கண்டறியப்படும்போதெல்லாம் ஹடூப் விற்பனையாளர்கள் உடனடியாக பதிலளிப்பார்கள். வணிக தீர்வுகளை இன்னும் நிலையானதாக மாற்றும் நோக்கத்துடன், திட்டுகள் மற்றும் திருத்தங்கள் உடனடியாக பயன்படுத்தப்படுகின்றன. ஆதரவு
கிளவுட்ரா ஹடூப் விற்பனையாளர்கள் தொழில்நுட்ப வழிகாட்டுதலையும் உதவிகளையும் வழங்குகிறார்கள், இது வாடிக்கையாளர்களுக்கு நிறுவன அளவிலான பணிகள் மற்றும் மிஷன்-சிக்கலான பயன்பாடுகளுக்கு ஹடூப்பை ஏற்றுக்கொள்வதை எளிதாக்குகிறது.முழுமை
ஹடூப் விற்பனையாளர்கள் தங்கள் விநியோகங்களை வேறு பல கூடுதல் கருவிகளுடன் இணைக்கிறார்கள், இது வாடிக்கையாளர்கள் தங்கள் குறிப்பிட்ட பணிகளைச் செய்ய ஹடூப் பயன்பாட்டைத் தனிப்பயனாக்க உதவுகிறது.
- நம்பகத்தன்மை
கிளவுட்ரா விநியோகங்கள் 2 வெவ்வேறு வகையான பதிப்புகளுடன் வருகின்றன.
- கிளவுட்ரா எக்ஸ்பிரஸ் பதிப்பு
- கிளவுட்ரா நிறுவன பதிப்பு
இப்போது அவற்றுக்கிடையேயான வேறுபாடுகளைப் பார்ப்போம்.
| அம்சங்கள் | கிளவுட்ரா-எக்ஸ்பிரஸ் | கிளவுட்ரா-எண்டர்பிரைஸ் |
| கிளஸ்டர் மேலாண்மை | ||
| 1. மல்டி கிளஸ்டர் மேலாண்மை | ஆம் | ஆம் |
| 2. வள மேலாண்மை | ஆம் | ஆம் |
| வரிசைப்படுத்தல் | ||
| 1. சி.டி.எச் 4 மற்றும் 5 க்கான ஆதரவு | ஆம் | ஆம் |
| 2. சி.டி.எச் மேம்படுத்தல் | இல்லை | ஆம் |
| சேவை மற்றும் உள்ளமைவு மேலாண்மை | ||
| 1. HDFS, MapReduce, YARN, Impala, HBase, Hive, Hue, Oozie, Zookeeper, Solr, Spark மற்றும் Accumulo சேவைகளை நிர்வகிக்கவும் | ஆம் | ஆம் |
| 2. சேவைகளின் மறுதொடக்கம் | இல்லை | ஆம் |
| பாதுகாப்பு | ||
| 1. LDAP அங்கீகாரம் | இல்லை | ஆம் |
| 2. SAML அங்கீகாரம் | இல்லை | ஆம் |
| கண்காணிப்பு மற்றும் கண்டறிதல் | ||
| 1. சுகாதார வரலாறு | ஆம் | ஆம் |
| எச்சரிக்கை மேலாண்மை | ||
| 1. மின்னஞ்சல் வழியாக எச்சரிக்கை | ஆம் | ஆம் |
| 2. எஸ்.என்.எம்.பி வழியாக எச்சரிக்கை | இல்லை | ஆம் |
| மேம்பட்ட மேலாண்மை அம்சங்கள் | ||
| 1. தானியங்கு காப்பு மற்றும் மீட்பு | இல்லை | ஆம் |
| 2. கோப்பு உலாவல் மற்றும் தேடல் | இல்லை | ஆம் |
| 3. MapReduce, Impala, HBase, நூல் பயன்பாட்டு அறிக்கைகள் | இல்லை | ஆம் |
கிளவுட்ரா ஹடூப்: கிளவுட்ரா மேலாளர்
Cloudera படி, Cloudera மேலாளர் சிறந்த வழி நிறுவு , உள்ளமைக்கவும் , நிர்வகிக்கவும் , மற்றும் மானிட்டர் ஹடூப் அடுக்கு.
இது வழங்குகிறது:
- தானியங்கு வரிசைப்படுத்தல் மற்றும் உள்ளமைவு
- தனிப்பயனாக்கக்கூடிய கண்காணிப்பு மற்றும் அறிக்கையிடல்
- சிரமமில்லாத வலுவான சரிசெய்தல்
- பூஜ்ஜியம் - வேலையில்லா பராமரிப்பு
கிளவுட்ரா ஹடூப் மற்றும் அதன் பல்வேறு கருவிகளைப் பற்றிய ஆழமான அறிவைப் பெறுங்கள்
கிளவுட்ரா மேலாளரின் ஆர்ப்பாட்டம்
கிளவுட்ரா மேலாளரை ஆராய்வோம்.
1. கிளவுட்ரா மேலாளரில் தற்போது இயங்கும் சேவைகளின் எண்ணிக்கையை கீழே உள்ள படம் காட்டுகிறது. கிளஸ்டர் சிபியு பயன்பாடு, வட்டு ஐஓ பயன்பாடு போன்றவற்றைப் பற்றிய விளக்கப்படங்களையும் நீங்கள் காணலாம்.
படம்: கிளவுட்ரா மேலாளரின் முகப்புப்பக்கம்
2. கீழே உள்ள படம் HBase கிளஸ்டரை நிரூபிக்கிறது. தற்போது இயங்கும் HBase REST சேவையகத்தின் சுகாதார நிலைமைகள் குறித்த விளக்கப்படங்கள் மற்றும் வரைபடங்களை இது வழங்குகிறது.
படம்: HBase சேவையகத்தின் சுகாதார நிலைமைகள்
3. இப்போது, HBase கிளஸ்டரின் நிகழ்வுகள் தாவலைப் பார்ப்போம், அங்கு நீங்கள் நிலை மற்றும் ஐபி உள்ளமைவைச் சரிபார்க்கலாம்.
படம்: HBase கிளஸ்டரின் ஹோஸ்ட் சேவையகத்தின் நிலை மற்றும் ஐபி முகவரி
4. அடுத்து, உங்களிடம் உள்ளமைவு தாவல் உள்ளது. இங்கே நீங்கள் அனைத்து உள்ளமைவு அளவுருக்களையும் காணலாம் மற்றும் அவற்றின் மதிப்புகளை மாற்றலாம்.
படம்: HBase கிளஸ்டரின் கட்டமைப்பு
இப்போது, கிளவுட்ராவில் உள்ள பார்சல்கள் என்ன என்பதைப் புரிந்துகொள்வோம்.
கிளவுட்ரா ஹடூப்: பார்சல்கள்
பார்சல் என்பது கிளவுட்ரா மேலாளரால் பயன்படுத்தப்படும் கூடுதல் மெட்டாடேட்டாவுடன் நிரல் கோப்புகளைக் கொண்ட பைனரி விநியோக வடிவமாகும்.
ansible vs பொம்மை vs செஃப்
பார்சல்கள் சுயமாக உள்ளன மற்றும் ஒரு பதிப்பு செய்யப்பட்ட கோப்பகத்தில் நிறுவப்பட்டுள்ளன, அதாவது கொடுக்கப்பட்ட சேவையின் பல பதிப்புகள் பக்கவாட்டாக நிறுவப்படலாம்.
பார்சலைப் பயன்படுத்துவதன் நன்மைகள் கீழே:
இது சி.டி.எச்-ஐ ஒரு ஒற்றை பொருளாக விநியோகிக்கிறது, அதாவது சி.டி.எச் இன் ஒவ்வொரு பகுதிக்கும் தனித்தனி தொகுப்பு இருப்பதற்கு பதிலாக, பார்சல்களில் நிறுவ ஒரு பொருள் மட்டுமே உள்ளது.
இது உள் நிலைத்தன்மையை வழங்குகிறது (முழுமையான சி.டி.எச் ஒற்றை பார்சலாக விநியோகிக்கப்படுவதால், அனைத்து சி.டி.எச் கூறுகளும் பொருந்துகின்றன, மேலும் சி.டி.எச் இன் வெவ்வேறு பதிப்புகளிலிருந்து வரும் வெவ்வேறு பகுதிகளுக்கு எந்த ஆபத்தும் இருக்காது).
சில கிளிக்குகளைப் பயன்படுத்தி சி.டி.எச் இல் பார்சல்களை நிறுவலாம், மேம்படுத்தலாம், தரமிறக்கலாம், விநியோகிக்கலாம் மற்றும் செயல்படுத்தலாம்.
இப்போது, பார்சல்களைப் பயன்படுத்தி சி.டி.எச் இல் காஃப்கா சேவையை எவ்வாறு நிறுவலாம் மற்றும் செயல்படுத்தலாம் என்று பார்ப்போம்.
- கீழே காட்டப்பட்டுள்ளபடி கிளவுட்ரா மேலாளர் முகப்புப்பக்கம் >> ஹோஸ்ட்கள் >> பார்சல்களுக்குச் செல்லவும்
படம்: புரவலர்களிடமிருந்து பார்சல்களைத் தேர்ந்தெடுப்பது
2. பார்சல்களின் பட்டியலில் நீங்கள் காஃப்காவைக் காணவில்லை என்றால், நீங்கள் பார்சலை பட்டியலில் சேர்க்கலாம்.
- நீங்கள் பயன்படுத்த விரும்பும் காஃப்கா பதிப்பின் பார்சலைக் கண்டறியவும். நீங்கள் அதைக் காணவில்லை என்றால், பார்சல் களஞ்சியத்தை பட்டியலில் சேர்க்கலாம்.
- நீங்கள் நிறுவ விரும்பும் காஃப்காவின் பதிப்பிற்கான பார்சலைக் கண்டுபிடி - அப்பாச்சி காஃப்கா பதிப்புகளின் கிளவுட்ரா விநியோகம் .
கீழே உள்ள படம் அதையே நிரூபிக்கிறது.
படம்: பார்சலுக்கான களஞ்சிய பாதை.
3. மேலே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி இணைப்பை நகலெடுத்து கீழே காட்டப்பட்டுள்ளபடி தொலை பார்சல் களஞ்சியத்தில் சேர்க்கவும்.
படம்: களஞ்சியத்திலிருந்து காஃப்கா பாதையைச் சேர்த்தல்
நான்கு.பாதையைச் சேர்த்த பிறகு, காஃப்கா பதிவிறக்க தயாராக இருக்கும். நீங்கள் பதிவிறக்க பொத்தானைக் கிளிக் செய்து காஃப்காவைப் பதிவிறக்கலாம்.
படம்: காஃப்காவைப் பதிவிறக்குகிறது
5. காஃப்கா பதிவிறக்கம் செய்யப்பட்டவுடன், நீங்கள் செய்ய வேண்டியது, அதை விநியோகித்து செயல்படுத்த வேண்டும்.
படம்: காஃப்காவை செயல்படுத்துகிறது
இது செயல்படுத்தப்பட்டதும், கிளவுட்ரா மேலாளரில் உள்ள சேவை தாவலில் காஃப்காவைக் காணலாம்.
படம்: காஃப்கா சேவை
கிளவுட்ரா ஹடூப்: ஓஸி பணிப்பாய்வு உருவாக்குதல்
எக்ஸ்எம்எல் குறியீட்டை கைமுறையாக எழுதி பின்னர் அதை செயல்படுத்துவதன் மூலம் பணிப்பாய்வு உருவாக்குவது சிக்கலானது. இதை நீங்கள் குறிப்பிடலாம் ஓஸி வேலையை திட்டமிடுதல் வலைப்பதிவு, பாரம்பரிய அணுகுமுறையைப் பற்றி அறிய.
கீழேயுள்ள படத்தை நீங்கள் காணலாம், அங்கு ஒரு எளிய ஓஸி பணிப்பாய்வு உருவாக்க எக்ஸ்எம்எல் கோப்பை எழுதியுள்ளோம். படம்: ஒரு பாரம்பரிய அணுகுமுறையைப் பயன்படுத்தி ஒரு ஓஸி பணிப்பாய்வு உருவாக்குதல்
ஒரு எளிய ஓஸி அட்டவணையை உருவாக்க கூட நீங்கள் பார்க்க முடியும் என்பதால், நாங்கள் பெரிய எக்ஸ்எம்எல் குறியீட்டை எழுத வேண்டியிருந்தது, இது நேரத்தை எடுத்துக்கொள்ளும், மேலும் ஒவ்வொரு வரியையும் பிழைதிருத்தம் செய்வது சிக்கலாகிறது. இதை சமாளிக்க, கிளவுட்ரா மேலாளர் ஒரு புதிய அம்சத்தை அறிமுகப்படுத்தினார் சாயல் இது ஒரு ஜி.யு.ஐ மற்றும் ஓஸி பணிப்பாய்வுகளை உருவாக்க மற்றும் செயல்படுத்த எளிய இழுத்தல் மற்றும் அம்சங்களை வழங்குகிறது.
இப்போது ஹ்யூ அதே பணியை எளிமையான முறையில் எவ்வாறு செய்கிறார் என்பதைப் பார்ப்போம்.
பணிப்பாய்வு உருவாக்கும் முன், முதலில் உள்ளீட்டு கோப்புகளை உருவாக்குவோம், அதாவது clickstream.txt மற்றும் user.txt.
User.txt கோப்பில், கீழே காட்டப்பட்டுள்ளபடி பயனர் ஐடி, பெயர், வயது, நாடு, பாலினம் ஆகியவை உள்ளன. பயனர் ஐடியை அடிப்படையாகக் கொண்ட URL இல் (கிளிக் ஸ்ட்ரீம் கோப்பில் குறிப்பிடப்பட்டுள்ளது) பயனர் எண்ணிக்கையையும் கிளிக்குகளையும் அறிய இந்த பயனர் கோப்பு தேவை.
படம்: உரை கோப்பை உருவாக்குதல்
ஒவ்வொரு URL இல் உள்ள பயனரின் கிளிக்குகளின் எண்ணிக்கையை அறிய, பயனர் ஐடி மற்றும் URL ஐக் கொண்ட ஒரு கிளிக் ஸ்ட்ரீம் உள்ளது.
படம்: கிளிக் ஸ்ட்ரீம் கோப்பு
ஸ்கிரிப்ட் கோப்பில் கேள்விகளை எழுதுவோம்.
படம்: ஸ்கிரிப்ட் கோப்பு
பயனர் கோப்பு, கிளிக்ஸ்ட்ரீம் கோப்பு மற்றும் ஸ்கிரிப்ட் கோப்பை அடுத்து உருவாக்கிய பிறகு, நாம் மேலே சென்று ஓஸி பணிப்பாய்வு உருவாக்கலாம்.
1. படத்தில் காட்டப்பட்டுள்ளபடி நீங்கள் ஓஸி பணிப்பாய்வுகளை இழுத்து விடலாம்.
படம்: ஓஸி பணிப்பாய்வு உருவாக்கும் அம்சத்தை இழுத்து விடுங்கள்
2. உங்கள் செயலை கைவிட்டவுடன், நீங்கள் ஸ்கிரிப்ட் கோப்புக்கான பாதைகளை குறிப்பிட வேண்டும் மற்றும் ஸ்கிரிப்ட் கோப்பில் குறிப்பிடப்பட்டுள்ள அளவுருக்களை சேர்க்க வேண்டும். இங்கே நீங்கள் OUTPUT, CLICKSTREAM மற்றும் USER அளவுருக்களைச் சேர்க்க வேண்டும் மற்றும் ஒவ்வொரு அளவுருக்களுக்கும் பாதையைக் குறிப்பிட வேண்டும்.
படம்: ஒரு ஸ்கிரிப்ட் கோப்பைச் சேர்ப்பது மற்றும் செயலைச் செய்ய தேவையான அளவுருக்கள்
3. நீங்கள் பாதைகளை குறிப்பிட்டு அளவுருக்களைச் சேர்த்தவுடன், இப்போது கீழேயுள்ள படத்தில் காட்டப்பட்டுள்ளபடி பணிப்பாய்வு சேமித்து சமர்ப்பிக்கவும்.
படம்: ஓஸி செயலைச் சேமித்தல் மற்றும் சமர்ப்பித்தல்
4. நீங்கள் பணியைச் சமர்ப்பித்ததும், உங்கள் வேலை முடிந்தது. மரணதண்டனை மற்றும் பிற நடவடிக்கைகள் ஹியூவால் கவனிக்கப்படுகின்றன.
படம்: ஓஸி வேலையின் மரணதண்டனை நிலை
5.இப்போது நாங்கள் ஓஸி வேலையைச் செய்துள்ளோம், செயல் தாவலைப் பார்ப்போம். இது பயனர் ஐடி மற்றும் பணிப்பாய்வு நிலையை கொண்டுள்ளது. பிழைக் குறியீடுகள் ஏதேனும் இருந்தால், அவை செயல் உருப்படியின் தொடக்க மற்றும் இறுதி நேரத்தையும் காட்டுகிறது.
படம்: ஓஸி பணிப்பாய்வுகளின் செயல் தாவலில் உள்ள கூறுகள்
6. செயல் தாவலுக்கு அடுத்து விவரங்கள் தாவல் உள்ளது. இதில், தொடக்க நேரம் மற்றும் வேலையின் கடைசி மாற்றியமைக்கப்பட்ட நேரத்தை நாம் காணலாம்.
படம்: ஓஸி பணிப்பாய்வு விவரங்கள்.
7. விவரங்கள் தாவலுக்கு அடுத்து, பணிப்பாய்வு உள்ளமைவு தாவல் எங்களிடம் உள்ளது.
படம்: ஓஸி பணிப்பாய்வுகளின் உள்ளமைவு அமைப்புகள்
7. செயல் உருப்படியை இயக்கும்போது, ஏதேனும் பிழைகள் இருந்தால், அது பதிவு தாவலில் பட்டியலிடப்படும். நீங்கள் பிழை அறிக்கைகளைக் குறிப்பிட்டு அதற்கேற்ப பிழைத்திருத்தலாம்.
படம்: பிழைக் குறியீடுகள் மற்றும் பிழை அறிக்கைகளைக் கொண்ட பதிவு கோப்பு
8. ஹ்யூவால் தானாக உருவாக்கப்படும் பணிப்பாய்வுகளின் எக்ஸ்எம்எல் குறியீடு இங்கே.
படம்: ஓஸி பணிப்பாய்வுகளின் எக்ஸ்எம்எல் குறியீடு
9.1. படி 2 இல் வெளியீட்டு கோப்பகத்திற்கான பாதையை நீங்கள் ஏற்கனவே குறிப்பிட்டுள்ளபடி, கீழே காட்டப்பட்டுள்ளபடி இங்கே நீங்கள் HDFS உலாவியில் வெளியீட்டு கோப்பகத்தை வைத்திருக்கிறீர்கள்.
படம்: HDFS உலாவியின் வெளியீட்டு அடைவு
9.2 நீங்கள் வெளியீட்டு கோப்பகத்தில் கிளிக் செய்தவுடன், output.txt என பெயரிடப்பட்ட ஒரு உரை கோப்பை நீங்கள் காண்பீர்கள், மேலும் அந்த உரை கோப்பு கீழே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி உண்மையான வெளியீட்டைக் கொண்டுள்ளது.
படம்: இறுதி வெளியீட்டு உரை
ஒரு ஓஸி பணிப்பாய்வு உருவாக்க இழுத்தல் மற்றும் விருப்பங்களை வழங்குவதன் மூலம் ஹியூ எங்கள் வேலையை எளிதாக்குகிறது.
கிளவுட்ரா விநியோகம் மற்றும் வெவ்வேறு கிளவுட்ரா கூறுகளைப் புரிந்துகொள்ள இந்த வலைப்பதிவு பயனுள்ளதாக இருந்தது என்று நம்புகிறேன்.
பிக் டேட்டா புரட்சியில் பங்கேற்க விரும்புகிறீர்களா?இப்போது நீங்கள் புரிந்து கொண்டுள்ளீர்கள் கிளவுட்ரா ஹடூப் விநியோகம் பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், மேப்ரூட், பன்றி, ஹைவ், எச் பேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.