இந்த அப்பாச்சி ஃப்ளூம் டுடோரியல் வலைப்பதிவில், பல்வேறு மூலங்களிலிருந்து தரவை ஸ்ட்ரீமிங் செய்ய ஃப்ளூம் எவ்வாறு உதவுகிறது என்பதைப் புரிந்துகொள்வோம். ஆனால் அதற்கு முன் தரவு உட்கொள்வதன் முக்கியத்துவத்தைப் புரிந்துகொள்வோம். தரவைச் செயலாக்குவதற்கும் பகுப்பாய்வு செய்வதற்கும், பின்னர் வணிக மதிப்புகளைப் பெறுவதற்கும் தரவு உட்கொள்வது ஆரம்ப மற்றும் முக்கியமான படியாகும். ஒரு நிறுவனத்தில் தரவு சேகரிக்கப்படும் பல ஆதாரங்கள் உள்ளன.
ஃப்ளூம் மிகவும் பிரபலமடைய மற்றொரு முக்கிய காரணத்தைப் பற்றி பேசலாம். உங்களுக்கு தெரிந்திருக்கலாம் என்று நம்புகிறேன் , இது அனைத்து வகையான தரவையும் சேமிக்க முடியும் என்பதால் இது தொழில்துறையில் மிகப்பெரிய அளவில் பயன்படுத்தப்படுகிறது. ஃப்ளூம் எளிதில் ஹடூப்புடன் ஒன்றிணைந்து, கட்டமைக்கப்படாத மற்றும் எச்.டி.எஃப்.எஸ்ஸில் அரை கட்டமைக்கப்பட்ட தரவுகளை டம்ப் செய்து, ஹடூப்பின் சக்தியைப் பாராட்டுகிறது. இதனால்தான் அப்பாச்சி ஃப்ளூம் ஹடூப் சுற்றுச்சூழல் அமைப்பின் ஒரு முக்கிய பகுதியாகும்.
இந்த அப்பாச்சி ஃப்ளூம் டுடோரியல் வலைப்பதிவில், நாங்கள் உள்ளடக்குவோம்:
- அப்பாச்சி ஃப்ளூம் அறிமுகம்
- அப்பாச்சி ஃப்ளூமின் நன்மைகள்
- ஃப்ளூம் கட்டிடக்கலை
- ஃப்ளூமைப் பயன்படுத்தி ட்விட்டர் தரவை ஸ்ட்ரீமிங் செய்கிறது
அப்பாச்சி ஃப்ளூம் என்றால் என்ன என்பதைப் பற்றி விவாதிப்பதன் மூலம் இந்த ஃப்ளூம் டுடோரியலைத் தொடங்குவோம். பின்னர் முன்னேறும்போது, ஃப்ளூமைப் பயன்படுத்துவதன் நன்மைகளைப் புரிந்துகொள்வோம்.
அப்பாச்சி ஃப்ளூம் டுடோரியல்: அப்பாச்சி ஃப்ளூம் அறிமுகம்
அப்பாச்சி ஃப்ளூம் என்பது HDFS இல் தரவு உட்கொள்வதற்கான ஒரு கருவியாகும். இது பதிவு கோப்புகள், நெட்வொர்க் போக்குவரத்து, சமூக ஊடகங்கள், மின்னஞ்சல் செய்திகள் போன்ற பல்வேறு மூலங்களிலிருந்து நிகழ்வுகள் போன்ற பெரிய அளவிலான ஸ்ட்ரீமிங் தரவை எச்.டி.எஃப்.எஸ்.ஃப்ளூம் மிகவும் நம்பகமான மற்றும் விநியோகிக்கப்படுகிறது.
ஃப்ளூமின் வடிவமைப்பின் முக்கிய யோசனை பல்வேறு வலை சேவையகங்களிலிருந்து HDFS க்கு ஸ்ட்ரீமிங் தரவைப் பிடிக்க வேண்டும். இது ஸ்ட்ரீமிங் தரவு பாய்வுகளின் அடிப்படையில் எளிய மற்றும் நெகிழ்வான கட்டமைப்பைக் கொண்டுள்ளது. இது தவறு-சகிப்புத்தன்மை மற்றும் தவறு சகிப்புத்தன்மை மற்றும் தோல்வி மீட்புக்கான நம்பகத்தன்மை பொறிமுறையை வழங்குகிறது.
ஃப்ளூம் என்றால் என்ன என்பதைப் புரிந்துகொண்ட பிறகு, இப்போது இந்த ஃப்ளூம் டுடோரியல் வலைப்பதிவில் முன்னேறி அப்பாச்சி ஃப்ளூமின் நன்மைகளைப் புரிந்துகொள்வோம். பின்னர் முன்னேறும்போது, ஃப்ளூமின் கட்டமைப்பைப் பார்த்து, அது எவ்வாறு அடிப்படையில் செயல்படுகிறது என்பதைப் புரிந்துகொள்வோம்.
ஜாவாவில் செட் பயன்படுத்துவது எப்படி
அப்பாச்சி ஃப்ளூம் பயிற்சி: அப்பாச்சி ஃப்ளூமின் நன்மைகள்
அப்பாச்சி ஃப்ளூமின் பல நன்மைகள் உள்ளன, இது மற்றவர்களை விட சிறந்த தேர்வாக அமைகிறது. நன்மைகள்:
- ஃப்ளூம் அளவிடக்கூடியது, நம்பகமானது, தவறு சகிப்புத்தன்மை மற்றும் வெவ்வேறு மூலங்கள் மற்றும் மூழ்கல்களுக்கு தனிப்பயனாக்கக்கூடியது.
- அப்பாச்சி ஃப்ளூம் HBase & HDFS போன்ற மையப்படுத்தப்பட்ட கடைகளில் (அதாவது தரவு ஒரு கடையிலிருந்து வழங்கப்படுகிறது) தரவை சேமிக்க முடியும்.
- ஃப்ளூம் கிடைமட்டமாக அளவிடக்கூடியது.
- வாசிப்பு வீதம் எழுதும் வீதத்தை விட அதிகமாக இருந்தால், வாசிப்பு மற்றும் எழுதும் செயல்பாடுகளுக்கு இடையில் தரவின் நிலையான ஓட்டத்தை ஃப்ளூம் வழங்குகிறது.
- ஃப்ளூம் நம்பகமான செய்தி விநியோகத்தை வழங்குகிறது. ஃப்ளூமில் உள்ள பரிவர்த்தனைகள் சேனல் அடிப்படையிலானவை, அங்கு ஒவ்வொரு செய்திக்கும் இரண்டு பரிவர்த்தனைகள் (ஒரு அனுப்புநர் மற்றும் ஒரு ரிசீவர்) பராமரிக்கப்படுகின்றன.
- ஃப்ளூமைப் பயன்படுத்தி, பல சேவையகங்களிலிருந்து தரவை ஹடூப்பில் உட்கொள்ளலாம்.
- இது எங்களுக்கு நம்பகமான மற்றும் விநியோகிக்கப்பட்ட ஒரு தீர்வை அளிக்கிறது மற்றும் பேஸ்புக், ட்விட்டர் மற்றும் ஈ-காமர்ஸ் வலைத்தளங்கள் போன்ற பெரிய அளவிலான தரவுத் தொகுப்புகளை சேகரித்தல், திரட்டுதல் மற்றும் நகர்த்த உதவுகிறது.
- நெட்வொர்க் போக்குவரத்து, சமூக ஊடகங்கள், மின்னஞ்சல் செய்திகள், பதிவு கோப்புகள் போன்ற பல்வேறு மூலங்களிலிருந்து ஆன்லைன் ஸ்ட்ரீமிங் தரவை HDFS இல் உள்ளிட இது எங்களுக்கு உதவுகிறது.
- இது ஒரு பெரிய மூலங்கள் மற்றும் இலக்கு வகைகளை ஆதரிக்கிறது.
இந்த நன்மைகளுடன் அப்பாச்சி ஃப்ளூமை மேம்படுத்தும் கட்டிடக்கலை ஒன்றாகும். இப்போது, அப்பாச்சி ஃப்ளூமின் நன்மைகள் எங்களுக்குத் தெரியும், மேலே செல்லவும், அப்பாச்சி ஃப்ளூம் கட்டமைப்பைப் புரிந்துகொள்ளவும் உதவுகிறது.
அப்பாச்சி ஃப்ளூம் டுடோரியல்: ஃப்ளூம் கட்டிடக்கலை
இப்போது, கீழேயுள்ள வரைபடத்திலிருந்து ஃப்ளூமின் கட்டமைப்பைப் புரிந்துகொள்வோம்:
பல்வேறு தரவு மூலங்களிலிருந்து எச்டிஎஃப்எஸ் வரை ஸ்ட்ரீமிங் தரவை உறிஞ்சும் ஒரு ஃப்ளூம் முகவர் உள்ளது. வரைபடத்திலிருந்து, வலை சேவையகம் தரவு மூலத்தைக் குறிக்கிறது என்பதை நீங்கள் எளிதாக புரிந்து கொள்ளலாம். தரவை ஸ்ட்ரீமிங் செய்வதற்கான பிரபலமான ஆதாரங்களில் ட்விட்டர் ஒன்றாகும்.
ஃப்ளூம் முகவர் 3 கூறுகளைக் கொண்டுள்ளது: மூல, மடு மற்றும் சேனல்.
- மூல : இது உள்வரும் ஸ்ட்ரீம்லைனில் இருந்து தரவை ஏற்றுக்கொண்டு சேனலில் தரவை சேமிக்கிறது.
- சேனல் : பொதுவாக, வாசிப்பு வேகம் எழுதும் வேகத்தை விட வேகமாக இருக்கும். எனவே, வாசிப்பு மற்றும் எழுதும் வேக வேறுபாட்டை பொருத்த எங்களுக்கு சில இடையக தேவை. அடிப்படையில், இடையக இடைநிலை சேமிப்பகமாக செயல்படுகிறது, இது தரவை தற்காலிகமாக மாற்றுவதை சேமித்து வைக்கிறது, எனவே தரவு இழப்பைத் தடுக்கிறது. இதேபோல், சேனல் உள்ளூர் சேமிப்பகமாக அல்லது தரவு மூலத்திற்கும் HDFS இல் தொடர்ச்சியான தரவிற்கும் இடையில் ஒரு தற்காலிக சேமிப்பகமாக செயல்படுகிறது.
- மூழ்கும் : பின்னர், எங்கள் கடைசி கூறு அதாவது மூழ்கி, சேனலில் இருந்து தரவைச் சேகரித்து, HDFS இல் தரவை நிரந்தரமாக எழுதுகிறது அல்லது எழுதுகிறது.
அப்பாச்சி ஃப்ளூம் எவ்வாறு செயல்படுகிறது என்பதை இப்போது நாம் அறிந்திருப்பதால், ட்விட்டர் தரவை மூழ்கடித்து எச்.டி.எஃப்.எஸ் இல் சேமித்து வைக்கும் ஒரு நடைமுறையைப் பார்ப்போம்.
அப்பாச்சி ஃப்ளூம் டுடோரியல்: ஸ்ட்ரீமிங் ட்விட்டர் தரவு
இந்த நடைமுறையில், ட்விட்டர் ஃப்ளூமிலிருந்து தரவை ஸ்ட்ரீம் செய்வோம், பின்னர் கீழேயுள்ள படத்தில் காட்டப்பட்டுள்ளபடி தரவை எச்டிஎஃப்எஸ் இல் சேமிப்போம்.
ட்விட்டர் பயன்பாட்டை உருவாக்குவது முதல் படி. இதற்காக, நீங்கள் முதலில் இந்த URL க்கு செல்ல வேண்டும்: https://apps.twitter.com/ உங்கள் ட்விட்டர் கணக்கில் உள்நுழைக. கீழே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி பயன்பாட்டு தாவலை உருவாக்கச் செல்லவும்.
பின்னர், கீழே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி ஒரு பயன்பாட்டை உருவாக்கவும்.
இந்த பயன்பாட்டை உருவாக்கிய பிறகு, நீங்கள் விசை மற்றும் அணுகல் டோக்கனைக் காண்பீர்கள். விசை மற்றும் அணுகல் டோக்கனை நகலெடுக்கவும். இந்த பயன்பாட்டுடன் இணைக்க இந்த டோக்கன்களை எங்கள் ஃப்ளூம் உள்ளமைவு கோப்பில் அனுப்புவோம்.
இப்போது கீழேயுள்ள படத்தில் காட்டப்பட்டுள்ளபடி ஃப்ளூமின் ரூட் கோப்பகத்தில் ஒரு flume.conf கோப்பை உருவாக்கவும். நாங்கள் விவாதித்தபடி, ஃப்ளூமின் கட்டமைப்பில், எங்கள் மூல, மடு மற்றும் சேனலை உள்ளமைப்போம். எங்கள் ஆதாரம் ட்விட்டர், எங்கிருந்து நாங்கள் தரவை ஸ்ட்ரீமிங் செய்கிறோம் மற்றும் எங்கள் மடு HDFS ஆகும், அங்கு நாங்கள் தரவை எழுதுகிறோம்.
மூல உள்ளமைவில் நாம் ட்விட்டர் மூல வகையை கடந்து செல்கிறோம் org.apache.flume.source.twitter.TwitterSource. பின்னர், ட்விட்டரில் இருந்து நாங்கள் பெற்ற நான்கு டோக்கன்களையும் கடந்து செல்கிறோம். மூல கட்டமைப்பில் கடைசியாக நாம் ட்வீட்களைப் பெறப் போகும் முக்கிய வார்த்தைகளை அனுப்புகிறோம்.
மடு கட்டமைப்பில் நாம் HDFS பண்புகளை உள்ளமைக்கப் போகிறோம். எச்.டி.எஃப்.எஸ் பாதை, எழுதும் வடிவம், கோப்பு வகை, தொகுதி அளவு போன்றவற்றை அமைப்போம். கடைசியாக கீழேயுள்ள படத்தில் காட்டப்பட்டுள்ளபடி நினைவக சேனலை அமைக்க உள்ளோம்.
இப்போது நாம் அனைவரும் மரணதண்டனைக்கு தயாராக உள்ளோம். நாம் மேலே சென்று இந்த கட்டளையை செயல்படுத்துவோம்:
$ FLUME_HOME / பின் / ஃப்ளூம்-என்ஜி முகவர் --conf ./conf/ -f $ FLUME_HOME / flume.conf
இந்த கட்டளையை சிறிது நேரம் இயக்கிய பிறகு, நீங்கள் CTRL + C ஐப் பயன்படுத்தி முனையத்திலிருந்து வெளியேறலாம். உங்கள் ஹடூப் கோப்பகத்தில் நீங்கள் மேலே சென்று குறிப்பிட்ட கோப்பை சரிபார்க்கலாம், கோப்பு உருவாக்கப்பட்டதா இல்லையா.
ஹடூப்பில் ஃப்ளூம் என்றால் என்ன
கோப்பை பதிவிறக்கம் செய்து திறக்கவும். கீழேயுள்ள படத்தில் காட்டப்பட்டுள்ளபடி உங்களுக்கு ஏதாவது கிடைக்கும்.
இந்த வலைப்பதிவு உங்களுக்கு தகவல் மற்றும் கூடுதல் மதிப்பு என்று நம்புகிறேன். நீங்கள் மேலும் அறிய ஆர்வமாக இருந்தால், இதை நீங்கள் செல்லலாம் இது பிக் டேட்டாவைப் பற்றியும், ஹடூப் பிக் டேட்டா தொடர்பான சவால்களை எவ்வாறு தீர்க்கிறது என்பதையும் உங்களுக்குக் கூறுகிறது.
இப்போது நீங்கள் அப்பாச்சி ஃப்ளூமை புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.