அப்பாச்சி பிளிங்க்: ஸ்ட்ரீம் மற்றும் தொகுதி தரவு செயலாக்கத்திற்கான அடுத்த ஜெனரல் பிக் டேட்டா அனலிட்டிக்ஸ் கட்டமைப்பு



அப்பாச்சி ஃபிளிங்க் மற்றும் இந்த வலைப்பதிவில் ஒரு பிளிங்க் கிளஸ்டரை அமைப்பது பற்றி அனைத்தையும் அறிக. ஃபிளிங்க் நிகழ்நேர மற்றும் தொகுதி செயலாக்கத்தை ஆதரிக்கிறது மற்றும் பிக் டேட்டா அனலிட்டிக்ஸ் பார்க்க வேண்டிய பெரிய தரவு தொழில்நுட்பமாகும்.

அப்பாச்சி ஃபிளிங்க் என்பது விநியோகிக்கப்பட்ட ஸ்ட்ரீம் மற்றும் தொகுதி தரவு செயலாக்கத்திற்கான ஒரு திறந்த மூல தளமாகும். இது விண்டோஸ், மேக் ஓஎஸ் மற்றும் லினக்ஸ் ஓஎஸ் ஆகியவற்றில் இயங்க முடியும். இந்த வலைப்பதிவு இடுகையில், உள்நாட்டில் பிளிங்க் கிளஸ்டரை எவ்வாறு அமைப்பது என்பது பற்றி விவாதிக்கலாம். இது பல வழிகளில் ஸ்பார்க்கைப் போன்றது - இது அப்பாச்சி ஸ்பார்க் போன்ற வரைபடம் மற்றும் இயந்திர கற்றல் செயலாக்கத்திற்கான ஏபிஐகளைக் கொண்டுள்ளது - ஆனால் அப்பாச்சி ஃபிளிங்க் மற்றும் அப்பாச்சி ஸ்பார்க் சரியாக இல்லை.





ஃபிளிங்க் கிளஸ்டரை அமைக்க, உங்கள் கணினியில் ஜாவா 7.x அல்லது அதற்கு மேற்பட்டவை நிறுவப்பட்டிருக்க வேண்டும். சென்டோஸ் (லினக்ஸ்) இல் எனது முடிவில் ஹடூப் -2.2.0 நிறுவப்பட்டிருப்பதால், ஹடூப் 2.x உடன் இணக்கமான பிளிங்க் தொகுப்பை பதிவிறக்கம் செய்தேன். பிளிங்க் தொகுப்பைப் பதிவிறக்க கட்டளைக்கு கீழே இயக்கவும்.

கட்டளை: wget http://archive.apache.org/dist/flink/flink-1.0.0/flink-1.0.0-bin-hadoop2-scala_2.10.tgz



Command-Apache-Flink

ஃபிளிங்க் கோப்பகத்தைப் பெற கோப்பை அவிழ்த்து விடுங்கள்.

கட்டளை: tar -xvf பதிவிறக்கங்கள் / flink-1.0.0-bin-hadoop2-scala_2.10.tgz



கட்டளை: ls

.Bashrc கோப்பில் பிளிங்க் சூழல் மாறிகள் சேர்க்கவும்.

கட்டளை: sudo gedit .bashrc

ஜாவாவில் அதிகபட்ச குவியல் செயல்படுத்தல்

நீங்கள் கீழே உள்ள கட்டளையை இயக்க வேண்டும், இதனால் .bashrc கோப்பில் மாற்றங்கள் செயல்படுத்தப்படுகின்றன

கட்டளை: மூல .bashrc

இப்போது ஃபிளிங்க் கோப்பகத்திற்குச் சென்று உள்நாட்டில் கிளஸ்டரைத் தொடங்கவும்.

கட்டளை: cd hefty-1.0.0

கட்டளை: bin / start-local.sh

நீங்கள் கிளஸ்டரைத் தொடங்கியதும், ஒரு புதிய டீமான் ஜாப்மேனேஜர் இயங்குவதைக் காணலாம்.

கட்டளை: jps

ஜாவா எடுத்துக்காட்டுகளில் ஸ்கேனர் வகுப்பு

உலாவியைத் திறந்து http: // localhost: 8081 க்குச் சென்று அப்பாச்சி ஃபிளிங்க் வலை UI ஐப் பார்க்கவும்.

அப்பாச்சி ஃபிளிங்கைப் பயன்படுத்தி ஒரு எளிய சொற்களஞ்சிய உதாரணத்தை இயக்குவோம்.

எடுத்துக்காட்டை இயக்குவதற்கு முன் உங்கள் கணினியில் நெட்கேட்டை நிறுவவும் (sudo yum install nc).

இப்போது ஒரு புதிய முனையத்தில் கீழே உள்ள கட்டளையை இயக்கவும்.

கட்டளை: nc -lk 9000

கீழே கொடுக்கப்பட்ட கட்டளையை பிளிங்க் முனையத்தில் இயக்கவும். இந்த கட்டளை ஒரு நிரலை இயக்குகிறது, இது ஸ்ட்ரீம் செய்யப்பட்ட தரவை உள்ளீடாக எடுத்து அந்த ஸ்ட்ரீம் செய்யப்பட்ட தரவில் வேர்ட்கவுன்ட் செயல்பாட்டை செய்கிறது.

கட்டளை: பின் / ஃபிளிங்க் ரன் எடுத்துக்காட்டுகள் / ஸ்ட்ரீமிங் / சாக்கெட் டெக்ஸ்ட்ஸ்ட்ரீம்வார்ட்கவுண்ட்.ஜார்-ஹோஸ்ட் பெயர் லோக்கல் ஹோஸ்ட் –போர்ட் 9000

வலை ui இல், நீங்கள் இயங்கும் நிலையில் ஒரு வேலையைக் காண முடியும்.

புதிய முனையத்தில் கட்டளைக்கு கீழே இயக்கவும், இது தரவை ஸ்ட்ரீம் செய்து செயலாக்கும்.

கட்டளை: tail -f log / flink - * - jobmanager - *. அவுட்

இப்போது நீங்கள் நெட்காட் தொடங்கிய முனையத்திற்குச் சென்று ஏதாவது தட்டச்சு செய்க.

நெட்காட் டெர்மினலில் சில தரவைத் தட்டச்சு செய்தபின், உங்கள் முக்கிய சொற்களில் உள்ளிட பொத்தானை அழுத்தினால், அந்தத் தரவில் வேர்ட்கவுன்ட் செயல்பாடு பயன்படுத்தப்படும் மற்றும் வெளியீடு இங்கே மில்லி விநாடிகளுக்குள் அச்சிடப்படும் (ஃபிளிங்கின் வேலை மேலாளர் பதிவு)!

மிகக் குறுகிய காலத்திற்குள், தரவு ஸ்ட்ரீம் செய்யப்படும், செயலாக்கப்படும் மற்றும் அச்சிடப்படும்.

அப்பாச்சி பிளிங்க் பற்றி அறிய இன்னும் நிறைய இருக்கிறது. எங்கள் வரவிருக்கும் வலைப்பதிவில் பிற ஃபிளிங்க் தலைப்புகளைத் தொடும்.

படி படிப்படியாக பயிற்சி

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துப் பிரிவில் அவற்றைக் குறிப்பிடுங்கள், நாங்கள் உங்களிடம் திரும்புவோம்.

தொடர்புடைய இடுகைகள்:

அப்பாச்சி பால்கன்: ஹடூப் சுற்றுச்சூழல் அமைப்புக்கான புதிய தரவு மேலாண்மை தளம்