பன்றி நிரலாக்க: உங்கள் முதல் அப்பாச்சி பன்றி ஸ்கிரிப்டை உருவாக்கவும்

பன்றி நிரலாக்க: உங்கள் முதல் அப்பாச்சி பன்றி ஸ்கிரிப்டை உருவாக்கவும்

எங்கள் , அப்பாச்சி பன்றி ஸ்கிரிப்டை எவ்வாறு உருவாக்குவது என்பதை இப்போது கற்றுக்கொள்வோம். அப்பாச்சி பிக் கட்டளைகளின் தொகுப்பை கூட்டாக இயக்க அப்பாச்சி பிக் ஸ்கிரிப்ட்கள் பயன்படுத்தப்படுகின்றன. பிக் புரோகிராமிங்கில் இதைச் செய்யும்போது ஒவ்வொரு கட்டளையையும் கைமுறையாக எழுதி செயல்படுத்துவதில் முதலீடு செய்யப்படும் நேரத்தையும் முயற்சியையும் குறைக்க இது உதவுகிறது.இது ஒரு ஒருங்கிணைந்த பகுதியாகும் .இந்த வலைப்பதிவு உங்கள் முதல் அப்பாச்சி பன்றி ஸ்கிரிப்டை உருவாக்க உதவும் படி வழிகாட்டியாகும்.

அப்பாச்சி பன்றி ஸ்கிரிப்ட் செயல்பாட்டு முறைகள்

உள்ளூர் பயன்முறை : ‘லோக்கல் பயன்முறையில்’, உள்ளூர் கோப்பு முறைமையில் பன்றி ஸ்கிரிப்டை இயக்கலாம். இந்த வழக்கில், நீங்கள் தரவை ஹடூப் எச்டிஎஃப்எஸ் கோப்பு முறைமையில் சேமிக்க தேவையில்லை, அதற்கு பதிலாக உள்ளூர் கோப்பு முறைமையில் சேமிக்கப்பட்ட தரவோடு நீங்கள் வேலை செய்யலாம்.

MapReduce பயன்முறை : ‘MapReduce பயன்முறையில்’, தரவை HDFS கோப்பு முறைமையில் சேமிக்க வேண்டும், மேலும் நீங்கள் தரவை பன்றி ஸ்கிரிப்ட் உதவியுடன் செயலாக்கலாம்.

MapReduce பயன்முறையில் அப்பாச்சி பன்றி ஸ்கிரிப்ட்

தரவுக் கோப்பிலிருந்து தரவைப் படிப்பதும், தேவையான உள்ளடக்கங்களை முனையத்தில் வெளியீடாகக் காண்பிப்பதும் எங்கள் பணி என்று சொல்லலாம்.

ஜாவாவில் கிளையன்ட் சர்வர் சாக்கெட் நிரலாக்க

மாதிரி தரவு கோப்பில் பின்வரும் தரவு உள்ளது:

உரை கோப்பை ‘information.txt’ என்ற பெயருடன் சேமிக்கவும்

மாதிரி தரவு கோப்பில் ஐந்து நெடுவரிசைகள் உள்ளன முதல் பெயர் , கடைசி பெயர் , அலைபேசி எண் , நகரம் , மற்றும் தொழில் மூலம் பிரிக்கப்பட்டது தாவல் விசை . எச்டிஎஃப்எஸ்ஸிலிருந்து இந்த கோப்பின் உள்ளடக்கத்தைப் படித்து இந்த பதிவுகளின் அனைத்து நெடுவரிசைகளையும் காண்பிப்பதே எங்கள் பணி.

பிக் பயன்படுத்தி இந்த தரவை செயலாக்க, இந்த கோப்பு அப்பாச்சி ஹடூப் எச்டிஎஃப்எஸ் இல் இருக்க வேண்டும்.

கட்டளை : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka

படி 1: ஒரு பன்றி ஸ்கிரிப்ட் எழுதுதல்

ஒரு எடிட்டரில் அப்பாச்சி பன்றி ஸ்கிரிப்ட் கோப்பை உருவாக்கி திறக்கவும் (எ.கா. கெடிட்).

கட்டளை : sudo gedit /home/edureka/output.pig

இந்த கட்டளை எடுரேகா பயனரின் வீட்டு அடைவுக்குள் ‘output.pig’ கோப்பை உருவாக்கும்.

Output.pig கோப்பில் சில PIG கட்டளைகளை எழுதுவோம்.

A = LOAD '/edureka/information.txt' பிக்ஸ்டோரேஜ் ('') ஐப் பயன்படுத்துகிறது (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH ஒரு FName, MobileNo, Profession DUMP பி

கோப்பை சேமித்து மூடவும்.

• முதல் கட்டளை மறைமுக ஸ்கீமாவுடன் (FName, LName, MobileNo, City, Profession) மாறி A இல் ‘information.txt’ கோப்பை ஏற்றுகிறது.
• இரண்டாவது கட்டளை தேவையான தரவை மாறி A இலிருந்து மாறி B க்கு ஏற்றும்.
• மூன்றாவது வரி முனையம் / கன்சோலில் மாறி B இன் உள்ளடக்கத்தைக் காட்டுகிறது.

படி 2: அப்பாச்சி பன்றி ஸ்கிரிப்டை இயக்கவும்

HDFS பயன்முறையில் பன்றி ஸ்கிரிப்டை இயக்க, பின்வரும் கட்டளையை இயக்கவும்:

இணைக்கப்பட்ட பட்டியலை எவ்வாறு உருவாக்குவது?

கட்டளை : pig /home/edureka/output.pig

மரணதண்டனை முடிந்ததும், முடிவை மதிப்பாய்வு செய்யவும். கீழே உள்ள இந்த படங்கள் முடிவுகளையும் அவற்றின் இடைநிலை வரைபடத்தையும் காண்பிக்கும் மற்றும் செயல்பாடுகளை குறைக்கின்றன.

ஸ்கிரிப்ட் வெற்றிகரமாக செயல்படுத்தப்பட்டதை படத்தின் கீழே காட்டுகிறது.

கீழே உள்ள படம் எங்கள் ஸ்கிரிப்ட்டின் முடிவைக் காட்டுகிறது.

உங்கள் முதல் அப்பாச்சி பன்றி ஸ்கிரிப்டை வெற்றிகரமாக இயக்கியதற்கு வாழ்த்துக்கள்!

அப்பாச்சி பிக் ஸ்கிரிப்டை எவ்வாறு உருவாக்குவது மற்றும் செயல்படுத்துவது என்பது இப்போது உங்களுக்குத் தெரியும். எனவே, எங்கள் அடுத்த வலைப்பதிவு எப்படி என்பதை உள்ளடக்கும் அப்பாச்சி பன்றியில் யுடிஎஃப் (பயனர் வரையறுக்கப்பட்ட செயல்பாடுகள்) உருவாக்கவும் அதை MapReduce / HDFS பயன்முறையில் இயக்கவும்.

இப்போது நீங்கள் அப்பாச்சி பன்றி ஸ்கிரிப்டை உருவாக்கி செயல்படுத்தியுள்ளீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், மேப்ரூட், பன்றி, ஹைவ், எச் பேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.

அறிவியலில் தரவு என்ன

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.