ஓஸி பயிற்சி: உங்கள் ஹடூப் வேலைகளை எவ்வாறு திட்டமிடுவது என்பதை அறிக

இந்த அப்பாச்சி ஓஸி டுடோரியலைத் தொடங்குவதற்கு முன், திட்டமிடல் அமைப்பு எங்கே பயன்படுத்தப்படுகிறது என்பதைப் புரிந்துகொள்வோம். நிகழ்நேர காட்சிகளில், ஒரு வேலை மற்ற வேலைகளைச் சார்ந்தது, மேப்ரூட் பணியின் வெளியீடு மேலும் செயலாக்கத்திற்காக ஹைவ் வேலைக்கு அனுப்பப்படலாம். அடுத்த சூழ்நிலை, தினசரி, வாராந்திர, மாதாந்திர அல்லது தரவு கிடைப்பதை அடிப்படையாகக் கொண்ட நேரத்தின் அடிப்படையில் ஒரு பணியின் தொகுப்பை திட்டமிடுவது. அப்பாச்சி ஓஸி இந்த வகையான காட்சிகளை எளிதில் கையாளும் சக்தியை உங்களுக்கு வழங்குகிறது. இதனால்தான் அப்பாச்சி ஓஸி ஒரு முக்கியமான பகுதியாகும் .

இந்த அப்பாச்சி ஓஸி பயிற்சி வலைப்பதிவில், நாங்கள் உள்ளடக்குவோம்:

• அப்பாச்சி ஓஸி அறிமுகம்
• ஓஸி பணிப்பாய்வு
• ஓஸி ஒருங்கிணைப்பாளர்
• ஓஸி மூட்டை
• சொல் எண்ணிக்கை பணிப்பாய்வு வேலை
• நேர அடிப்படையிலான சொல் எண்ணிக்கை ஒருங்கிணைப்பாளர் வேலை

அப்பாச்சி ஓஸியை அறிமுகப்படுத்துவதன் மூலம் இந்த ஓஸி டுடோரியலைத் தொடங்குவோம். பின்னர் முன்னேறும்போது, ​​அப்பாச்சி ஓஸியைப் பயன்படுத்தி உருவாக்கக்கூடிய மற்றும் செயல்படுத்தக்கூடிய வேலை வகைகளைப் புரிந்துகொள்வோம்.

அப்பாச்சி ஓஸி பயிற்சி: அப்பாச்சி ஓஸிக்கு அறிமுகம்

அப்பாச்சி ஓஸி என்பது விநியோகிக்கப்பட்ட சூழலில் ஹடூப் வேலைகளை நிர்வகிக்கவும் செயல்படுத்தவும் ஒரு திட்டமிடல் அமைப்பாகும். வேறு வகையான பணிகளை இணைப்பதன் மூலம் நாம் விரும்பிய பைப்லைனை உருவாக்க முடியும். இது உங்கள் ஹைவ், பன்றி, ஸ்கூப் அல்லது மேப்ரூட் பணியாக இருக்கலாம். அப்பாச்சி ஓஸியைப் பயன்படுத்தி உங்கள் வேலைகளையும் திட்டமிடலாம். பணியின் ஒரு வரிசையில், இரண்டு அல்லது அதற்கு மேற்பட்ட வேலைகள் ஒருவருக்கொருவர் இணையாக இயங்க திட்டமிடப்படலாம். இது ஒரு அளவிடக்கூடிய, நம்பகமான மற்றும் விரிவாக்கக்கூடிய அமைப்பு.

ஓஸி என்பது ஒரு திறந்த மூல ஜாவா வலை-பயன்பாடு ஆகும், இது பணிப்பாய்வு செயல்களைத் தூண்டுவதற்கு பொறுப்பாகும். இது, பணிகளைச் செய்ய ஹடூப் செயல்படுத்தல் இயந்திரத்தைப் பயன்படுத்துகிறது.

கால்பேக் மற்றும் வாக்குப்பதிவு மூலம் பணிகளை முடிப்பதை அப்பாச்சி ஓஸி கண்டறிந்துள்ளார். Oozie ஒரு பணியைத் தொடங்கும்போது, ​​அது பணிக்கு ஒரு தனிப்பட்ட அழைப்பு HTTP URL ஐ வழங்குகிறது மற்றும் பணி முடிந்ததும் அந்த URL ஐ அறிவிக்கும். அழைப்பு திரும்ப URL ஐ செயல்படுத்துவதில் பணி தோல்வியுற்றால், ஓஸி பணியை முடிக்க வாக்களிக்க முடியும்.

c ++ பெயர்வெளி என்றால் என்ன

அப்பாச்சி ஓஸியில் மூன்று வகையான வேலைகள் உள்ளன:

• ஓஸி பணிப்பாய்வு வேலைகள் & கழித்தல் இவை இயக்கப்படும் அசைக்ளிக் வரைபடங்கள் (DAG கள்), அவை செயல்படுத்தப்பட வேண்டிய செயல்களின் வரிசையைக் குறிப்பிடுகின்றன.
• ஓஸி ஒருங்கிணைப்பாளர் வேலைகள் & கழித்தல் இவை நேரம் மற்றும் தரவு கிடைப்பதன் மூலம் தூண்டப்படும் பணிப்பாய்வு வேலைகளைக் கொண்டிருக்கும்.
• ஓஸி மூட்டைகள் & கழித்தல் இவை பல ஒருங்கிணைப்பாளர்கள் மற்றும் பணிப்பாய்வு வேலைகளின் தொகுப்பாக குறிப்பிடப்படலாம்.

இப்போது, ​​இந்த வேலைகள் அனைத்தையும் ஒவ்வொன்றாக புரிந்துகொள்வோம்.

அப்பாச்சி ஓஸி பயிற்சி: ஓஸி பணிப்பாய்வு

பணிப்பாய்வு என்பது ஒரு நேரடி அசைக்ளிக் வரைபடத்தில் (DAG) ஏற்பாடு செய்யப்பட்ட செயல்களின் வரிசை. செயல்கள் ஒருவருக்கொருவர் சார்ந்துள்ளது, ஏனெனில் அடுத்த செயலை தற்போதைய செயலின் வெளியீட்டிற்குப் பிறகு மட்டுமே செயல்படுத்த முடியும். ஒரு பணிப்பாய்வு நடவடிக்கை ஒரு பன்றி நடவடிக்கை, ஹைவ் நடவடிக்கை, மேப்ரூட் நடவடிக்கை, ஷெல் நடவடிக்கை, ஜாவா நடவடிக்கை போன்றவையாக இருக்கலாம். ஒரு வேலை எப்படி, எந்த நிலையில் இயங்க வேண்டும் என்பதை தீர்மானிக்க முடிவு மரங்கள் இருக்கலாம்.

வேலையின் அடிப்படையில் நாம் பல்வேறு வகையான செயல்களை உருவாக்க முடியும் மற்றும் ஒவ்வொரு வகை செயலும் அதன் சொந்த வகை குறிச்சொற்களைக் கொண்டிருக்கலாம்.பணிப்பாய்வு மற்றும் ஸ்கிரிப்டுகள் அல்லது ஜாடிகளை பணிப்பாய்வு செயல்படுத்துவதற்கு முன் HDFS பாதையில் வைக்க வேண்டும்.

கட்டளை: oozie job –oozie http: // localhost: 11000 / oozie -config job.properties -run

வேலையின் நிலையைச் சரிபார்க்க, நீங்கள் ஓஸி வலை கன்சோலுக்குச் செல்லலாம், அதாவது. http: // host_name: 11000 . வேலையைக் கிளிக் செய்வதன் மூலம் நீங்கள் வேலையின் நிலையைக் காண்பீர்கள்.

பல வேலைகளை இணையாக இயக்க விரும்பும் சூழ்நிலைகளில், நாம் பயன்படுத்தலாம் முள் கரண்டி . நாம் முட்கரண்டி பயன்படுத்தும் போதெல்லாம், ஃபோர்க்குக்கு சேர ஒரு இறுதி முனையாக சேர வேண்டும். ஒவ்வொரு முட்கரண்டிக்கும் ஒரு இணைப்பு இருக்க வேண்டும். இணையாக இயங்கும் அனைத்து முனைகளும் ஒரே முட்கரண்டின் குழந்தை என்று சேரவும். உதாரணமாக, ஒரே நேரத்தில் இரண்டு அட்டவணைகளை இணையாக உருவாக்கலாம்.

முடிவின் வெளியீட்டின் அடிப்படையில் ஒரு செயலை இயக்க விரும்பினால், நாங்கள் முடிவு குறிச்சொற்களை சேர்க்கலாம். எடுத்துக்காட்டாக, ஹைவ் அட்டவணை ஏற்கனவே இருந்தால், அதை மீண்டும் உருவாக்க தேவையில்லை. அந்த சூழ்நிலையில், அட்டவணை ஏற்கனவே இருந்தால், உருவாக்கும் அட்டவணை படிகளை இயக்க வேண்டாம் என்ற முடிவு குறிச்சொல்லை சேர்க்கலாம். முடிவு முனைகளில் சுவிட்ச் கேஸைப் போன்ற சுவிட்ச் டேக் உள்ளது.

வேலை-கண்காணிப்பான், பெயர்-முனை, ஸ்கிரிப்ட் மற்றும் பரம் ஆகியவற்றின் மதிப்பை நேரடியாக அனுப்ப முடியும். ஆனால், இதை நிர்வகிப்பது கடினம். ஒரு கட்டமைப்பு கோப்பு (அதாவது .property கோப்பு) எளிது.

அப்பாச்சி ஓஸி பயிற்சி: ஓஸி ஒருங்கிணைப்பாளர்

ஒருங்கிணைப்பாளரைப் பயன்படுத்தி தவறாமல் திட்டமிடப்பட்ட சிக்கலான பணிப்பாய்வுகளையும் பணிப்பாய்வுகளையும் நீங்கள் திட்டமிடலாம். ஓஸி ஒருங்கிணைப்பாளர்கள் நேரம், தரவு அல்லது நிகழ்வு கணிப்புகளின் அடிப்படையில் பணிப்பாய்வு வேலைகளைத் தூண்டுகிறது. கொடுக்கப்பட்ட நிபந்தனை பூர்த்தி செய்யப்படும்போது வேலை ஒருங்கிணைப்பாளருக்குள் பணிப்பாய்வு தொடங்குகிறது.

ஒருங்கிணைப்பாளர் வேலைகளுக்கு தேவையான வரையறைகள்:

• தொடங்கு & கழித்தல் வேலைக்கான தேதிநேரத்தைத் தொடங்குங்கள்.
• முடிவு & கழித்தல் வேலைக்கான தேதிநேர முடிவு.
• நேரம் மண்டலம் ஒருங்கிணைப்பாளர் பயன்பாட்டின் நேர மண்டலம்.
• அதிர்வெண் & கழித்தல் வேலைகளைச் செய்வதற்கான அதிர்வெண், நிமிடங்களில்.

கட்டுப்பாட்டு தகவலுக்கு இன்னும் சில பண்புகள் உள்ளன:

• நேரம் முடிந்தது & கழித்தல் அதிகபட்ச நேரம், நிமிடங்களில், ஒரு நடவடிக்கை நிராகரிக்கப்படுவதற்கு முன்பு, கூடுதல் நிபந்தனைகளை பூர்த்தி செய்ய காத்திருக்கும். செயல் பொருள்மயமாக்கலின் போது அனைத்து உள்ளீட்டு நிகழ்வுகளும் திருப்தி அடையவில்லை எனில், நடவடிக்கை உடனடியாக காலாவதியாக வேண்டும் என்பதைக் குறிக்கிறது. -1 நேரம் இல்லை என்பதைக் குறிக்கிறது, செயல் என்றென்றும் காத்திருக்கும். இயல்புநிலை மதிப்பு -1.
• ஒத்திசைவு & கழித்தல் இணையாக இயங்கக்கூடிய ஒரு வேலைக்கான அதிகபட்ச செயல்கள். இயல்புநிலை மதிப்பு 1 ஆகும்.
• மரணதண்டனை - ஒருங்கிணைப்பாளர் பணியின் பல நிகழ்வுகள் அவற்றின் செயல்பாட்டு அளவுகோல்களை பூர்த்தி செய்திருந்தால், அது மரணதண்டனை வரிசையை குறிப்பிடுகிறது. இருக்கலாம்:

• • FIFO (இயல்புநிலை)
  • LIFO
  • LAST_ONLY

கட்டளை: oozie job –oozie http: // localhost: 11000 / oozie -config -run

ஒருங்கிணைப்பாளர் வேலையைச் சமர்ப்பிக்கும் போது வரையறையில் பயன்படுத்தப்படும் ஒரு உள்ளமைவு சொத்து வேலை உள்ளமைவுடன் வழங்கப்படாவிட்டால், வேலை சமர்ப்பிப்பு தோல்வியடையும்.

அப்பாச்சி ஓஸி பயிற்சி: ஓஸி மூட்டை

ஓஸி மூட்டை அமைப்புதரவுக் குழாய் என அழைக்கப்படும் ஒருங்கிணைப்பாளர் பயன்பாடுகளின் தொகுப்பை வரையறுக்கவும் செயல்படுத்தவும் உங்களை அனுமதிக்கிறது. ஒரு ஓஸி மூட்டையில், ஒருங்கிணைப்பாளர் பயன்பாடுகளில் வெளிப்படையான சார்பு இல்லை. இருப்பினும், ஒரு மறைமுக தரவு பயன்பாட்டுக் குழாயை உருவாக்க ஒருங்கிணைப்பாளர் பயன்பாடுகளின் தரவு சார்புநிலையைப் பயன்படுத்தலாம்.நீங்கள் மூட்டை தொடங்க / நிறுத்த / இடைநீக்கம் / மீண்டும் / மீண்டும் இயக்கலாம். இது சிறந்த மற்றும் எளிதான செயல்பாட்டுக் கட்டுப்பாட்டை அளிக்கிறது.

கிக்-ஆஃப்-டைம் & கழித்தல் ஒரு மூட்டை ஒருங்கிணைத்து விண்ணப்பங்களை சமர்ப்பிக்க வேண்டிய நேரம்.

இந்த அப்பாச்சி ஓஸி டுடோரியலில் முன்னேறுவதால், பணிப்பாய்வு வேலையை எவ்வாறு உருவாக்குவது என்பதைப் புரிந்துகொள்வோம்.

அப்பாச்சி ஓஸி பயிற்சி: சொல் எண்ணிக்கை பணிப்பாய்வு வேலை

இந்த எடுத்துக்காட்டில், அப்பாச்சி ஓஸியைப் பயன்படுத்தி ஒரு வேர்ட் கவுண்ட் வேலையை இயக்கப் போகிறோம். MapReduce சொல் எண்ணிக்கை நிரலை எவ்வாறு எழுதுவது என்பது பற்றி இங்கே விவாதிக்க மாட்டோம். எனவே, இந்த அப்பாச்சி ஓஸி டுடோரியலைப் பின்தொடர்வதற்கு முன்பு இதை பதிவிறக்கம் செய்ய வேண்டும் சொல் எண்ணிக்கை ஜாடி கோப்பு. இப்போது, ​​ஒரு வேர்ட்கவுன்ட் டெஸ்ட் கோப்பகத்தை உருவாக்கவும், அங்கு நாங்கள் எல்லா கோப்புகளையும் வைப்போம். ஒரு லிப் கோப்பகத்தை உருவாக்கவும், அங்கு கீழேயுள்ள படங்களில் காட்டப்பட்டுள்ளபடி கவுண்ட் ஜாடி என்ற வார்த்தையை வைப்போம்.

இப்போது, ​​முன்னேறி உருவாக்கலாம் job.properties & workflow.xml கோப்புகள், அதனுடன் தொடர்புடைய வேலை மற்றும் அளவுருக்களைக் குறிப்பிடுவோம்.

job.properties

முதலில், நாங்கள் ஒரு உருவாக்குகிறோம் job.properties கோப்பு, அங்கு நாம் NameNode & ResourceManager இன் பாதையை வரையறுக்கிறோம். பணிப்பாய்வு அடைவு பாதையைத் தீர்க்க பெயர்நொட் பாதை தேவைப்படுகிறது & வேலை டிராக்கர் பாதை YARN க்கு வேலையைச் சமர்ப்பிக்க உதவும். நாம் பாதையை வழங்க வேண்டும் workflow.xml கோப்பு, இது HDFS இல் சேமிக்கப்பட வேண்டும்.

workflow.xml

அடுத்து, நாம் உருவாக்க வேண்டும் workflow.xml கோப்பு, எங்களுடைய எல்லா செயல்களையும் வரையறுத்து அவற்றை இயக்குவோம். முதலில், பணிப்பாய்வு-பயன்பாட்டு பெயரைக் குறிப்பிட வேண்டும், அதாவது. பணிப்பாய்வு ரன்னர் டெஸ்ட் . பின்னர், நாங்கள் குறிப்பிடுகிறோம் தொடக்க முனை . தொடக்க முனை ( இல் தி தொடங்க குறிச்சொல் ) ஒரு பணிப்பாய்வு வேலைக்கான நுழைவு புள்ளி. வேலை தொடங்க வேண்டிய இடத்திலிருந்து முதல் பணிப்பாய்வு முனையை நோக்கி இது சுட்டிக்காட்டுகிறது. கீழேயுள்ள படத்தில் நீங்கள் காணக்கூடியது போல, அடுத்த முனை குறுக்குவெட்டு 0 வேலை தொடங்கும் இடத்திலிருந்து.

அடுத்து, செய்ய வேண்டிய பணியை செயல் முனையில் குறிப்பிடுகிறோம். MapReduce WordCount பணியை இங்கே செயல்படுத்துகிறோம். இந்த MapReduce பணியைச் செய்வதற்குத் தேவையான உள்ளமைவுகளை நாங்கள் குறிப்பிட வேண்டும். நாங்கள் வேலை கண்காணிப்பு மற்றும் பெயர்நொட் முகவரியை வரையறுக்கிறோம்.

அடுத்தது தயாரிக்கப்பட்ட உறுப்பு ஆகும், இது செயலைச் செய்வதற்கு முன், அடைவு தூய்மைப்படுத்துவதற்கு பிரத்தியேகமாகப் பயன்படுத்தப்படுகிறது. இங்கே நீக்குவதற்கு HDFS இல் நீக்குதல் செயல்பாட்டைச் செய்கிறோம் out1 கோப்புறை ஏற்கனவே உருவாக்கப்பட்டிருந்தால். வேலையைச் செய்வதற்கு முன் ஒரு கோப்புறையை உருவாக்க அல்லது நீக்குவதற்கு தயார் குறிச்சொல் பயன்படுத்தப்படுகிறது. வேலை வரிசை பெயர், மேப்பர் வகுப்பு, குறைப்பான் வகுப்பு, வெளியீட்டு விசை வகுப்பு மற்றும் வெளியீட்டு மதிப்பு வகுப்பு போன்ற MapReduce பண்புகளை நாங்கள் குறிப்பிடுகிறோம்.

கடைசி MapReduce பணி உள்ளமைவு HDFS இல் உள்ளீடு & வெளியீட்டு அடைவு ஆகும். உள்ளீட்டு அடைவு தகவல்கள் அடைவு, இது நேம்நோட்டின் மூல பாதையில் சேமிக்கப்படுகிறது . கடைசியாக, வேலை தோல்வியுற்றால் கொலை கூறுகளை குறிப்பிடுவோம்.

இப்போது நாம் நகர்த்த வேண்டும் வேர்ட்கவுன்ட் டெஸ்ட் HDFS இல் உள்ள கோப்புறை, நாங்கள் குறிப்பிட்டுள்ளபடி oozie.wf.application.path சொத்து job.properties கோப்பு. எனவே, நாங்கள் நகலெடுக்கிறோம் வேர்ட்கவுன்ட் டெஸ்ட் ஹடூப் ரூட் கோப்பகத்தில் கோப்புறை.

கட்டளை: hadoop fs -put WordCountTest /

சரிபார்க்க, நீங்கள் நேம்நோட் வலை UI க்குச் சென்று, கோப்புறை HDFS ரூட் கோப்பகத்தில் பதிவேற்றப்பட்டதா இல்லையா என்பதைச் சரிபார்க்கலாம்.

இப்போது, ​​நாம் அனைவரும் முன்னேறி, பணிப்பாய்வு வேலையைச் செயல்படுத்த தயாராக உள்ளோம்.

கட்டளை: oozie job –oozie http: // localhost: 11000 / oozie -config job.properties -run

நாங்கள் எங்கள் வேலையைச் செய்தவுடன் வேலை ஐடியைப் பெறுவோம் (அதாவது. 0000009-171219160449620-oozie-edur-W. ) மேலே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி. ஓஸி வலை UI இல் நீங்கள் சமர்ப்பித்த வேலையை நீங்கள் சென்று சரிபார்க்கலாம், அதாவது. லோக்கல் ஹோஸ்ட்: 11000 . கீழேயுள்ள படத்தில் நீங்கள் காணலாம், நாங்கள் சமர்ப்பித்த வேலை கீழே பட்டியலிடப்பட்டுள்ளது.

மேலே உள்ள படத்தில் நீங்கள் கவனித்தால், நீங்கள் வேலை ஐடி, வேலையின் பெயர், வேலையின் நிலை, வேலையைச் சமர்ப்பித்த பயனர், உருவாக்கிய நேரம், தொடக்க மற்றும் கடைசி மாற்றத்தைக் காண்பீர்கள். இது போன்ற கூடுதல் விவரங்களைப் பெற நீங்கள் வேலையைக் கிளிக் செய்யலாம்:

• வேலை தகவல்

• வேலை வரையறை

• வேலை கட்டமைப்பு

வேலையின் நிலை வெற்றிகரமாக இருப்பதால், நாம் HDFS ரூட் கோப்பகத்திற்குச் சென்று வெளியீட்டு அடைவு உருவாக்கப்பட்டுள்ளதா இல்லையா என்பதைச் சரிபார்க்க வேண்டும்.

நீங்கள் பார்க்க முடியும் என oozieout அடைவு HDFS இல் உருவாக்கப்பட்டது, எனவே இப்போது உருவாக்கப்பட்ட வெளியீட்டு கோப்பைப் பார்ப்போம்.

ஒரு ஓஸி பணிப்பாய்வு வேலையை எவ்வாறு உருவாக்குவது என்பதைப் பார்த்தபடி, இப்போது இந்த அப்பாச்சி ஓஸி டுடோரியல் வலைப்பதிவில் முன்னேறி ஒரு ஒருங்கிணைப்பாளர் வேலையை எவ்வாறு உருவாக்குவது என்பதைப் புரிந்துகொள்வோம்.

அப்பாச்சி ஓஸி பயிற்சி: நேர அடிப்படையிலான சொல் எண்ணிக்கை ஒருங்கிணைப்பாளர் வேலை

இந்த எடுத்துக்காட்டில், நேரத்தை அடிப்படையாகக் கொண்ட சொல் எண்ணிக்கை ஒருங்கிணைப்பாளர் வேலையை உருவாக்குவோம், இது ஒரு குறிப்பிட்ட நேர இடைவெளிக்குப் பிறகு செயல்படுத்தப்படும். அப்பாச்சி ஓஸியைப் பயன்படுத்தி நீங்கள் ஒரு வேலையை உருவாக்கலாம் மற்றும் திட்டமிடலாம், இது தினசரி அல்லது அவ்வப்போது செயல்படுத்தப்பட வேண்டும்.

இந்த அப்பாச்சி ஓஸி டுடோரியலில் விரைவாக முன்னேறி ஒரு ஒருங்கிணைப்பாளர் வேலையை உருவாக்குவோம். இங்கே நாம் மூன்று கோப்புகளை உருவாக்குவோம், அதாவது. ஒருங்கிணைப்பாளர் , ஒருங்கிணைப்பாளர். xml & workflow.xml கோப்பு. மீண்டும், இங்கே நாம் w வைப்போம் ordcount உள்ளே ஜாடி லிப் கீழே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி அடைவு.

இப்போது இந்த கோப்புகளை தனித்தனியாக பார்ப்போம். முதலில், ஒருங்கிணைப்பாளர்.பொருள்கள் கோப்பில் தொடங்குவோம்.

இங்கே, பணிப்பாய்வு செயல்படுத்தப்படும் அதிர்வெண்ணைக் குறிப்பிடுகிறோம். அதிர்வெண் எப்போதும் நிமிடங்களில் வெளிப்படுத்தப்படுகிறது. எங்கள் விஷயத்தில், இந்த ஒருங்கிணைப்பாளர் பணி குறிப்பிட்ட நேரத்திற்கு இடையில் ஒவ்வொரு மணி நேரத்திற்கும் ஒரு முறை செயல்படுத்தப்படும். தரவுத் தொகுப்புகள் தயாரிக்கப்படும் குறிப்பிட்ட இடைவெளிகளைப் பிடிக்க அதிர்வெண் பயன்படுத்தப்படுகிறது, மேலும் ஒருங்கிணைப்பாளர் பயன்பாடுகள் இயக்க திட்டமிடப்பட்டுள்ளன.

நிமிடங்கள், மணிநேரம், நாட்கள் மற்றும் மாதங்களில் அதிர்வெண்ணை வரையறுக்க பின்வரும் வடிவமைப்பைப் பயன்படுத்தவும்:

அடுத்து, மேலே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி வேலையின் தொடக்க மற்றும் இறுதி நேரத்தை வரையறுக்கிறோம். ஆரம்பிக்கும் நேரம் வேலைக்கான தொடக்க தேதி & endTime என்பது வேலையின் இறுதி தேதி.

அடுத்து, நாங்கள் NameNode & ResourceManager url ஐக் குறிப்பிடுகிறோம், இது HDFS இல் workflow.xml கோப்பைக் குறிப்பிடவும், முறையே YARN க்கு வேலைகளைச் சமர்ப்பிக்கவும் பயன்படுத்தப்படும். கடைசியாக, நாங்கள் HDFS இல் சேமிக்கும் workflow.xml பாதையை குறிப்பிடுகிறோம். எல்லா கோப்புகளும் & lib கோப்பகமும் சேமிக்கப்படும் பயன்பாட்டு பாதையையும் நாங்கள் குறிப்பிடுவோம்.

இரண்டாவது கோப்பு ஒருங்கிணைப்பாளர். xml அங்கு நாம் குறிப்பிட்ட அனைத்து பண்புகளையும் பயன்படுத்துவோம் ஒருங்கிணைப்பாளர் கோப்பு. இப்போது, ​​முதலில், ஒருங்கிணைப்பாளர் பயன்பாட்டின் பண்புகளை நாங்கள் குறிப்பிடுவோம், அதாவது பெயர், அதிர்வெண் மற்றும் நேர மண்டலம். அடுத்து, பணிப்பாய்வுகளை ஒவ்வொன்றாகக் குறிப்பிடுவோம். இங்கே, எங்களிடம் ஒரே ஒரு பணிப்பாய்வு மட்டுமே உள்ளது. எனவே, செயல் உறுப்புக்குள் பணிப்பாய்வு உறுப்பை உருவாக்குவோம், அங்கு பயன்பாட்டு பாதையை குறிப்பிடுவோம்.

அடுத்து, முன்னேற நாம் உருவாக்க வேண்டும் workflow.xml நாங்கள் பணியைக் குறிப்பிடுவோம். இது போன்றது workflow.xml கோப்பு, இது பணிப்பாய்வு வேலையில் உருவாக்கியுள்ளோம்.

இப்போது மீண்டும், இதை நகர்த்துவோம் WordCountTest_TimedBased HDFS க்கான அடைவு.

கட்டளை : hadoop fs -put WordCountTest_TimeBased /

இப்போது, ​​இந்த ஓஸி டுடோரியலில் இந்த ஒருங்கிணைப்பாளர் பணியை முன்னெடுத்துச் செல்ல நாங்கள் அனைவரும் தயாராக உள்ளோம். மேலே சென்று அதை செயல்படுத்தலாம்.

கட்டளை : oozie job –oozie http: // localhost: 11000 / oozie -config coordinator.properties -run

இந்த ஒருங்கிணைப்பாளர் வேலை ஐடியைக் கவனியுங்கள் (அதாவது 0000010-171219160449620-oozie-edur-C). Oozie Web UI இல் உங்கள் வேலையைக் கண்டறிய இது உங்களுக்கு உதவும்.

ஓஸி வலை UI இல் உங்கள் ஒருங்கிணைப்பாளர் வேலைகள் தாவலில் பட்டியலிடப்பட்டுள்ள வேலையைக் காணலாம். பணிப்பாய்வு வேலையைப் போலவே எங்களிடம் பெயர், நிலை, பயனர், அதிர்வெண், வேலையின் தொடக்க மற்றும் இறுதி நேரம் உள்ளது. நீங்கள் ஒரு குறிப்பிட்ட வேலையைக் கிளிக் செய்யும் போது, ​​கீழேயுள்ள படங்களில் காட்டப்பட்டுள்ளபடி, வேலையின் விவரங்களைக் காண்பீர்கள்.

• ஒருங்கிணைப்பாளர் வேலை தகவல்

• ஒருங்கிணைப்பாளர் வேலை வரையறை

• ஒருங்கிணைப்பாளர் வேலை கட்டமைப்பு

இப்போது, ​​வெவ்வேறு தாவல்களைப் பார்த்தோம். வெளியீட்டு கோப்புறை உருவாக்கப்படும் HDFS ரூட் கோப்பகத்திற்கு மீண்டும் செல்வோம். கீழேயுள்ள படத்தில் நீங்கள் காணக்கூடியது போல, oozieTimeBasedout நாங்கள் குறிப்பிட்டபடி அடைவு உருவாக்கப்பட்டது workflow.xml கோப்பு.

இப்போது, ​​உருவாக்கப்பட்ட வெளியீட்டு கோப்பைப் பார்ப்போம்.

இந்த அப்பாச்சி ஓஸி டுடோரியல் வலைப்பதிவு தகவலை நீங்கள் கண்டுபிடித்தீர்கள் என்று நம்புகிறேன். நீங்கள் மேலும் அறிய ஆர்வமாக இருந்தால், இதை நீங்கள் செல்லலாம் இது பிக் டேட்டாவைப் பற்றியும், ஹடூப் பிக் டேட்டா தொடர்பான சவால்களை எவ்வாறு தீர்க்கிறது என்பதையும் உங்களுக்குக் கூறுகிறது.

இப்போது நீங்கள் அப்பாச்சி ஓஸியைப் புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.