HQL இல் எடுத்துக்காட்டுகளுடன் சிறந்த ஹைவ் கட்டளைகள்

இந்த வலைப்பதிவு இடுகையில், சிறந்த ஹைவ் கட்டளைகளை எடுத்துக்காட்டுகளுடன் விவாதிக்கலாம். இந்த ஹைவ் கட்டளைகள் அடித்தளத்தை அமைக்க மிகவும் முக்கியம் .

ஹைவ் என்றால் என்ன?

அப்பாச்சி ஹைவ் என்பது ஒரு தரவுக் கிடங்கு அமைப்பு, இது ஹடூப்பில் வேலை செய்ய கட்டப்பட்டுள்ளது. விநியோகிக்கப்பட்ட சேமிப்பகத்தில் வசிக்கும் பெரிய தரவுத்தொகுப்புகளை வினவவும் நிர்வகிக்கவும் இது பயன்படுகிறது. அப்பாச்சி ஹடூப்பின் திறந்த மூல திட்டமாக மாறுவதற்கு முன்பு, ஹைவ் பேஸ்புக்கில் தோன்றியது. இது ஹடூப்பில் உள்ள தரவுகளில் கட்டமைப்பைத் திட்டமிடுவதற்கும், HiveQL (HQL) எனப்படும் SQL போன்ற மொழியைப் பயன்படுத்தி அந்தத் தரவை வினவுவதற்கும் ஒரு பொறிமுறையை வழங்குகிறது.

ஹைவ் பயன்படுத்தப்படுகிறது, ஏனெனில் ஹைவ் அட்டவணைகள் தொடர்புடைய தரவுத்தளத்தில் உள்ள அட்டவணைகளுக்கு ஒத்தவை. நீங்கள் SQL உடன் தெரிந்திருந்தால், அது ஒரு கேக்வாக். பல பயனர்கள் ஒரே நேரத்தில் ஹைவ்-கியூஎல் பயன்படுத்தி தரவை வினவலாம்.

HQL என்றால் என்ன?

ஹைவ்-கியூஎல் (எச்.க்யூ.எல்) எனப்படும் பெரிய தரவுத்தொகுப்புகளை வினவுவதற்கும் நிர்வகிப்பதற்கும் ஒரு எளிய SQL போன்ற வினவல் மொழியை ஹைவ் வரையறுக்கிறது. உங்களுக்கு SQL மொழி தெரிந்திருந்தால் பயன்படுத்த எளிதானது. ஹைவ் மொழியுடன் பழக்கமான புரோகிராமர்களை தனிப்பயன் மேப்ரூட் கட்டமைப்பை எழுத மிகவும் அதிநவீன பகுப்பாய்வு செய்ய அனுமதிக்கிறது.

ஹைவ் பயன்கள்:

1. அப்பாச்சி ஹைவ் விநியோகிக்கப்பட்ட சேமிப்பு.

2. ஹைவ் எளிதான தரவு சாறு / உருமாற்றம் / சுமை (ஈ.டி.எல்) செயல்படுத்த கருவிகளை வழங்குகிறது

3. இது பல்வேறு தரவு வடிவங்களில் கட்டமைப்பை வழங்குகிறது.

4. ஹைவ் பயன்படுத்துவதன் மூலம், ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமையில் (எச்.டி.எஃப்.எஸ் என்பது பெரிய தரவுத்தொகுப்புகளை வினவவும் நிர்வகிக்கவும் பயன்படுகிறது) அல்லது அப்பாச்சி ஹெபேஸ் போன்ற பிற தரவு சேமிப்பக அமைப்புகளில் அணுகலாம்.

ஹைவ் வரம்புகள்:

& புல் ஹைவ் ஆன்லைன் பரிவர்த்தனை செயலாக்கத்திற்காக (OLTP) வடிவமைக்கப்படவில்லை, இது ஆன்லைன் பகுப்பாய்வு செயலாக்கத்திற்கு மட்டுமே பயன்படுத்தப்படுகிறது.

& புல் ஹைவ் தரவை மேலெழுத அல்லது கைது செய்வதை ஆதரிக்கிறது, ஆனால் புதுப்பிப்புகள் மற்றும் நீக்குதல்கள் அல்ல.

& புல் ஹைவ், துணை வினவல்கள் ஆதரிக்கப்படவில்லை.

பன்றியைத் தூண்டுவதற்கு ஹைவ் ஏன் பயன்படுத்தப்படுகிறது?

பன்றி கிடைத்தாலும் ஹைவ் பயன்படுத்தப்படுவதற்கான காரணங்கள் பின்வருமாறு:

• ஹைவ்-கியூஎல் ஒரு அறிவிக்கும் மொழி வரி SQL, பிக்லாட்டின் ஒரு தரவு ஓட்ட மொழி.
• பன்றி: மிகப் பெரிய தரவுத்தொகுப்புகளை ஆராய்வதற்கான தரவு-ஓட்ட மொழி மற்றும் சூழல்.
• ஹைவ்: விநியோகிக்கப்பட்ட தரவுக் கிடங்கு.

ஹைவ் கூறுகள்:

மெட்டாஸ்டோர்:

ஹைவ் மெட்டாஸ்டோரில் ஹைவ் அட்டவணைகளின் திட்டத்தை ஹைவ் சேமிக்கிறது. கிடங்கில் உள்ள அட்டவணைகள் மற்றும் பகிர்வுகள் பற்றிய அனைத்து தகவல்களையும் வைத்திருக்க மெட்டாஸ்டோர் பயன்படுத்தப்படுகிறது. முன்னிருப்பாக, மெட்டாஸ்டோர் ஹைவ் சேவையின் அதே செயல்பாட்டில் இயங்குகிறது மற்றும் இயல்புநிலை மெட்டாஸ்டோர் டெர்பி தரவுத்தளமாகும்.

SerDe:

சீரியலைசர், டெசீரியலைசர் ஒரு பதிவை எவ்வாறு செயலாக்குவது என்பது குறித்து ஹைவ் செய்வதற்கான வழிமுறைகளை வழங்குகிறது.

ஹைவ் கட்டளைகள்:

தரவு வரையறை மொழி (டி.டி.எல்)

தரவுத்தளத்தில் அட்டவணைகள் மற்றும் பிற பொருள்களை உருவாக்க மற்றும் மாற்ற டி.டி.எல் அறிக்கைகள் பயன்படுத்தப்படுகின்றன.

சுடோ ஹைவ் கட்டளையை கொடுத்து ஹைவ் ஷெல்லுக்கு சென்று கட்டளையை உள்ளிடவும் ‘உருவாக்கு தரவுத்தளம் பெயர்> ’ ஹைவ் புதிய தரவுத்தளத்தை உருவாக்க.

ஹைவ் கிடங்கில் உள்ள தரவுத்தளங்களை பட்டியலிட, ‘ தரவுத்தளங்களைக் காட்டு ’.

ஹைவ் கிடங்கின் இயல்புநிலை இடத்தில் தரவுத்தளம் உருவாக்குகிறது. கிளவுட்ராவில், ஒரு / பயனர் / ஹைவ் / கிடங்கில் ஹைவ் தரவுத்தள கடை.

தரவுத்தளத்தைப் பயன்படுத்துவதற்கான கட்டளை பயன்படுத்தவும்

உள்ளூர் கட்டளையிலிருந்து நகலைப் பயன்படுத்தி உள்ளீட்டின் தரவை உள்ளூர் இருந்து HDFS க்கு நகலெடுக்கவும்.

வரிசை நிரலை ஜாவாவில் ஒன்றிணைக்கவும்

நாம் ஹைவ் ஒரு அட்டவணையை உருவாக்கும்போது, ​​அது ஹைவ் கிடங்கின் இயல்புநிலை இடத்தில் உருவாக்குகிறது. - “/ பயனர் / ஹைவ் / கிடங்கு”, அட்டவணையை உருவாக்கிய பிறகு, எச்டிஎஃப்எஸ்ஸிலிருந்து தரவை ஹைவ் டேபிளுக்கு நகர்த்தலாம்.

பின்வரும் கட்டளை “/user/hive/warehouse/retail.db” இன் இருப்பிடத்துடன் ஒரு அட்டவணையை உருவாக்குகிறது

குறிப்பு : retail.db என்பது ஹைவ் கிடங்கில் உருவாக்கப்பட்ட தரவுத்தளமாகும்.

விவரிக்கவும் அட்டவணையின் திட்டத்தைப் பற்றிய தகவல்களை வழங்குகிறது.

தரவு கையாளுதல் மொழி (டி.எம்.எல்)

தரவுத்தளத்தில் தரவை மீட்டெடுக்க, சேமிக்க, மாற்ற, நீக்க, செருக மற்றும் புதுப்பிக்க டி.எம்.எல் அறிக்கைகள் பயன்படுத்தப்படுகின்றன.

உதாரணமாக :

LOAD, INSERT அறிக்கைகள்.

தொடரியல்:

அட்டவணையில் தரவு உள்ளீட்டை ஏற்றவும் [அட்டவணைப்பெயர்]

தரவை தொடர்புடைய ஹைவ் அட்டவணையில் நகர்த்துவதற்கு சுமை செயல்பாடு பயன்படுத்தப்படுகிறது. முக்கிய சொல் என்றால் உள்ளூர் குறிப்பிடப்பட்டுள்ளது, பின்னர் சுமை கட்டளையில் உள்ளூர் கோப்பு முறைமை பாதையை வழங்கும். உள்ளூர் முக்கிய சொல் குறிப்பிடப்படவில்லை என்றால், கோப்பின் HDFS பாதையை நாம் பயன்படுத்த வேண்டும்.

LOAD தரவு LOCAL கட்டளைக்கான சில எடுத்துக்காட்டுகள் இங்கே

ஹைவ் அட்டவணையில் தரவை ஏற்றிய பிறகு, தரவு கையாளுதல் அறிக்கைகளைப் பயன்படுத்தலாம் அல்லது மொத்த செயல்பாடுகள் தரவை மீட்டெடுக்கலாம்.

பதிவுகளின் எண்ணிக்கையை எடுத்துக்காட்டு:

மொத்த அட்டவணையின் எண்ணிக்கை ஒரு அட்டவணையில் உள்ள பதிவுகளின் மொத்த எண்ணிக்கையை எண்ணும்.

‘வெளிப்புறத்தை உருவாக்கு’ அட்டவணை:

தி வெளிப்புறத்தை உருவாக்கவும் முக்கிய அட்டவணை ஒரு அட்டவணையை உருவாக்க பயன்படுகிறது மற்றும் அட்டவணை உருவாக்கும் இடத்தை வழங்குகிறது, இதனால் ஹைவ் இந்த அட்டவணைக்கு இயல்புநிலை இருப்பிடத்தைப் பயன்படுத்தாது. ஒரு வெளிப்புறம் இயல்புநிலை சேமிப்பகத்தை விட, அதன் சேமிப்பகத்திற்கான எந்த HDFS இருப்பிடத்தையும் அட்டவணை சுட்டிக்காட்டுகிறது.

லினக்ஸ் கணினி நிர்வாகி பாத்திரங்கள் மற்றும் பொறுப்புகள்

கட்டளையைச் செருகவும்:

தி செருக தரவு ஹைவ் அட்டவணையை ஏற்ற கட்டளை பயன்படுத்தப்படுகிறது. செருகல்களை ஒரு அட்டவணை அல்லது பகிர்வுக்கு செய்யலாம்.

& புல் INSERT OVERWRITE அட்டவணை அல்லது பகிர்வில் இருக்கும் தரவை மேலெழுத பயன்படுகிறது.

& புல் ஒரு அட்டவணையில் இருக்கும் தரவுகளில் தரவைச் சேர்க்க INSERT INTO பயன்படுத்தப்படுகிறது. (குறிப்பு: தொடரியல் INSERT 0.8 பதிப்பிலிருந்து வேலை செய்கிறது)

‘பகிர்வு மூலம்’ மற்றும் ‘கிளஸ்டர் பை’ கட்டளைக்கான எடுத்துக்காட்டு:

‘பகிர்வு ‘அட்டவணையை பகிர்வாகப் பிரிக்கப் பயன்படுகிறது, மேலும் அதைப் பயன்படுத்தி வாளிகளாகப் பிரிக்கலாம். மூலம் கிளஸ்டர் ‘கட்டளை.

நாங்கள் தரவைச் செருகும்போது ஹைவ் வீசுதல் பிழைகள், டைனமிக் பகிர்வு முறை கண்டிப்பானது மற்றும் டைனமிக் பகிர்வு செயல்படுத்தப்படவில்லை (மூலம் ஜெஃப் இல் டிரஸ்ஹெட் வலைத்தளம் ). எனவே ஹைவ் ஷெல்லில் பின்வரும் அளவுருக்களை அமைக்க வேண்டும்.

hive.exec.dynamic.partition = உண்மை அமைக்கவும்

டைனமிக் பகிர்வுகளை இயக்க, இயல்பாக, அது தவறானது

hive.exec.dynamic.partition.mode = அமைக்காதது

பகிர்வு வகையால் செய்யப்படுகிறது மற்றும் ‘க்ளஸ்டர்டு பை’ கட்டளையைப் பயன்படுத்தி வாளிகளாக பிரிக்கலாம்.

‘டிராப் டேபிள்’ அறிக்கை ஒரு அட்டவணைக்கான தரவு மற்றும் மெட்டாடேட்டாவை நீக்குகிறது. வெளிப்புற அட்டவணைகளின் விஷயத்தில், மெட்டாடேட்டா மட்டுமே நீக்கப்படும்.

‘டிராப் டேபிள்’ அறிக்கை ஒரு அட்டவணைக்கான தரவு மற்றும் மெட்டாடேட்டாவை நீக்குகிறது. வெளிப்புற அட்டவணைகளின் விஷயத்தில், மெட்டாடேட்டா மட்டுமே நீக்கப்படும்.

தரவு உள்ளீட்டு பாதை ‘aru.txt’ ஐ அட்டவணை அட்டவணை பெயரில் ஏற்றவும், பின்னர் அட்டவணை பெயர் கட்டளையிலிருந்து தேர்ந்தெடு * ஐப் பயன்படுத்தி பணியாளர் 1 அட்டவணையை சரிபார்க்கிறோம்

தேர்ந்தெடுப்பதைப் பயன்படுத்தி அட்டவணையில் உள்ள பதிவுகளின் எண்ணிக்கையை எண்ண எண்ணிக்கை (*) txnrecords இலிருந்து

திரட்டுதல்:

அட்டவணைப் பெயரிலிருந்து எண்ணிக்கையைத் தேர்ந்தெடுக்கவும் (DISTINCT வகை)

இந்த கட்டளை வெவ்வேறு வகை ‘கேட்’ அட்டவணையை கணக்கிடும். இங்கே 3 வெவ்வேறு பிரிவுகள் உள்ளன.

மற்றொரு அட்டவணை கேட் உள்ளது என்று வைத்துக்கொள்வோம், அங்கு f1 என்பது பிரிவின் புலம் பெயர்.

தொகுத்தல்:

ஒன்று அல்லது அதற்கு மேற்பட்ட நெடுவரிசைகளால் முடிவு-தொகுப்பை தொகுக்க குழு கட்டளை பயன்படுத்தப்படுகிறது.

வகையின் அடிப்படையில் txt பதிவுகள் குழுவிலிருந்து வகை, தொகை (தொகை) தேர்ந்தெடுக்கவும்

இது ஒரே வகையின் அளவைக் கணக்கிடுகிறது.

இதன் விளைவாக ஒரு அட்டவணை மற்றொரு அட்டவணையில் சேமிக்கப்படுகிறது.

பழைய டேபிள் பெயரிலிருந்து தேர்ந்தெடு * என அட்டவணை புதிய டேபிள் பெயரை உருவாக்கவும்

CSS இல் ஹோவர் பயன்படுத்துவது எப்படி

கட்டளையில் சேரவும்:

இங்கே பெயரில் மேலும் ஒரு அட்டவணை உருவாக்கப்பட்டுள்ளது ‘அஞ்சல்கள்’

செயல்பாட்டில் சேரவும் :

ஒவ்வொன்றிற்கும் பொதுவான மதிப்புகளைப் பயன்படுத்தி இரண்டு அட்டவணைகளிலிருந்து புலங்களை இணைக்க ஒரு சேர செயல்பாடு செய்யப்படுகிறது.

இடது வெளிப்புற சேர :

A மற்றும் B அட்டவணைகளுக்கான இடது வெளிப்புற இணைப்பின் (அல்லது வெறுமனே இடது சேர) விளைவாக “இடது” அட்டவணையின் (A) அனைத்து பதிவுகளும் எப்போதும் இருக்கும், சேர-நிபந்தனை “வலது” அட்டவணையில் பொருந்தக்கூடிய எந்த பதிவையும் காணவில்லை என்றாலும் (பி).

வலது வெளிப்புற சேர :

அட்டவணைகள் தலைகீழாக மாற்றப்படுவதைத் தவிர்த்து, வலது வெளிப்புற இணைப்பு (அல்லது வலது சேர) இடது வெளிப்புற இணைப்பை நெருக்கமாக ஒத்திருக்கிறது. “வலது” அட்டவணையில் (பி) இருந்து ஒவ்வொரு வரிசையும் இணைந்த அட்டவணையில் ஒரு முறையாவது தோன்றும்.

முழு சேர :

இணைந்த அட்டவணையில் இரு அட்டவணைகளிலிருந்தும் அனைத்து பதிவுகளும் இருக்கும், மேலும் இருபுறமும் காணாமல் போன போட்டிகளுக்கு NULL களை நிரப்பவும்.

ஹைவ் செய்து முடித்தவுடன் ஹைவ் ஷெல்லிலிருந்து வெளியேற க்விட் கட்டளையைப் பயன்படுத்தலாம்.

ஹைவ் என்பது பிக் டேட்டா மற்றும் ஹடூப் எனப்படும் பெரிய புதிரின் ஒரு பகுதியாகும். ஹடூப் ஹைவ் விட அதிகம். ஹடூப்பில் நீங்கள் தேர்ச்சி பெற வேண்டிய பிற திறன்களைக் காண கீழே கிளிக் செய்க.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.

தொடர்புடைய இடுகைகள்:

7 வழிகள் பெரிய தரவு பயிற்சி உங்கள் நிறுவனத்தை மாற்றும்

ஹைவ் தரவு மாதிரிகள்