அப்பாச்சி ஹைவ் அறிமுகம்



அப்பாச்சி ஹைவ் என்பது ஹடூப்பின் மேல் கட்டப்பட்ட ஒரு தரவுக் கிடங்கு தொகுப்பு ஆகும், இது தரவு பகுப்பாய்விற்குப் பயன்படுத்தப்படுகிறது. ஹைவ் SQL உடன் வசதியாக இருக்கும் பயனர்களை இலக்காகக் கொண்டுள்ளது.

அப்பாச்சி ஹைவ் என்பது ஹடூப்பின் மேல் கட்டப்பட்ட ஒரு தரவுக் கிடங்கு தொகுப்பு ஆகும், இது தரவு பகுப்பாய்விற்குப் பயன்படுத்தப்படுகிறது. ஹைவ் SQL உடன் வசதியாக இருக்கும் பயனர்களை இலக்காகக் கொண்டுள்ளது. இது SQL ஐப் போன்றது மற்றும் HiveQL என அழைக்கப்படுகிறது, இது கட்டமைக்கப்பட்ட தரவை நிர்வகிக்கவும் வினவவும் பயன்படுகிறது. ஹடூப்பின் சுருக்க சிக்கலுக்கு அப்பாச்சி ஹைவ் பயன்படுத்தப்படுகிறது. இந்த மொழி பாரம்பரிய வரைபடத்தை அனுமதிக்கிறது / புரோகிராமர்களை தங்கள் தனிப்பயன் மேப்பர்கள் மற்றும் குறைப்பாளர்களை செருக அனுமதிக்கிறது. ஹைவாவின் பிரபலமான அம்சம் என்னவென்றால், ஜாவாவைக் கற்க வேண்டிய அவசியமில்லை.





ஹடூப்பை அடிப்படையாகக் கொண்ட ஒரு திறந்த மூல பெட்டா-பைட் அளவிலான தேதி கிடங்கு கட்டமைப்பான ஹைவ், பேஸ்புக்கில் தரவு உள்கட்டமைப்பு குழுவால் உருவாக்கப்பட்டது. பேஸ்புக்கில் தேவைகளை நிவர்த்தி செய்ய பயன்படுத்தப்படும் தொழில்நுட்பங்களில் ஹைவ் ஒன்றாகும். ஹைவ் பேஸ்புக்கில் உள்நாட்டில் உள்ள அனைத்து பயனர்களிடமும் மிகவும் பிரபலமாக உள்ளது மற்றும் நூற்றுக்கணக்கான பயனர்களுடன் கிளஸ்டரில் ஆயிரக்கணக்கான வேலைகளை இயக்கப் பயன்படுகிறது, பலவகையான பயன்பாடுகளுக்கு. பேஸ்புக்கில் ஹைவ்-ஹடூப் கிளஸ்டர் 2PB க்கும் அதிகமான மூல தரவுகளை சேமித்து வைக்கிறது மற்றும் தினசரி அடிப்படையில் 15 TB தரவை ஏற்றுகிறது.

இது பிரபலமாகவும் பயனர் நட்பாகவும் இருக்கும் அதன் சில அம்சங்களைப் பார்ப்போம்:



அணு மலைப்பாம்பை இயக்குவது எப்படி
  • தனிப்பயன் மேப்பர்கள் மற்றும் குறைப்பாளர்களை செருக புரோகிராமர்களை அனுமதிக்கிறது.
  • தரவுக் கிடங்கு உள்கட்டமைப்பு உள்ளது.
  • எளிதான தரவு ETL ஐ இயக்க கருவிகளை வழங்குகிறது.
  • QL எனப்படும் SQL போன்ற வினவல் மொழியை வரையறுக்கிறது.

அப்பாச்சி ஹைவ் பயன்பாட்டு வழக்கு - பேஸ்புக்:

ஹைவ் யூஸ் கேஸ் - பேஸ்புக்

ஹைவ் செயல்படுத்தப்படுவதற்கு முன்பு, உருவாக்கப்படும் தரவுகளின் அளவு அதிகரித்தது அல்லது வெடித்ததால் பேஸ்புக் நிறைய சவால்களை எதிர்கொண்டது, அவற்றைக் கையாள்வது மிகவும் கடினம். பாரம்பரிய RDBMS அழுத்தத்தைக் கையாள முடியவில்லை, இதன் விளைவாக பேஸ்புக் சிறந்த விருப்பங்களைத் தேடுகிறது. வரவிருக்கும் இந்த சிக்கலைத் தீர்க்க, பேஸ்புக் ஆரம்பத்தில் ஹடூப் மேப் ரெட்யூஸைப் பயன்படுத்த முயற்சித்தது, ஆனால் நிரலாக்கத்தில் சிரமம் மற்றும் SQL இல் கட்டாய அறிவு, இது ஒரு நடைமுறைக்கு மாறான தீர்வாக அமைந்தது. ஹைவ் அவர்கள் எதிர்கொள்ளும் சவால்களை சமாளிக்க அனுமதித்தது.

ஹைவ் மூலம், அவர்கள் இப்போது பின்வருவனவற்றைச் செய்ய முடிகிறது:



  • அட்டவணைகள் பிரிக்கப்பட்டு வாளி செய்யப்படலாம்
  • திட்ட நெகிழ்வுத்தன்மை மற்றும் பரிணாமம்
  • JDBC / ODBC இயக்கிகள் கிடைக்கின்றன
  • ஹைவ் அட்டவணைகளை எச்.டி.எஃப்.எஸ் இல் நேரடியாக வரையறுக்கலாம்
  • விரிவாக்கக்கூடியவை - வகைகள், வடிவங்கள், செயல்பாடுகள் மற்றும் ஸ்கிரிப்ட்கள்

ஹெல்த்கேரில் ஹைவ் யூஸ் கேஸ்:

ஹைவ் எங்கே பயன்படுத்துவது?

அப்பாச்சி ஹைவ் பின்வரும் இடங்களில் பயன்படுத்தப்படலாம்:

  • டேட்டா மைனிங்
  • பதிவு செயலாக்கம்
  • ஆவண அட்டவணைப்படுத்தல்
  • வணிக நுண்ணறிவை எதிர்கொள்ளும் வாடிக்கையாளர்
  • முன்கணிப்பு மாடலிங்
  • அனுமான சோதனை

ஹைவ் கட்டிடக்கலை:

ஹைவ் பின்வரும் முக்கிய கூறுகளைக் கொண்டுள்ளது:

  • மெட்டாஸ்டோர் - மெட்டாடேட்டாவை சேமிக்க.
  • JDBC / ODBC - SQL வினவல்களை MapReduce இன் வரிசையாக மாற்ற வினவல் தொகுப்பி மற்றும் செயல்படுத்தல் இயந்திரம்.
  • SerDe மற்றும் ObjectInspectors - தரவு வடிவங்கள் மற்றும் வகைகளுக்கு.
  • யுடிஎஃப் / யுடிஏஎஃப் - பயனர் வரையறுக்கப்பட்ட செயல்பாடுகளுக்கு.
  • வாடிக்கையாளர்கள் - MySQL கட்டளை வரி மற்றும் வலை UI போன்றது.

ஹைவ் கூறுகள்:

மெட்டாஸ்டோர்:

அட்டவணைகள், பகிர்வுகள், நெடுவரிசைகள் பற்றிய தகவல்களை மெட்டாஸ்டோர் சேமிக்கிறது. மெட்டாஸ்டோரில் சேமிக்க 3 வழிகள் உள்ளன: உட்பொதிக்கப்பட்ட மெட்டாஸ்டோர், லோக்கல் மெட்டாஸ்டோர் மற்றும் ரிமோட் மெட்டாஸ்டோர். பெரும்பாலும், ரிமோட் மெட்டாஸ்டோர் உற்பத்தி முறையில் பயன்படுத்தப்படும்.

mysql workbench ஐ எவ்வாறு பயன்படுத்துவது

ஹைவ் வரம்புகள்:

ஹைவ் பின்வரும் வரம்புகளைக் கொண்டுள்ளது மற்றும் அத்தகைய சூழ்நிலைகளில் பயன்படுத்த முடியாது:

  • ஆன்லைன் பரிவர்த்தனை செயலாக்கத்திற்காக வடிவமைக்கப்படவில்லை.
  • ஊடாடும் தரவு உலாவலுக்கான ஏற்றுக்கொள்ளக்கூடிய தாமதத்தை வழங்குகிறது.
  • நிகழ்நேர வினவல்கள் மற்றும் வரிசை நிலை புதுப்பிப்புகளை வழங்காது.
  • ஹைவ் வினவல்களுக்கான தாமதம் பொதுவாக மிக அதிகம்.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் அவற்றைக் குறிப்பிடுங்கள், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.

தொடர்புடைய இடுகைகள்:

ஹைவ் கட்டளைகள்