இந்த அப்பாச்சி ஸ்கூப் டுடோரியலுடன் தொடங்குவதற்கு முன், ஒரு படி பின்வாங்குவோம். எங்கள் முந்தைய வலைப்பதிவில் நாங்கள் விவாதித்தபடி, தரவு உட்கொள்வதன் முக்கியத்துவத்தை நீங்கள் நினைவுபடுத்த முடியுமா? அப்பாச்சி ஃப்ளூம் . இப்போது, அப்பாச்சி ஃப்ளூம் என்பது கட்டமைக்கப்படாத மூலங்களுக்கான தரவு உட்கொள்ளும் கருவி என்று எங்களுக்குத் தெரியும், ஆனால் நிறுவனங்கள் அவற்றின் செயல்பாட்டுத் தரவை தொடர்புடைய தரவுத்தளங்களில் சேமிக்கின்றன. எனவே, தொடர்புடைய தரவுத்தளங்களிலிருந்து தரவை இறக்குமதி செய்து ஏற்றுமதி செய்யக்கூடிய ஒரு கருவியின் தேவை இருந்தது. இதனால்தான் அப்பாச்சி ஸ்கூப் பிறந்தார். ஸ்கூப் எளிதில் ஹடூப்புடன் ஒன்றிணைந்து, எச்.டி.எஃப்.எஸ் இல் உள்ள தொடர்புடைய தரவுத்தளங்களிலிருந்து கட்டமைக்கப்பட்ட தரவை டம்ப் செய்து, ஹடூப்பின் சக்தியைப் பாராட்டுகிறது. இதனால்தான், அப்பாச்சி ஸ்கூப் மற்றும் ஃப்ளூம் பற்றிய நல்ல அறிவை கட்டாயப்படுத்துகிறது.
ஆரம்பத்தில், ஸ்கூப் கிளவுட்ராவால் உருவாக்கப்பட்டது மற்றும் பராமரிக்கப்பட்டது. பின்னர், 23 ஜூலை 2011 அன்று, அப்பாச்சியால் அது அடைகாக்கப்பட்டது. ஏப்ரல் 2012 இல், ஸ்கூப் திட்டம் அப்பாச்சியின் உயர்மட்ட திட்டமாக விளம்பரப்படுத்தப்பட்டது.
இந்த அப்பாச்சி ஃப்ளூம் டுடோரியல் வலைப்பதிவில், நாங்கள் உள்ளடக்குவோம்:
- ஸ்கூப் அறிமுகம்
- ஏன் ஸ்கூப்
- ஸ்கூப் அம்சங்கள்
- ஃப்ளூம் Vs ஸ்கூப்
- ஸ்கூப் கட்டிடக்கலை & வேலை
- ஸ்கூப் கட்டளைகள்
ஜாவாவில் டோஸ்ட்ரிங் என்றால் என்ன
அப்பாச்சி ஸ்கூப்பை அறிமுகப்படுத்துவதன் மூலம் இந்த அப்பாச்சி ஸ்கூப் டுடோரியலைத் தொடங்குவோம். பின்னர் முன்னேறும்போது, அப்பாச்சி ஸ்கூப்பைப் பயன்படுத்துவதன் நன்மைகளைப் புரிந்துகொள்வோம்.
அப்பாச்சி ஸ்கூப் பயிற்சி: ஸ்கூப் அறிமுகம்
பொதுவாக, பயன்பாடுகள் RDBMS ஐப் பயன்படுத்தி தொடர்புடைய தரவுத்தளத்துடன் தொடர்பு கொள்கின்றன, இதனால் இது பெரிய தரவு உருவாக்கும் மிக முக்கியமான ஆதாரங்களில் ஒன்றாக தொடர்புடைய தரவுத்தளங்களை உருவாக்குகிறது. இத்தகைய தரவு தொடர்புடைய கட்டமைப்பில் RDB சேவையகங்களில் சேமிக்கப்படுகிறது. இங்கே, அப்பாச்சி ஸ்கூப் ஒரு முக்கிய பங்கு வகிக்கிறது , தொடர்புடைய தரவுத்தள சேவையகம் மற்றும் HDFS க்கு இடையில் சாத்தியமான தொடர்புகளை வழங்குகிறது.
எனவே, அப்பாச்சி ஸ்கூப் ஒரு கருவி இது இடையில் தரவை மாற்ற வடிவமைக்கப்பட்டுள்ளது HDFS (ஹடூப் சேமிப்பிடம்) மற்றும் MySQL, ஆரக்கிள் RDB, SQLite, Teradata, Netezza, Postgres போன்ற தொடர்புடைய தரவுத்தள சேவையகங்கள். அப்பாச்சி ஸ்கூப் தொடர்புடைய தரவுத்தளங்களிலிருந்து தரவை HDFS க்கு இறக்குமதி செய்கிறது, மேலும் HDFS இலிருந்து தரவை தொடர்புடைய தரவுத்தளங்களுக்கு ஏற்றுமதி செய்கிறது. இது நிறுவன தரவுக் கிடங்குகள், தொடர்புடைய தரவுத்தளங்கள் போன்ற ஹடூப் மற்றும் வெளிப்புற தரவுக் கடைகளுக்கு இடையில் மொத்தத் தரவை திறம்பட மாற்றுகிறது.
ஸ்கூப் அதன் பெயரைப் பெற்றது - “ SQ எல் டு ஹாட் திறந்த & SQL க்கு ஹடூப் ”.
கூடுதலாக, வெளிப்புற தரவுத்தளங்களிலிருந்து தரவை ஹடூப் சுற்றுச்சூழல் அமைப்பின் கருவிகளில் இறக்குமதி செய்ய ஸ்கூப் பயன்படுத்தப்படுகிறது ஹைவ் & HBase .
இப்போது, அப்பாச்சி ஸ்கூப் என்றால் என்ன என்று எங்களுக்குத் தெரியும். எனவே, எங்கள் அப்பாச்சி ஸ்கூப் டுடோரியலில் முன்னேறுவோம், ஏன் ஸ்கூப் நிறுவனங்களால் பரவலாகப் பயன்படுத்தப்படுகிறது என்பதைப் புரிந்துகொள்வோம்.
அப்பாச்சி ஸ்கூப் பயிற்சி: ஏன் ஸ்கூப்?
ஹடூப் டெவலப்பருக்கு, HDFS இல் தரவு ஏற்றப்பட்ட பிறகு உண்மையான விளையாட்டு தொடங்குகிறது. HDFS இல் சேமிக்கப்பட்ட தரவுகளில் மறைந்திருக்கும் பல்வேறு நுண்ணறிவுகளைப் பெறுவதற்காக அவர்கள் இந்தத் தரவைச் சுற்றி விளையாடுகிறார்கள்.
எனவே, இந்த பகுப்பாய்விற்கு, தொடர்புடைய தரவுத்தள மேலாண்மை அமைப்புகளில் வசிக்கும் தரவு HDFS க்கு மாற்றப்பட வேண்டும். எழுதும் பணி தொடர்புடைய தரவுத்தளத்திலிருந்து எச்டிஎஃப்எஸ் வரை தரவை இறக்குமதி செய்வதற்கும் ஏற்றுமதி செய்வதற்கும் குறியீடு சுவாரஸ்யமற்றது மற்றும் கடினமானது. அப்பாச்சி ஸ்கூப் மீட்க வந்து அவர்களின் வலியை நீக்குவது இங்குதான். தரவை இறக்குமதி செய்யும் மற்றும் ஏற்றுமதி செய்யும் செயல்முறையை இது தானியங்குபடுத்துகிறது.
தரவை இறக்குமதி செய்வதற்கும் ஏற்றுமதி செய்வதற்கும் CLI ஐ வழங்குவதன் மூலம் ஸ்கூப் டெவலப்பர்களின் வாழ்க்கையை எளிதாக்குகிறது. தரவுத்தள அங்கீகாரம், மூல, இலக்கு, செயல்பாடுகள் போன்ற அடிப்படை தகவல்களை அவர்கள் வழங்க வேண்டும். மீதமுள்ள பகுதியை இது கவனித்துக்கொள்கிறது.
ஸ்கூப் உள்நாட்டில் கட்டளையை MapReduce பணிகளாக மாற்றுகிறது, பின்னர் அவை HDFS வழியாக செயல்படுத்தப்படுகின்றன. தரவை இறக்குமதி செய்ய மற்றும் ஏற்றுமதி செய்ய இது YARN கட்டமைப்பைப் பயன்படுத்துகிறது, இது இணையான தன்மையின் மேல் தவறான சகிப்புத்தன்மையை வழங்குகிறது.
இந்த ஸ்கூப் டுடோரியல் வலைப்பதிவில் முன்னேறி, ஸ்கூப்பின் முக்கிய அம்சங்களை நாங்கள் புரிந்துகொள்வோம், பின்னர் அப்பாச்சி ஸ்கூப் கட்டமைப்பிற்கு செல்வோம்.
அப்பாச்சி ஸ்கூப் டுடோரியல்: ஸ்கூப்பின் முக்கிய அம்சங்கள்
ஸ்கூப் போன்ற பல முக்கிய அம்சங்களை வழங்குகிறது:
- முழு சுமை : அப்பாச்சி ஸ்கூப் முழு அட்டவணையையும் ஒரே கட்டளையால் ஏற்ற முடியும். ஒற்றை கட்டளையைப் பயன்படுத்தி தரவுத்தளத்திலிருந்து அனைத்து அட்டவணைகளையும் ஏற்றலாம்.
- அதிகரிக்கும் ஏற்றவும் : அப்பாச்சி ஸ்கூப் அதிகரிக்கும் சுமைக்கான வசதியையும் வழங்குகிறது, அங்கு அட்டவணை புதுப்பிக்கப்படும் போதெல்லாம் அதை ஏற்றலாம்.
- இணை இறக்குமதி ஏற்றுமதி : தரவை இறக்குமதி செய்ய மற்றும் ஏற்றுமதி செய்ய ஸ்கூப் YARN கட்டமைப்பைப் பயன்படுத்துகிறது, இது இணையான தன்மையின் மேல் தவறான சகிப்புத்தன்மையை வழங்குகிறது.
- இறக்குமதி முடிவுகள் of SQL வினவல் : HDFS இல் ஒரு SQL வினவலில் இருந்து பெறப்பட்ட முடிவையும் நீங்கள் இறக்குமதி செய்யலாம்.
- சுருக்க : - கம்ப்ரெஸ் வாதத்துடன் டிஃப்ளேட் (ஜிஜிப்) வழிமுறையைப் பயன்படுத்துவதன் மூலம் அல்லது -கம்ப்ரெஷன்-கோடெக் வாதத்தைக் குறிப்பிடுவதன் மூலம் உங்கள் தரவை சுருக்கலாம். சுருக்கப்பட்ட அட்டவணையையும் நீங்கள் ஏற்றலாம் அப்பாச்சி ஹைவ் .
- இணைப்பிகள் க்கு அனைத்தும் முக்கிய ஆர்.டி.பி.எம்.எஸ் தரவுத்தளங்கள் : அப்பாச்சி ஸ்கூப் பல RDBMS தரவுத்தளங்களுக்கான இணைப்புகளை வழங்குகிறது, இது கிட்டத்தட்ட முழு சுற்றளவையும் உள்ளடக்கியது.
- கெர்பரோஸ் பாதுகாப்பு ஒருங்கிணைப்பு : கெர்பரோஸ் என்பது ஒரு கணினி நெட்வொர்க் அங்கீகார நெறிமுறையாகும், இது பாதுகாப்பற்ற நெட்வொர்க்கில் தொடர்பு கொள்ளும் முனைகள் ஒருவருக்கொருவர் தங்கள் அடையாளத்தை பாதுகாப்பான முறையில் நிரூபிக்க அனுமதிக்க ‘டிக்கெட்’ அடிப்படையில் செயல்படுகிறது. கெர்பரோஸ் அங்கீகாரத்தை ஸ்கூப் ஆதரிக்கிறது.
- ஏற்றவும் தகவல்கள் நேரடியாக க்குள் HIVE / HBase : நீங்கள் தரவை நேரடியாக ஏற்றலாம் அப்பாச்சி ஹைவ் பகுப்பாய்விற்காகவும், உங்கள் தரவை HBase இல் கொட்டவும், இது NoSQL தரவுத்தளமாகும்.
- ஆதரவு க்கு குவிப்பு : எச்.டி.எஃப்.எஸ் இல் உள்ள ஒரு கோப்பகத்தை விட அக்யூமுலோவில் அட்டவணையை இறக்குமதி செய்ய ஸ்கூப்பை நீங்கள் அறிவுறுத்தலாம்.
இந்த நன்மைகளுடன் அப்பாச்சி ஸ்கூப்பை மேம்படுத்தும் கட்டிடக்கலை ஒன்றாகும். இப்போது, அப்பாச்சி ஸ்கூப்பின் அம்சங்களை நாங்கள் அறிந்திருப்பதால், மேலே சென்று அப்பாச்சி ஸ்கூப்பின் கட்டிடக்கலை மற்றும் செயல்பாட்டைப் புரிந்துகொள்வோம்.
அப்பாச்சி ஸ்கூப் பயிற்சி: ஸ்கூப் கட்டிடக்கலை மற்றும் வேலை
கீழேயுள்ள வரைபடத்தைப் பயன்படுத்தி அப்பாச்சி ஸ்கூப் எவ்வாறு செயல்படுகிறது என்பதைப் புரிந்துகொள்வோம்:
இறக்குமதி கருவி RDBMS இலிருந்து HDFS க்கு தனிப்பட்ட அட்டவணையை இறக்குமதி செய்கிறது. ஒரு அட்டவணையில் உள்ள ஒவ்வொரு வரிசையும் HDFS இல் ஒரு பதிவாக கருதப்படுகிறது.
நாங்கள் ஸ்கூப் கட்டளையைச் சமர்ப்பிக்கும்போது, எங்கள் முக்கிய பணி துணைப் பணிகளாகப் பிரிக்கப்படுகிறது, இது தனிப்பட்ட வரைபட பணியால் உள்நாட்டில் கையாளப்படுகிறது. வரைபட பணி என்பது துணை பணி, இது தரவின் ஒரு பகுதியை ஹடூப் சுற்றுச்சூழல் அமைப்புக்கு இறக்குமதி செய்கிறது. கூட்டாக, அனைத்து வரைபட பணிகளும் முழு தரவையும் இறக்குமதி செய்கின்றன.
ஏற்றுமதியும் இதேபோல் செயல்படுகிறது.
ஏற்றுமதி கருவி HDFS இலிருந்து ஒரு RDBMS க்கு மீண்டும் கோப்புகளை ஏற்றுமதி செய்கிறது. ஸ்கூப்பிற்கு உள்ளீடாக கொடுக்கப்பட்ட கோப்புகளில் பதிவுகள் உள்ளன, அவை அட்டவணையில் வரிசைகள் என அழைக்கப்படுகின்றன.
நாங்கள் எங்கள் வேலையைச் சமர்ப்பிக்கும்போது, இது வரைபடப் பணிகளில் மாற்றப்படுகிறது, இது HDFS இலிருந்து தரவின் பகுதியைக் கொண்டுவருகிறது. இந்த துகள்கள் கட்டமைக்கப்பட்ட தரவு இலக்குக்கு ஏற்றுமதி செய்யப்படுகின்றன. இந்த ஏற்றுமதி செய்யப்பட்ட தரவுகளையெல்லாம் இணைத்து, முழு தரவையும் இலக்கில் பெறுகிறோம், இது பெரும்பாலான சந்தர்ப்பங்களில் ஒரு RDBMS (MYSQL / Oracle / SQL Server) ஆகும்.
திரட்டல்களின் போது குறைப்பு கட்டம் தேவை. ஆனால், அப்பாச்சி ஸ்கூப் எந்தவொரு திரட்டலையும் செய்யாத தரவை இறக்குமதி செய்து ஏற்றுமதி செய்கிறது. பயனரால் வரையறுக்கப்பட்ட எண்ணைப் பொறுத்து வரைபட வேலை பல மேப்பர்களைத் தொடங்குகிறது. ஸ்கூப் இறக்குமதிக்கு, ஒவ்வொரு மேப்பர் பணியும் இறக்குமதி செய்யப்பட வேண்டிய தரவின் ஒரு பகுதியுடன் ஒதுக்கப்படும். அதிக செயல்திறனைப் பெற ஸ்கூப் மேப்பர்களிடையே உள்ளீட்டுத் தரவை சமமாக விநியோகிக்கிறது. ஒவ்வொரு மேப்பரும் JDBC ஐப் பயன்படுத்தி தரவுத்தளத்துடன் ஒரு இணைப்பை உருவாக்கி, ஸ்கூப் ஒதுக்கிய தரவின் பகுதியைப் பெற்று, CLI இல் வழங்கப்பட்ட வாதங்களின் அடிப்படையில் HDFS அல்லது ஹைவ் அல்லது HBase இல் எழுதுகிறது.
அப்பாச்சி ஸ்கூப்பின் கட்டமைப்பையும் செயல்பாட்டையும் இப்போது புரிந்துகொண்டுள்ளோம், அப்பாச்சி ஃப்ளூமுக்கும் அப்பாச்சி ஸ்கூப்பிற்கும் உள்ள வித்தியாசத்தைப் புரிந்துகொள்வோம்.
அப்பாச்சி ஸ்கூப் பயிற்சி: ஃப்ளூம் Vs ஸ்கூப்
ஃப்ளூமுக்கும் ஸ்கூப்பிற்கும் உள்ள முக்கிய வேறுபாடு என்னவென்றால்:
- ஃப்ளூம் கட்டமைக்கப்படாத தரவு அல்லது அரை கட்டமைக்கப்பட்ட தரவை மட்டுமே எச்.டி.எஃப்.எஸ்.
- ஸ்கூப் RDBMS அல்லது நிறுவன தரவுக் கிடங்குகளிலிருந்து கட்டமைக்கப்பட்ட தரவை HDFS க்கு இறக்குமதி செய்யலாம் மற்றும் ஏற்றுமதி செய்யலாம்.
இப்போது, எங்கள் அப்பாச்சி ஸ்கூப் டுடோரியலில் முன்னேறுவது அப்பாச்சி ஸ்கூப் கட்டளைகளின் வழியாக செல்ல அதிக நேரம்.
அப்பாச்சி ஸ்கூப் பயிற்சி: ஸ்கூப் கட்டளைகள்
ஸ்கூப் - இறக்குமதி கட்டளை
தொடர்புடைய தரவுத்தளங்களிலிருந்து HDFS க்கு அட்டவணையை இறக்குமதி செய்ய இறக்குமதி கட்டளை பயன்படுத்தப்படுகிறது. எங்கள் விஷயத்தில், நாங்கள் MySQL தரவுத்தளங்களிலிருந்து HDFS க்கு அட்டவணையை இறக்குமதி செய்யப் போகிறோம்.
கீழேயுள்ள படத்தில் நீங்கள் காணக்கூடியது போல, எச்டிஎஃப்எஸ்-க்கு நாங்கள் இறக்குமதி செய்யும் ஊழியர்களின் தரவுத்தளத்தில் பணியாளர்கள் அட்டவணை உள்ளது.
அட்டவணையை இறக்குமதி செய்வதற்கான கட்டளை:
சதுரத்தில் நடைமுறை என்ன?
sqoop import --connect jdbc: mysql: // localhost / employees --username edureka --table பணியாளர்கள்
கீழேயுள்ள படத்தில் நீங்கள் காணக்கூடியது போல, இந்த கட்டளையை இயக்கிய பின் வரைபட பணிகள் பின் இறுதியில் செயல்படுத்தப்படும்.
குறியீடு செயல்படுத்தப்பட்ட பிறகு, நீங்கள் HDFS இன் வலை UI ஐ சரிபார்க்கலாம், அதாவது லோக்கல் ஹோஸ்ட்: 50070 தரவு இறக்குமதி செய்யப்படும் இடத்தில்.
ஸ்கூப் - இலக்கு கோப்பகத்துடன் இறக்குமதி கட்டளை
கீழேயுள்ள கட்டளையைப் பயன்படுத்தி HDFS இல் ஒரு குறிப்பிட்ட கோப்பகத்தில் அட்டவணையை இறக்குமதி செய்யலாம்:
sqoop import --connect jdbc: mysql: // localhost / employeess --username edureka --table employees --m 1 --target-dir / employees
பெரும்பாலான தரவுத்தள மூலங்களிலிருந்து இணையாக தரவை ஸ்கூப் இறக்குமதி செய்கிறது. -எம் செயல்படுத்தப்பட வேண்டிய மேப்பர்களின் எண்ணிக்கையைக் குறிப்பிட சொத்து பயன்படுத்தப்படுகிறது.
பெரும்பாலான தரவுத்தள மூலங்களிலிருந்து இணையாக தரவை ஸ்கூப் இறக்குமதி செய்கிறது. பயன்படுத்துவதன் மூலம் இறக்குமதியைச் செய்ய நீங்கள் பயன்படுத்த வேண்டிய வரைபட பணிகளின் எண்ணிக்கையை (இணை செயல்முறைகள்) குறிப்பிடலாம் -எம் அல்லது –நம்-மேப்பர்கள் வாதம். இந்த வாதங்கள் ஒவ்வொன்றும் ஒரு முழு மதிப்பை எடுத்துக்கொள்கின்றன, இது இணையான அளவின் அளவை ஒத்திருக்கிறது.
கோப்பகத்தில் உள்ள கோப்புகளின் எண்ணிக்கையிலிருந்து சுயாதீனமாக மேப்பர்களின் எண்ணிக்கையை நீங்கள் கட்டுப்படுத்தலாம். ஏற்றுமதி செயல்திறன் இணையின் அளவைப் பொறுத்தது. முன்னிருப்பாக, ஏற்றுமதி செயல்முறைக்கு இணையாக ஸ்கூப் நான்கு பணிகளைப் பயன்படுத்தும். இது உகந்ததாக இருக்காது, உங்கள் சொந்த குறிப்பிட்ட அமைப்பை நீங்கள் பரிசோதிக்க வேண்டும். கூடுதல் பணிகள் சிறந்த ஒத்துழைப்பை வழங்கக்கூடும், ஆனால் குறியீடுகளை புதுப்பித்தல், தூண்டுதல்களைத் தூண்டுதல் மற்றும் பலவற்றில் தரவுத்தளம் ஏற்கனவே சிக்கலாக இருந்தால், கூடுதல் சுமை செயல்திறனைக் குறைக்கலாம்.
மேப்பர் பணியின் எண்ணிக்கை 1 என்பதை நீங்கள் கீழே உள்ள படத்தில் காணலாம்.
MySQL அட்டவணைகளை இறக்குமதி செய்யும் போது உருவாக்கப்படும் கோப்புகளின் எண்ணிக்கை உருவாக்கப்பட்ட மேப்பரின் எண்ணிக்கைக்கு சமம்.
ஸ்கூப் - எங்கே பிரிவுடன் இறக்குமதி செய்யுங்கள்
ஸ்கூப் இறக்குமதி கருவியில் உள்ள ‘எங்கே’ பிரிவைப் பயன்படுத்தி அட்டவணையின் துணைக்குழுவை நீங்கள் இறக்குமதி செய்யலாம். இது அந்தந்த தரவுத்தள சேவையகத்தில் தொடர்புடைய SQL வினவலை இயக்கி, முடிவை HDFS இல் இலக்கு கோப்பகத்தில் சேமிக்கிறது. ‘உடன் தரவை இறக்குமதி செய்ய பின்வரும் கட்டளையைப் பயன்படுத்தலாம் எங்கே ' உட்கூறு:
sqoop import --connect jdbc: mysql: // localhost / employeess --username edureka --table employees --m 3 - எங்கும் 'emp_no & gt 49000' --target-dir / Latest_Employees
ஸ்கூப் - அதிகரிக்கும் இறக்குமதி
முன்னர் இறக்குமதி செய்யப்பட்ட சில வரிசைகளை விட புதிய வரிசைகளை மட்டுமே மீட்டெடுக்க ஸ்கூப் அதிகரிக்கும் இறக்குமதி பயன்முறையை வழங்குகிறது. ஸ்கூப் இரண்டு வகையான அதிகரிக்கும் இறக்குமதியை ஆதரிக்கிறது: சேர்க்கவும் மற்றும் கடைசியாக மாற்றியமைக்கப்பட்டது . நிகழ்த்துவதற்கான அதிகரிக்கும் இறக்குமதி வகையைக் குறிப்பிட நீங்கள் - வாத வாதத்தைப் பயன்படுத்தலாம்.
நீங்கள் குறிப்பிட வேண்டும் சேர்க்கவும் அதிகரிக்கும் வரிசை ஐடி மதிப்புகளுடன் புதிய வரிசைகள் தொடர்ந்து சேர்க்கப்படும் அட்டவணையை இறக்குமதி செய்யும் போது பயன்முறை. வரிசையின் ஐடியைக் கொண்ட நெடுவரிசையை நீங்கள் குறிப்பிடுகிறீர்கள் –செக்-நெடுவரிசை . காசோலை நெடுவரிசையில் குறிப்பிடப்பட்டதை விட அதிக மதிப்புள்ள வரிசைகளை ஸ்கூப் இறக்குமதி செய்கிறது –லாஸ்ட்-மதிப்பு .
ஸ்கூப் ஆதரிக்கும் மாற்று அட்டவணை புதுப்பிப்பு உத்தி அழைக்கப்படுகிறது கடைசியாக மாற்றியமைக்கப்பட்டது பயன்முறை. மூல அட்டவணையின் வரிசைகள் புதுப்பிக்கப்படும்போது நீங்கள் இதைப் பயன்படுத்த வேண்டும், மேலும் இதுபோன்ற ஒவ்வொரு புதுப்பிப்பும் கடைசியாக மாற்றியமைக்கப்பட்ட நெடுவரிசையின் மதிப்பை தற்போதைய நேர முத்திரைக்கு அமைக்கும்.
அடுத்தடுத்த இறக்குமதியை இயக்கும்போது, நீங்கள் குறிப்பிட வேண்டும் –லாஸ்ட்-மதிப்பு புதிய அல்லது புதுப்பிக்கப்பட்ட தரவை மட்டுமே இறக்குமதி செய்வதை உறுதிசெய்ய இந்த வழியில். சேமிக்கப்பட்ட வேலையாக அதிகரிக்கும் இறக்குமதியை உருவாக்குவதன் மூலம் இது தானாகவே கையாளப்படுகிறது, இது தொடர்ச்சியான அதிகரிக்கும் இறக்குமதியைச் செய்வதற்கான விருப்பமான வழிமுறையாகும்.
முதலில், எங்கள் HDFS இல் புதுப்பிக்கப்படும் புதிய வரிசையைச் செருகுவோம்.
அதிகரிக்கும் இறக்குமதிக்கான கட்டளை:
sqoop import --connect jdbc: mysql: // localhost / employees --username edureka --table employees --target-dir / Latest_Employees --incremental append --check-column emp_no --last-value 499999
கீழேயுள்ள படத்தில் நீங்கள் காணலாம், புதுப்பிக்கப்பட்ட தரவுடன் புதிய கோப்பு உருவாக்கப்படுகிறது.
ஸ்கூப் - அனைத்து அட்டவணைகளையும் இறக்குமதி செய்க
நீங்கள் அனைத்து அட்டவணைகளையும் RDBMS தரவுத்தள சேவையகத்திலிருந்து HDFS க்கு இறக்குமதி செய்யலாம். ஒவ்வொரு அட்டவணை தரவும் ஒரு தனி கோப்பகத்தில் சேமிக்கப்படும் மற்றும் கோப்பகத்தின் பெயர் அட்டவணை பெயருக்கு சமம். அந்த தரவுத்தளத்தில் உள்ள ஒவ்வொரு அட்டவணையிலும் முதன்மை விசை புலம் இருக்க வேண்டும் என்பது கட்டாயமாகும். ஒரு தரவுத்தளத்திலிருந்து அனைத்து அட்டவணையையும் இறக்குமதி செய்வதற்கான கட்டளை:
c ++ ஜாவா பைதான்
sqoop import-all-table --connect jdbc: mysql: // localhost / employees --username edureka
ஸ்கூப் - பட்டியல் தரவுத்தளங்கள்
ஸ்கூப் பயன்படுத்தி உறவு தரவுத்தளத்தில் இருக்கும் தரவுத்தளங்களை நீங்கள் பட்டியலிடலாம். ஸ்கூப் பட்டியல்-தரவுத்தள கருவி தரவுத்தள சேவையகத்திற்கு எதிராக ‘SHOW DATABASES’ வினவலை பாகுபடுத்தி செயல்படுத்துகிறது. தரவுத்தளங்களை பட்டியலிடுவதற்கான கட்டளை:
sqoop list-databaseases --connect jdbc: mysql: // localhost / --username edureka
ஸ்கூப் - பட்டியல் அட்டவணைகள்
Sqoop ஐப் பயன்படுத்தி MySQL தரவுத்தள சேவையகத்தில் ஒரு குறிப்பிட்ட தரவுத்தளத்தின் அட்டவணைகளையும் பட்டியலிடலாம். ஸ்கூப் பட்டியல்-அட்டவணைகள் கருவி ‘ஷோ டேபிள்கள்’ வினவலை பாகுபடுத்தி செயல்படுத்துகிறது. அட்டவணைகள் பட்டியலிடுவதற்கான கட்டளை ஒரு தரவுத்தளமாகும்:
sqoop பட்டியல்-அட்டவணைகள் - இணைக்க jdbc: mysql: // localhost / employees --username edureka
ஸ்கூப் - ஏற்றுமதி
நாங்கள் மேலே விவாதித்தபடி, நீங்கள் HDFS இலிருந்து RDBMS தரவுத்தளத்திற்கு தரவை ஏற்றுமதி செய்யலாம். இலக்கு அட்டவணை இலக்கு தரவுத்தளத்தில் இருக்க வேண்டும்.தரவு HDFS இல் பதிவுகளாக சேமிக்கப்படுகிறது. இந்த பதிவுகள் பயனர் குறிப்பிட்ட டிலிமிட்டருடன் படிக்கப்பட்டு பாகுபடுத்தப்பட்டு பிரிக்கப்படுகின்றன.INSERT அறிக்கையைப் பயன்படுத்தி உள்ளீட்டு கோப்புகளிலிருந்து தரவுத்தள அட்டவணைக்கு அனைத்து பதிவுகளையும் செருகுவதே இயல்புநிலை செயல்பாடு. புதுப்பிப்பு பயன்முறையில், ஸ்கூப் UPDATE அறிக்கையை உருவாக்குகிறது, இது ஏற்கனவே உள்ள பதிவை தரவுத்தளத்தில் மாற்றுகிறது.
எனவே, முதலில் நாங்கள் ஒரு வெற்று அட்டவணையை உருவாக்குகிறோம், அங்கு எங்கள் தரவை ஏற்றுமதி செய்வோம்.
HDFS இலிருந்து தொடர்புடைய தரவுத்தளத்திற்கு தரவை ஏற்றுமதி செய்வதற்கான கட்டளை:
sqoop export --connect jdbc: mysql: // localhost / employeess --username edureka --table emp --export-dir / user / edureka / பணியாளர்கள்
ஸ்கூப் - கோட்ஜென்
பொருள் சார்ந்த பயன்பாட்டில், ஒவ்வொரு தரவுத்தள அட்டவணையிலும் ஒரு தரவு அணுகல் பொருள் வகுப்பு உள்ளது, அதில் பொருட்களை துவக்க ‘பெறுநர்’ மற்றும் ‘செட்டர்’ முறைகள் உள்ளன. கோட்ஜென் தானாகவே DAO வகுப்பை உருவாக்குகிறது. இது அட்டவணை திட்ட கட்டமைப்பின் அடிப்படையில் ஜாவாவில் DAO வகுப்பை உருவாக்குகிறது.
ஜாவா குறியீட்டை உருவாக்குவதற்கான கட்டளை:
sqoop codegen --connect jdbc: mysql: // localhost / employees --username edureka --table பணியாளர்கள்
குறியீடு உருவாக்கப்படும் மேலே உள்ள படத்தில் பாதையை நீங்கள் காணலாம். பாதையில் சென்று உருவாக்கப்பட்ட கோப்புகளை சரிபார்க்கலாம்.
இந்த வலைப்பதிவு உங்களுக்கு தகவல் மற்றும் கூடுதல் மதிப்பு என்று நம்புகிறேன். மேலும் அறிய நீங்கள் ஆர்வமாக இருந்தால், இதை நீங்கள் செல்லலாம் இது பிக் டேட்டாவைப் பற்றியும், ஹடூப் பிக் டேட்டா தொடர்பான சவால்களை எவ்வாறு தீர்க்கிறது என்பதையும் உங்களுக்குக் கூறுகிறது.
இப்போது நீங்கள் அப்பாச்சி ஸ்கூப்பைப் புரிந்து கொண்டீர்கள், பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி எச்டிஎஃப்எஸ், நூல், மேப்ரூட், பன்றி, ஹைவ், எச் பேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக மாற எடூரெகா பிக் டேட்டா ஹடூப் சான்றிதழ் பயிற்சி பாடநெறி உதவுகிறது.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.