பன்முகத் தரவைக் கையாள்வது நிச்சயமாக ஒரு கடினமான பணியாகும், ஆனால் தரவின் அளவு அதிகரிக்கும்போது, அது அதிக சோர்வடைகிறது. இந்தத் தரவை ஒரே மாதிரியான தரவுகளாக மாற்ற ETL கருவிகள் உதவுகின்றன. இப்போது, இந்த மாற்றப்பட்ட தரவு பகுப்பாய்வு செய்து அதிலிருந்து தேவையான தகவல்களைப் பெறுவது எளிது. டேலண்ட் ஈ.டி.எல் இன் இந்த வலைப்பதிவில், பிக் டேட்டாவிலிருந்து மதிப்புமிக்க நுண்ணறிவுகளைப் பயன்படுத்த டேலண்ட் ஒரு ஈ.டி.எல் கருவியாக விதிவிலக்காக எவ்வாறு செயல்படுகிறது என்பதைப் பற்றி பேசுவேன்.
ஹாஷ்மேப்பிற்கும் ஹேஷ்டேபலுக்கும் இடையிலான ஜாவா வேறுபாடு
இந்த டேலண்ட் இடிஎல் வலைப்பதிவில், நான் பின்வரும் தலைப்புகளைப் பற்றி விவாதிப்பேன்:
- ETL செயல்முறை என்றால் என்ன?
- பல்வேறு ETL கருவிகள்
- டேலண்ட் ஈ.டி.எல் கருவி
- டேலண்ட் ஓபன் ஸ்டுடியோ: ஒரு ஈ.டி.எல் வேலை இயங்குகிறது
எங்களுடைய இந்த விரிவான வீடியோ டுடோரியலிலும் நீங்கள் செல்லலாம் நிபுணர் டேலண்ட் ஈ.டி.எல் மற்றும் தரவு செயலாக்கத்தை மிருதுவான எடுத்துக்காட்டுகளுடன் விரிவான முறையில் விளக்குகிறார்.
டேலண்ட் ஈ.டி.எல் டுடோரியல் | டேலண்ட் ஆன்லைன் பயிற்சி | எடுரேகா
ETL செயல்முறை என்றால் என்ன?
ETL என்பது பிரித்தெடுத்தல், உருமாற்றம் மற்றும் சுமை ஆகியவற்றைக் குறிக்கிறது. மூல தரவை அதன் மூலத்திலிருந்து தரவுக் கிடங்கு அல்லது தரவுத்தளத்திற்கு நகர்த்த வேண்டிய மூன்று செயல்முறைகளை இது குறிக்கிறது. இந்த செயல்முறைகள் ஒவ்வொன்றையும் விரிவாக விளக்குகிறேன்:
பிரித்தெடுத்தல்
தரவை பிரித்தெடுப்பது அனைத்து சேமிப்பக அமைப்புகளிலிருந்தும் தரவை அணுகுவதை உள்ளடக்கிய ETL இன் மிக முக்கியமான படியாகும். சேமிப்பக அமைப்புகள் ஆர்.டி.பி.எம்.எஸ், எக்செல் கோப்புகள், எக்ஸ்எம்எல் கோப்புகள், தட்டையான கோப்புகள், ஐஎஸ்ஏஎம் (குறியீட்டு வரிசைமுறை அணுகல் முறை), படிநிலை தரவுத்தளங்கள் (ஐஎம்எஸ்), காட்சித் தகவல் போன்றவையாக இருக்கலாம். மிக முக்கியமான படியாக இருப்பதால், அதை வடிவமைக்க வேண்டும் இது மூல அமைப்புகளை எதிர்மறையாக பாதிக்காது. பிரித்தெடுத்தல் செயல்முறை ஒவ்வொரு பொருளின் அளவுருக்கள் அதன் மூல அமைப்பைப் பொருட்படுத்தாமல் தனித்தனியாக அடையாளம் காணப்படுவதையும் உறுதி செய்கிறது.
உருமாற்றம்
உருமாற்றம் என்பது குழாயின் அடுத்த செயல்முறை. இந்த கட்டத்தில், முழு தரவும் பகுப்பாய்வு செய்யப்பட்டு, தேவையான வடிவமாக மாற்ற பல்வேறு செயல்பாடுகள் அதில் பயன்படுத்தப்படுகின்றன. பொதுவாக, தரவை மாற்றுவதற்குப் பயன்படுத்தப்படும் செயல்முறைகள் மாற்றம், வடிகட்டுதல், வரிசைப்படுத்துதல், தரப்படுத்துதல், நகல்களை அழித்தல், பல்வேறு தரவு மூலங்களின் நிலைத்தன்மையை மொழிபெயர்ப்பது மற்றும் சரிபார்ப்பது.
ஏற்றவும்
ஏற்றுதல் என்பது ETL செயல்முறையின் இறுதி கட்டமாகும். இந்த கட்டத்தில், செயலாக்கப்பட்ட தரவு, அதாவது பிரித்தெடுக்கப்பட்ட மற்றும் மாற்றப்பட்ட தரவு பின்னர் இலக்கு தரவு களஞ்சியத்தில் ஏற்றப்படும், இது பொதுவாக தரவுத்தளங்கள். இந்த படி செய்யும்போது, சுமை செயல்பாடு துல்லியமாக செய்யப்படுவதை உறுதி செய்ய வேண்டும், ஆனால் குறைந்தபட்ச ஆதாரங்களைப் பயன்படுத்துவதன் மூலம். மேலும், ஏற்றும்போது நீங்கள் குறிப்பு ஒருமைப்பாட்டை பராமரிக்க வேண்டும், இதனால் தரவின் நிலைத்தன்மையை நீங்கள் இழக்க மாட்டீர்கள். தரவு ஏற்றப்பட்டதும், நீங்கள் எந்த தரவையும் எடுத்து மற்ற துகள்களுடன் எளிதாக ஒப்பிடலாம்.
ETL செயல்முறையைப் பற்றி இப்போது உங்களுக்குத் தெரியும், இவை அனைத்தையும் எவ்வாறு செய்வது என்று நீங்கள் யோசிக்கிறீர்களா? சரி, ETL கருவிகளைப் பயன்படுத்தி பதில் எளிது. இந்த டேலண்ட் ஈ.டி.எல் வலைப்பதிவின் அடுத்த பகுதியில், கிடைக்கக்கூடிய பல்வேறு ஈ.டி.எல் கருவிகளைப் பற்றி பேசுவேன்.
பல்வேறு ETL கருவிகள்
ஆனால் நான் ஈ.டி.எல் கருவிகளைப் பற்றி பேசுவதற்கு முன், ஒரு ஈ.டி.எல் கருவி என்றால் என்ன என்பதை முதலில் புரிந்துகொள்வோம்.
நான் ஏற்கனவே விவாதித்தபடி, ஈ.டி.எல் என்பது மூன்று தனித்தனி செயல்முறைகள், அவை வெவ்வேறு செயல்பாடுகளைச் செய்கின்றன. இந்த செயல்முறைகள் அனைத்தும் ஒன்றாக இணைக்கப்படும்போது a ஒற்றை நிரலாக்க கருவி இது தரவைத் தயாரிப்பதிலும் பல்வேறு தரவுத்தளங்களை நிர்வகிப்பதிலும் உதவும்.இந்த கருவிகள் வரைகலை இடைமுகங்களைக் கொண்டுள்ளன, இதன் விளைவாக பல்வேறு மூல மற்றும் இலக்கு தரவுத்தளங்களுக்கு இடையில் அட்டவணைகள் மற்றும் நெடுவரிசைகளை மேப்பிங் செய்வதற்கான முழு செயல்முறையையும் துரிதப்படுத்துகிறது.
ETL கருவிகளின் சில முக்கிய நன்மைகள்:
- இது மிகவும் பயன்படுத்த எளிதானது இது நடைமுறைகள் மற்றும் குறியீட்டை எழுதுவதற்கான தேவையை நீக்குகிறது.
- ETL கருவிகள் GUI அடிப்படையிலானவை என்பதால் அவை a காட்சி ஓட்டம் கணினியின் தர்க்கத்தின்.
- ETL கருவிகள் உள்ளமைக்கப்பட்ட பிழை-கையாளுதல் செயல்பாட்டைக் கொண்டுள்ளன, ஏனெனில் அவை உள்ளன செயல்பாட்டு பின்னடைவு .
- பெரிய மற்றும் சிக்கலான தரவைக் கையாளும் போது, ETL கருவிகள் a சிறந்த தரவு மேலாண்மை பணிகளை எளிதாக்குவதன் மூலம் மற்றும் பல்வேறு செயல்பாடுகளுக்கு உங்களுக்கு உதவுவதன் மூலம்.
- ஈ.டி.எல் கருவிகள் பாரம்பரிய அமைப்புகளுடன் ஒப்பிடும்போது மேம்பட்ட சுத்திகரிப்பு செயல்பாடுகளை வழங்குகின்றன.
- ETL கருவிகள் ஒரு மேம்பட்ட வணிக நுண்ணறிவு இது மூலோபாய மற்றும் செயல்பாட்டு முடிவுகளை நேரடியாக பாதிக்கிறது.
- ETL கருவிகளைப் பயன்படுத்துவதால், தி செலவுகள் குறைகிறது நிறைய மற்றும் வணிகங்கள் அதிக வருவாய் ஈட்ட முடியும்.
- செயல்திறன் அதன் தளத்தின் கட்டமைப்பானது உயர்தர தரவுக் கிடங்கு அமைப்பை உருவாக்குவதை எளிதாக்குவதால் ETL கருவிகளின் சிறந்தது.
சந்தையில் பல்வேறு ஈ.டி.எல் கருவிகள் உள்ளன, அவை மிகவும் பிரபலமாக பயன்படுத்தப்படுகின்றன. அவற்றில் சில:
இந்த எல்லா கருவிகளுக்கிடையில், இந்த டேலண்ட் ஈ.டி.எல் வலைப்பதிவில், ஒரு ஈ.டி.எல் கருவியாக டேலண்ட் எப்படி இருக்கிறது என்பதைப் பற்றி பேசுவேன்.
டேலண்ட் ஈ.டி.எல் கருவி
தரவு ஒருங்கிணைப்பிற்கான டேலண்ட் ஓபன் ஸ்டுடியோ சந்தையில் கிடைக்கும் மிக சக்திவாய்ந்த தரவு ஒருங்கிணைப்பு ஈ.டி.எல் கருவியாகும். ஆரம்ப ஈ.டி.எல் வடிவமைப்பிலிருந்து தொடங்கி ஈ.டி.எல் தரவு சுமை செயல்படுத்தப்படும் வரை ஈ.டி.எல் செயல்பாட்டில் ஈடுபட்டுள்ள அனைத்து நடவடிக்கைகளையும் எளிதாக நிர்வகிக்க TOS உங்களை அனுமதிக்கிறது. இந்த கருவி கிரகண வரைகலை மேம்பாட்டு சூழலில் உருவாக்கப்பட்டுள்ளது. டேலண்ட் ஓபன் ஸ்டுடியோ உங்களுக்கு வரைகலை சூழலை வழங்குகிறது, இதன் மூலம் மூலத்திற்கு இடையிலான தரவை இலக்கு அமைப்புக்கு எளிதாக வரைபடமாக்கலாம். நீங்கள் செய்ய வேண்டியது, தட்டுகளில் இருந்து தேவையான கூறுகளை பணியிடத்திற்கு இழுத்து விடுங்கள், அவற்றை உள்ளமைத்து இறுதியாக அவற்றை ஒன்றாக இணைக்கவும். இது ஒரு மெட்டாடேட்டா களஞ்சியத்தை கூட வழங்குகிறது, அங்கு இருந்து உங்கள் வேலையை எளிதாக மீண்டும் பயன்படுத்தலாம் மற்றும் மறு நோக்கம் செய்யலாம். காலப்போக்கில் உங்கள் செயல்திறனையும் உற்பத்தித்திறனையும் அதிகரிக்க இது நிச்சயமாக உதவும்.
இதன் மூலம், DI க்கான டேலண்ட் ஓபன் ஸ்டுடியோ வலுவான இணைப்பு, எளிதான தகவமைப்பு மற்றும் பிரித்தெடுத்தல் மற்றும் உருமாற்ற செயல்முறையின் மென்மையான ஓட்டத்துடன் மேம்பட்ட தரவு ஒருங்கிணைப்பை வழங்குகிறது என்று நீங்கள் முடிவு செய்யலாம்.
இந்த டேலண்ட் ஈ.டி.எல் வலைப்பதிவின் அடுத்த பகுதியில், டேலண்டில் ஈ.டி.எல் செயல்முறையை நீங்கள் எவ்வாறு செய்ய முடியும் என்பதைப் பார்ப்போம்.டேலண்ட் ஓபன் ஸ்டுடியோ: ஒரு ஈ.டி.எல் வேலை இயங்குகிறது
ETL செயல்முறையை நிரூபிக்க, நான் ஒரு எக்செல் கோப்பிலிருந்து தரவைப் பிரித்தெடுப்பேன், வடிகட்டியைப் பயன்படுத்துவதன் மூலம் அதை மாற்றுவேன்க்குதரவு மற்றும் புதிய தரவை ஒரு தரவுத்தளத்தில் ஏற்றும். எனது எக்செல் தரவுத்தொகுப்பின் வடிவம் பின்வருமாறு:
இந்த தரவு தொகுப்பிலிருந்து, வாடிக்கையாளர் வகையின் அடிப்படையில் தரவுகளின் வரிசைகளை வடிகட்டுவேன், அவை ஒவ்வொன்றையும் வேறு தரவுத்தள அட்டவணையில் சேமிப்பேன். இதைச் செய்ய பின்வரும் படிகளைப் பின்பற்றவும்:
படி 1: ஒரு புதிய வேலையை உருவாக்கவும், தட்டில் இருந்து, பின்வரும் கூறுகளை இழுத்து விடுங்கள்:- tMysqlConnection
- tFileExcelInput
- tReplicate
- ( tFilterRow ) எக்ஸ் 4
- ( tMysqlOutput ) எக்ஸ் 4
படி 2: கீழே காட்டப்பட்டுள்ளபடி கூறுகளை ஒன்றாக இணைக்கவும்:
படி 3: TMysqlConnection இன் கூறு தாவலுக்குச் சென்று, ‘சொத்து வகை’ என்பதிலிருந்து நீங்கள் எந்த வகையான இணைப்பை உள்ளமைக்கப்பட்ட அல்லது களஞ்சியத்தைப் பயன்படுத்துகிறீர்கள் என்பதைத் தேர்ந்தெடுக்கவும். நீங்கள் ஒரு உள்ளமைக்கப்பட்ட இணைப்பைப் பயன்படுத்துகிறீர்கள் என்றால், பின்வரும் விவரங்களை நீங்கள் குறிப்பிட வேண்டும்:- தொகுப்பாளர்
- துறைமுகம்
- தரவுத்தளம்
- பயனர்பெயர்
- கடவுச்சொல்
ஆனால் நீங்கள் ஒரு களஞ்சிய இணைப்பைப் பயன்படுத்துகிறீர்கள் என்றால், அது இயல்புநிலையாக களஞ்சியத்திலிருந்து விவரங்களை எடுக்கும்.
பைத்தானில் தசமத்தை பைனரிக்கு மாற்றுவது எப்படிபடி 4: TFileInputExcel இல் இருமுறை சொடுக்கவும், அதன் கூறு தாவலில் உங்கள் மூல கோப்பின் பாதை, 'தலைப்பு' புலத்தில் தலைப்புக்கு பயன்படுத்தப்படும் வரிசைகளின் எண்ணிக்கை மற்றும் 'முதல் நெடுவரிசையில் டேலண்ட் உங்கள் தரவைப் படிக்கத் தொடங்க வேண்டிய நெடுவரிசையின் எண்ணிக்கை ஆகியவற்றைக் குறிப்பிடவும். 'புலம். ‘ஸ்கீமாவைத் திருத்து’ உங்கள் தரவுத்தொகுப்பு கோப்பின் படி ஸ்கீமாவை வடிவமைக்கவும்.
படி 5 :TReplicate இன் கூறு தாவலில், ‘நெடுவரிசைகளை ஒத்திசை’ என்பதைக் கிளிக் செய்க.
படி 6: முதல் tFilterRow இன் கூறு தாவலுக்குச் சென்று ஸ்கீமாவைச் சரிபார்க்கவும். உங்கள் நிபந்தனையின் படி, நீங்கள் நெடுவரிசை (களை) தேர்ந்தெடுத்து செயல்பாடு, ஆபரேட்டர் மற்றும் எந்த தரவை வடிகட்ட வேண்டும் என்பதை குறிப்பிடலாம்.
ஜாவாவுக்கு கிரகணத்தை அமைக்கவும்படி 7: அனைத்து tFilterRow கூறுகளுக்கும் ஒரே மாதிரியாக செய்யவும்.
படி 8: இறுதியாக, tMysqlOutput இன் கூறு தாவலில், ‘ஏற்கனவே உள்ள இணைப்பைப் பயன்படுத்து’ என்பதைக் குறிக்கவும். பின்னர் ‘டேபிள்’ புலத்தில் அட்டவணையின் பெயரைக் குறிப்பிடவும், தேவைக்கேற்ப ‘டேபிள் ஆன் ஆக்சன்’ மற்றும் ‘டேட்டாவில் ஆக்சன்’ என்பதைத் தேர்ந்தெடுக்கவும்.
படி 9: எல்லா tMysqlOutput கூறுகளுக்கும் ஒரே மாதிரியாக செய்யவும்.படி 10: முடிந்ததும், ‘ரன்’ தாவலுக்குச் சென்று வேலையை இயக்கவும்.
டேலண்ட் ஈ.டி.எல் இல் இந்த வலைப்பதிவின் முடிவுக்கு இது நம்மை அழைத்துச் செல்கிறது. இந்த வலைப்பதிவை ஒரு எளிய சிந்தனையுடன் முடிக்கிறேன், அதை நீங்கள் பின்பற்ற வேண்டும்:
'எதிர்காலம் தங்கள் தரவைக் கட்டுப்படுத்தக்கூடியவர்களுக்கு சொந்தமானது'
இந்த டேலண்ட் ஈ.டி.எல் வலைப்பதிவு, தொடர்புடையது, பாருங்கள் உலகெங்கிலும் பரவியுள்ள 250,000 க்கும் மேற்பட்ட திருப்தியான கற்றவர்களின் வலைப்பின்னலுடன் நம்பகமான ஆன்லைன் கற்றல் நிறுவனமான எடுரேகாவால். டிஐ மற்றும் பிக் டேட்டா சான்றிதழ் பயிற்சி பாடத்திற்கான எடுரேகா டேலண்ட் டேலண்ட் மற்றும் பிக் டேட்டா ஒருங்கிணைப்பு தளத்தை மாஸ்டர் செய்ய உதவுகிறது மற்றும் உங்கள் எல்லா தரவையும் உங்கள் தரவுக் கிடங்கு மற்றும் பயன்பாடுகளுடன் எளிதாக ஒருங்கிணைக்க அல்லது அமைப்புகளுக்கு இடையில் தரவை ஒத்திசைக்க உதவுகிறது. எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.