பெரிய தரவு தொழில் முன்னோக்கி சரியான வழி. ஏன் தெரியுமா!

நீங்கள் ஏற்கனவே வந்திருந்தால் தகவல் தொழில்நுட்பத் துறை , நீங்கள் அதை அறிந்திருக்க வேண்டும் பெரிய தரவு அன்றைய பேச்சு. புதுமையான வணிக மாதிரிகளுடன் வரும் புதிய தொடக்க நிறுவனங்கள் அல்லது உங்கள் சகாக்கள் அந்த தொடக்கங்களில் சேர சில காரணங்களால், இன்றைய தினம் பசுமையான மேய்ச்சல் நிலங்கள் என்று தெரிகிறது பெரிய தரவு தொழில்.

ஏன் என்று நீங்கள் யோசிக்கிறீர்கள் என்றால், இதை ஒரு இறுதி வரை படிக்க பரிந்துரைக்கிறேன், ஏனெனில் இது ஒரு சுய ஆய்வு வலைப்பதிவாக இருக்கக்கூடும், மேலும் நீங்கள் எதற்காக விதிக்கப்படுகிறீர்கள் என்பதற்கு இது உங்களை வழிநடத்தும்.

எனவே, ஏன் இதெல்லாம்ஹைப்சுற்றியுள்ள பெரிய தரவு?

c ++ நிரலில் ஒரு வரிசையை வரிசைப்படுத்துகிறது

இது மற்ற எல்லா களங்களிலிருந்தும் தற்காலிக அடிப்படையில் அகதிகளை தரையிறக்கும் மற்றொரு களமா? அல்லது, நீண்ட காலத்திற்கு இது இங்கே இருக்குமா?

நான் ஒரு யூகத்தை எடுத்துக் கொண்டால், அது நீண்ட காலத்திற்கு இங்கு இருக்கப் போகிறது என்பது மட்டுமல்லாமல், பிக் டேட்டா தொழில் தொழில்நுட்ப முன்னேற்றத்தின் மையமாக இருக்கப் போகிறது என்று நான் கூறுவேன்.

ஏனென்றால் எல்லாமேதகவல்கள்!

சூரியனைப் போலஉயர்கிறதுஇருந்துகிழக்குமற்றும்செட்இல்மேற்கு, கம்ப்யூட்டிங் / கம்ப்யூட்டிங் அல்லாத சாதனங்களின் தொடர்ச்சியான பயன்பாடு நிர்வகிக்க முடியாத தரவின் வெடிப்புக்கு வழிவகுக்கும்.

இந்தத் தரவு எக்செல் அல்லது எந்த தரவுத்தள மேலாண்மை அமைப்பால் கையாளப்படும் வரம்பைக் கடக்கும்போது, ​​நாங்கள் அதைக் குறிப்பிடுகிறோம் பெரிய தரவு .

சிந்தியுங்கள், அமேசானிலிருந்து நீங்கள் கடைசியாக வாங்கிய தயாரிப்பு எது? கடந்தகால செயல்பாட்டின் அடிப்படையில் நீங்கள் வாங்கக்கூடிய அடுத்த தயாரிப்பு எது? இதுபோன்ற கேள்விகளுக்கான பதில்கள் பெரிய தரவுகளில் சேமிக்கப்படுகின்றன.

ஒரு தயாரிப்புக்குப் பின்னால் வளர்ந்து வரும் போக்கு இருக்கிறதா? அல்லது, குறைந்துவரும் போக்கு இருக்கிறதா? ஒரு வாடிக்கையாளர் ‘ஷூஸ்’ வாங்கும்போது ‘ஸ்டாக்கிங்ஸ்’ வாங்குவாரா? இவை வணிக சிக்கல் தீர்க்கும் கேள்விகள்.

மேலும், இந்த கேள்விகள் எளிதாக இருக்கும் பதிலளித்தார் பயன்படுத்தி பெரிய தரவு பகுப்பாய்வு .

எல்லாவற்றிற்கும் மேலாக, நீங்கள் இல்லாதபோது தரவின் பயன்பாடு என்ன பகுப்பாய்வு அது?

எனவே, பிக் டேட்டாமுற்றிலும் பற்றிபகுப்பாய்வு?முழுமையாக இல்லை, ஆனால் அனலிட்டிக்ஸ் என்பது அல்டிமேட் பரிசு.

பெரிய தரவுகளில் உள்ள பிற முக்கிய நீரோடைகள்சேமிப்புமற்றும்மேலாண்மை.

ஒரு தொழில்முறை நிபுணராக நீங்கள் பங்களிக்கக்கூடிய இடம் இது. இரண்டின் பங்கை நீங்கள் ஏற்றுக்கொள்ளலாம்:

1. பெரிய தரவு பொறியாளர்
2. பெரிய தரவு தீர்வு கட்டிடக் கலைஞர்

உருவாக்கப்படும் பெரிய தரவு எப்போதும் கிடைக்கிறது என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள், மேலும் இது பிற்காலத்தில் பகுப்பாய்வுகளுக்குப் பயன்படுத்தப்படலாம். எனவே இது எங்களை கேள்வி & நரகத்திற்கு கொண்டு வருகிறது

பெரிய தரவு எங்கே சேமிக்கப்படுகிறது?

அதை ஒரு இல் சேமிக்க முடியுமா?எக்செல் கோப்பு? இதை ஒரு இல் சேமிக்க முடியுமா?தொடர்புடைய தரவுத்தள அமைப்பு?

இல்லவே இல்லை!
அது இருந்திருந்தால், அது இருந்திருக்கும்!

எல்லாவற்றையும் ஒன்றாக வித்தியாசமாக அழைக்கவும். போன்ற ஏதாவது இருக்கலாம்எக்செல்-தரவுஅல்லதுRDBMS- தரவு: டி

அது நம்மை மீண்டும் அழைத்துச் செல்லும் படி 1 : - எக்செல் பயன்படுத்தி ஏன் பெரிய தரவை நிர்வகிக்க முடியாது? ஏனெனில்எக்செல் கையாள பெரிய தரவு மிகவும் சூடாக உள்ளது. உண்மையில் மற்ற தரவுத்தள மேலாண்மை அமைப்புகள் கூட.

எனவே, மாற்று என்ன?

fibonacci series c ++

பெரிய தரவைக் கையாள, எங்களிடம் உள்ளது ஹடூப் . இந்த வார்த்தையையும் நீங்கள் அறிந்திருக்கலாம். ஆனால், நீங்கள் யோசித்துக்கொண்டிருக்கலாம், இது எவ்வாறு சரியாக வேலை செய்கிறது?

தொடக்கக்காரர்களுக்கு, HADOOP என்பது ஒரு தயாரிப்புஅப்பாச் அறக்கட்டளை. அப்பாச்சி என்பது ஒரு அமெரிக்க இலாப நோக்கற்ற அமைப்பாகும், இது திறந்த மூல மென்பொருளின் வளர்ச்சியை ஆதரிக்கிறது.

ஹடூப் ஒரு திறந்த மூல ஜாவா அடிப்படையிலான நிரலாக்க கட்டமைப்பாக வரையறுக்கப்படுகிறது, இது விநியோகிக்கப்பட்ட கணினி சூழலில் மிகப் பெரிய தரவுத் தொகுப்புகளை செயலாக்குவதற்கும் சேமிப்பதற்கும் துணைபுரிகிறது.

ஹடூப் என்ன செய்ய முடியும், ஆனால் எக்செல் முடியாது?

கட்டமைக்கப்படாத தரவை செயலாக்கி புரிந்து கொள்ளுங்கள்!அட்டவணை வடிவத்தில் அல்லது வேறுவிதமாக கட்டமைக்கப்பட்ட தரவை எளிதாகக் கையாள முடியும். எக்செல் அதைச் செய்ய முடியும், மேலும் வேறு எந்த ஆர்.டி.பி.எம்.எஸ்.

ஆனால் வாசிப்புத்திறன் குறையும் போது, ​​தரவு கட்டமைக்கப்படாமல் இருக்கும்போது, ​​அங்குதான் பெரிய தரவுஹடூப் போன்ற கருவிகள்மதிப்பெண். கட்டமைக்கப்படாத தரவுகளின் எடுத்துக்காட்டு syslog . ஒரு மாதிரி படம் கீழே உள்ளது.

இத்தகைய பதிவுகள் நிச்சயமாக எக்செல் பயன்படுத்தி வினவ முடியாது.

பிக் டேட்டா கருவிகளைப் போலவே ஹடூப்பும் தரவைப் புரிந்துகொள்வதன் மூலம், வடிவங்களைக் கண்டுபிடித்து, பல்வேறு துறைகளுக்கு இடையிலான உறவுகளை உருவாக்குவதன் மூலம் புரிந்து கொள்ள முடியும். தரவு ஒரு தொடர்புடைய தொடர்பைக் கொண்டவுடன், அதுபகுப்பாய்வு-தயார்.

அனலிட்டிக்ஸ் என்பது ஒரு நிறுவனத்தில் வணிக தாக்கத்தை ஏற்படுத்தும்! இந்த பெரிய தரவு களத்தில் அதன் ஈடுபாட்டால் உங்கள் வாழ்க்கை பெரும்பாலும் பயனடைகிறது.

' நான் அதை ஒரு ஹடூப்-எர் ஆக உருவாக்க முடியுமா? '

… உங்கள் மனதில் அடுத்த கேள்வியாக இருக்கலாம். சரியாக நினைத்தால், பிக் டேட்டா என்பது எப்போதும் இல்லாத அளவுக்கு சூடாகவும், எப்போதும் போலவே முக்கியமானதாகவும் இருக்கும் ஒரு சந்தை.

ஹடூப் இல்லாமல், பிக் டேட்டாவைக் கையாள்வதில் நிறுவனங்களுக்கு கடினமான நேரம் இருக்கும். உங்களைப் போன்ற திறமையான தொழில் வல்லுநர்கள் இல்லாமல், நிறுவனங்கள் ஹடூப்பைக் கையாள்வதில் கடினமான நேரம் இருக்கும்.

இந்த களத்தில் திறமை பற்றாக்குறை இருப்பதாக ஒரு அறிக்கை உள்ளது. டேலண்ட் பற்றாக்குறை என்றால், குறைந்த தொழில் வல்லுநர்கள் ஆனால் அதிக தேவை. இது உலக அளவில் உள்ளது மற்றும் ஒரு குறிப்பிட்ட புவியியலுடன் மட்டுப்படுத்தப்படவில்லை.

உங்களுக்கு எண்கள் வேண்டுமா?

TO மெக்கின்சி குளோபல் நிறுவனம் சுமார் 190,000 தரவு விஞ்ஞானிகள் மற்றும் 1.5 மில்லியன் மேலாளர்கள் மற்றும் ஆய்வாளர்களின் பற்றாக்குறையை அமெரிக்கா எதிர்கொள்ளும் என்று ஆய்வு கூறுகிறது, அவர்கள் 2018 க்குள் பிக் டேட்டாவைப் பயன்படுத்தி புரிந்துகொண்டு முடிவுகளை எடுக்க முடியும்.

உங்களுக்கு தொழில் ஆலோசனை? அலைகள் குறைவாக இருக்கும்போது உலாவவும்!

ஆனால் நீங்கள் தடைசெய்யப்பட்டுள்ளது மட்டும் ஹடூப் ?

உண்மையில் இல்லை. பிக் டேட்டாவை செயலாக்குவதற்கு பல கருவிகள் உள்ளன, மேலும் ஹடூப் சிறந்த ஒன்றாக கருதப்படுகிறது. ஆனால், ஒவ்வொரு முறையும் அல்ல!

ஹடூப் சிறந்த பொருத்தம் இல்லாத நேரங்கள் உள்ளன. எடுத்துக்காட்டாக, நீங்கள் ஒரு தொழில்நுட்பமற்ற நபராக இருந்தால், MapReduce நிரல்களை எழுதுவதில் மிகச் சிறந்தவர் அல்ல.

அத்தகைய சந்தர்ப்பங்களில், நீங்கள் பயன்படுத்தலாம்TALEND, இது MapReduce உடன் நீங்கள் செய்ததைச் செய்ய ஒரு வரைகலை பயனர் இடைமுகத்தை வழங்குகிறது.

ஒரு வரிசை php ஐ எவ்வாறு அச்சிடுவது

எளிமையான ஜாவா குறியீடுகளை எழுத, நீங்கள் பயன்படுத்தலாம்PIG.

பிக் டேட்டாவில் SQL போன்ற கேள்விகளை இயக்க விரும்பினால், பின்னர்HIVEஉபயோகிக்கலாம்.

நீங்கள் ஒரு NoSQL தரவுத்தளத்தில் சேமிக்கப்பட்ட தரவைப் பயன்படுத்த விரும்பினால், பின்னர்HBaseஉபயோகிக்கலாம்.

நிகழ்நேரத்தில் பகுப்பாய்வு செய்ய, நீங்கள் பயன்படுத்தலாம்SPARK.

இவை பிக் டேட்டா கருவிகள், அவை ஹடூப்புடன் கைகோர்த்துச் செல்கின்றன, ஆனாலும் அவை ஹடூப்பை மாற்றுவதில்லை. அவை பெரிய தரவுகளுக்கான ஹடூப் துணை நிரல்கள்.

தவிர, SQOOP, FLUME, OOZIE போன்ற இன்னும் சில கருவிகள் உள்ளன, அவை பல்வேறு வணிக சிக்கல்களைத் தீர்ப்பதற்கான ஹடூப் கட்டமைப்போடு ஒருங்கிணைக்கப்படலாம்.

ஒரு பெரிய தரவு நிபுணராக தொழில் உங்களிடமிருந்து என்ன எதிர்பார்க்கிறது?

தொழில் மிகவும் தேவை பெரிய தரவு கட்டிடக்கலை யார் தங்கள் நிறுவனங்களுக்கு ஒரு இறுதி முதல் பெரிய தரவு தீர்வை உருவாக்க முடியும். பிக் டேட்டா ஆர்கிடெக்ட்ஸ் என்பது முன்னர் குறிப்பிடப்பட்ட அனைத்து கருவிகளிலும் நிபுணத்துவம் பெற்றவர்கள்.

எடுரேகா கற்றவரின் சாட்சியம் இங்கே நிச்சயமாக:

அ எடூரேகாவின் பிக் டேட்டா மற்றும் ஹடூப் சான்றிதழ் பயிற்சியிலிருந்து தொடங்கி, சில்லறை, சமூக மீடியா, விமான போக்குவரத்து, சுற்றுலா, நிதி களத்தில் நிகழ்நேர பயன்பாட்டு நிகழ்வுகளைப் பயன்படுத்தி கற்றவர்களுக்கு எச்.டி.எஃப்.எஸ், நூல், வரைபடம், பன்றி, ஹைவ், ஹெபேஸ், ஓஸி, ஃப்ளூம் மற்றும் ஸ்கூப் ஆகியவற்றில் நிபுணர்களாக ஆக உதவுகிறது. .