பைத்தான் பிக் டேட்டாவில் வேலை செய்ய ஏராளமான நூலகங்களை வழங்குகிறது. குறியீட்டை வளர்ப்பதன் அடிப்படையில் - பிக் டேட்டான பைத்தானைப் பயன்படுத்தி வேறு எந்த நிரலாக்க மொழியையும் விட மிக வேகமாக நீங்கள் வேலை செய்யலாம். இந்த இரண்டு அம்சங்களும் உலகெங்கிலும் உள்ள டெவலப்பர்களுக்கு பைத்தானை பிக் டேட்டா திட்டங்களுக்கான தேர்வு மொழியாக ஏற்றுக்கொள்ள உதவுகின்றன. பைத்தானின் பல்வேறு பயன்பாடுகளுடன் ஆழ்ந்த அறிவைப் பெற, நீங்கள் நேரலைக்கு பதிவு செய்யலாம் 24/7 ஆதரவு மற்றும் வாழ்நாள் அணுகலுடன்.
பைத்தானில் எந்த தரவு வகையையும் கையாள்வது மிகவும் எளிதானது. இதை ஒரு எளிய எடுத்துக்காட்டுடன் நிறுவுவோம். கீழேயுள்ள ஸ்னாப்ஷாட்டில் இருந்து ‘a’ இன் தரவு வகை சரம் என்றும், ‘b’ இன் தரவு வகை முழு எண் என்றும் காணலாம். நல்ல வகை என்னவென்றால், தரவு வகையை கையாளுவது பற்றி நீங்கள் கவலைப்பட தேவையில்லை. பைதான் ஏற்கனவே அதை கவனித்து வருகிறது.
ஜாவாவில் டோஸ்ட்ரிங் எவ்வாறு வேலை செய்கிறது
இப்போது மில்லியன் டாலர் கேள்வி பைத்தானுடன் பிக் டேட்டா அல்லது ஜாவா பிக் டேட்டா?
பெரிய தரவுகளுடன் எந்த நாளிலும் நான் பைத்தானை விரும்புகிறேன், ஏனென்றால் ஜாவாவில் நீங்கள் 200 வரிகள் குறியீட்டை எழுதினால், பைத்தானுடன் 20 வரிகளில் குறியீட்டை என்னால் செய்ய முடியும். சில டெவலப்பர்கள் ஜாவாவின் செயல்திறன் பைத்தானை விட சிறந்தது என்று கூறுகிறார்கள், ஆனால் நீங்கள் பெரிய அளவிலான தரவுகளுடன் (ஜிபி, காசநோய் மற்றும் பலவற்றில்) பணிபுரியும் போது, செயல்திறன் கிட்டத்தட்ட ஒரே மாதிரியாக இருப்பதை நான் கவனித்தேன், அதே நேரத்தில் வளர்ச்சி நேரம் குறைவாக இருக்கும் பிக் டேட்டாவில் பைத்தானுடன் பணிபுரிகிறார்.
பைத்தானைப் பற்றிய சிறந்த விஷயம் என்னவென்றால், தரவுகளுக்கு வரம்பு இல்லை. ஒரு பொருட்கள் வன்பொருள், உங்கள் லேப்டாப், டெஸ்க்டாப் மற்றும் பிற போன்ற எளிய இயந்திரத்துடன் கூட தரவை செயலாக்க முடியும்.
பைடூப் தொகுப்பைப் பயன்படுத்தி ஹடூப்பிற்கான எச்டிஎஃப்எஸ் ஏபிஐ அணுக ஹடூப் வரைபடம் திட்டங்கள் மற்றும் பயன்பாடுகளை எழுத பைதான் பயன்படுத்தப்படலாம்.
பைடூப்பின் மிகப்பெரிய நன்மை எச்டிஎஃப்எஸ் ஏபிஐ ஆகும். இது ஒரு HDFS நிறுவலுடன் இணைக்கவும், கோப்புகளைப் படிக்கவும் எழுதவும் மற்றும் கோப்புகள், கோப்பகங்கள் மற்றும் உலகளாவிய கோப்பு முறைமை பண்புகள் பற்றிய தகவல்களைத் தடையின்றி பெறவும் உங்களை அனுமதிக்கிறது.
PyDoop இன் MapReduce API குறைந்தபட்ச நிரலாக்க முயற்சிகளுடன் பல சிக்கலான சிக்கல்களை தீர்க்க உங்களை அனுமதிக்கிறது. அட்வான்ஸ் மேப் ரெட்யூஸ் கருத்துகளான ‘கவுண்டர்கள்’ மற்றும் ‘ரெக்கார்ட் ரீடர்ஸ்’ பைடூப்பைப் பயன்படுத்தி பைத்தானில் செயல்படுத்தலாம்.
கீழேயுள்ள எடுத்துக்காட்டில், பைத்தானில் எழுதப்பட்ட ஒரு எளிய மேப்ரூட் சொல்-எண்ணிக்கை நிரலை இயக்குவேன், இது உள்ளீட்டு கோப்பில் ஒரு சொல் நிகழும் அதிர்வெண்ணைக் கணக்கிடுகிறது. எனவே கீழே இரண்டு கோப்புகள் உள்ளன - ‘mapper.py’ மற்றும் ‘తగ్గించல்.பை’, இவை இரண்டும் பைத்தானில் எழுதப்பட்டுள்ளன.
படம்: mapper.py
படம் :duccer.py
விண்டோஸ் 10 இல் வகுப்பறை அமைப்பது எப்படி
படம்: MapReduce வேலையை இயக்குதல்
படம்: வெளியீடு
இது மிகவும் அடிப்படை எடுத்துக்காட்டு, ஆனால் நீங்கள் ஒரு சிக்கலான MapReduce நிரலை எழுதும்போது, ஜாவாவில் எழுதப்பட்ட அதே MapReduce நிரலுடன் ஒப்பிடும்போது பைதான் குறியீட்டின் எண்ணிக்கையை 10 மடங்கு குறைக்கும்.
தரவு விஞ்ஞானிகளுக்கு பைதான் ஏன் அர்த்தமுள்ளதாக இருக்கிறது
தரவு விஞ்ஞானியின் அன்றாட பணிகள் தரவை அணுகுவது மற்றும் கையாளுதல், புள்ளிவிவரங்களை கணக்கிடுதல் மற்றும் அந்தத் தரவைச் சுற்றி காட்சி அறிக்கைகளை உருவாக்குதல் போன்ற பல ஒன்றோடொன்று தொடர்புடைய ஆனால் வேறுபட்ட செயல்பாடுகளை உள்ளடக்கியது. முன்கணிப்பு மற்றும் விளக்கமளிக்கும் மாதிரிகளை உருவாக்குதல், கூடுதல் தரவுகளில் இந்த மாதிரிகளை மதிப்பீடு செய்தல், உற்பத்தி முறைகளில் மாதிரிகளை ஒருங்கிணைத்தல் போன்றவையும் பணிகளில் அடங்கும். ஒரு தரவு விஞ்ஞானி ஒரு சராசரி நாளில் செய்யும் எல்லாவற்றிற்கும் பைதான் பல்வேறு வகையான திறந்த மூல நூலகங்களைக் கொண்டுள்ளது.
SciPy (“Sigh Pie” என உச்சரிக்கப்படுகிறது) என்பது கணிதம், அறிவியல் மற்றும் பொறியியல் ஆகியவற்றிற்கான திறந்த மூல மென்பொருளின் பைதான் அடிப்படையிலான சுற்றுச்சூழல் அமைப்பு ஆகும். இன்னும் பல நூலகங்கள் பயன்படுத்தப்படலாம்.
தீர்ப்பு என்னவென்றால், பிக் டேட்டாவுடன் பயன்படுத்த பைதான் சிறந்த தேர்வாகும்.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் அவற்றைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.
தொடர்புடைய இடுகைகள்:
சால்ட்ஸ்டாக் vs பொம்மை Vs செஃப்