பிருத்விராஜ் போஸ் வழங்கினார்
பெரிய தரவுத்தொகுப்புகளை நிறைவேற்றுபவர்களில் தற்காலிகமாக சேமிக்க வேண்டியிருக்கும் போது ஒளிபரப்பு மாறிகள் பயனுள்ளதாக இருக்கும். இந்த வலைப்பதிவு எவ்வாறு தொடங்குவது என்பதை விளக்குகிறது.
ஒளிபரப்பு மாறிகள் என்றால் என்ன?
அப்பாச்சி ஸ்பார்க்கில் உள்ள ஒளிபரப்பு மாறிகள் என்பது படிக்க மட்டுமேயாக இருக்க வேண்டும் என்று செயல்படுத்துபவர்களிடையே மாறிகளைப் பகிர்வதற்கான ஒரு பொறிமுறையாகும். ஒளிபரப்பு மாறிகள் இல்லாமல் இந்த மாறிகள் ஒவ்வொரு மாற்றத்திற்கும் ஒவ்வொரு செயலுக்கும் அனுப்பப்படும், மேலும் இது பிணைய மேல்நிலைக்கு காரணமாகிறது. இருப்பினும், ஒளிபரப்பு மாறிகள் மூலம், அவை எல்லா நிர்வாகிகளுக்கும் ஒரு முறை அனுப்பப்படுகின்றன, மேலும் அவை எதிர்கால குறிப்புக்காக தற்காலிகமாக சேமிக்கப்படுகின்றன.
ஒளிபரப்பு மாறிகள் வழக்கு பயன்படுத்தவும்
ஒரு உருமாற்றம் செய்யும்போது ஒரு பெரிய ஜிப் குறியீடுகள் / முள் குறியீடுகளைப் பார்க்க வேண்டும் என்று கற்பனை செய்து பாருங்கள். இங்கே, பெரிய பார்வை அட்டவணையை ஒவ்வொரு முறையும் நிறைவேற்றுபவர்களுக்கு அனுப்புவது சாத்தியமில்லை, ஒவ்வொரு முறையும் தரவுத்தளத்தை வினவவும் முடியாது. தீர்வு இந்த தேடல் அட்டவணையை ஒளிபரப்பு மாறிகளாக மாற்றுவதோடு, எதிர்கால குறிப்புக்காக ஸ்பார்க் அதை ஒவ்வொரு நிர்வாகியிலும் கேச் செய்யும்.
ஜாவா ஐடி என்றால் என்ன
மேலே உள்ள கருத்துகளைப் புரிந்துகொள்ள எளிய உதாரணத்தை எடுத்துக் கொள்வோம். நாடுகளின் பெயர்கள் மற்றும் அவற்றின் தலைநகரங்களுடன் ஒரு CSV கோப்பு எங்களிடம் உள்ளது. CSV கோப்பைக் காணலாம் இங்கே .
நாடுகளின் மக்கள்தொகை தரவை நாங்கள் செயலாக்குகிறோம் என்று வைத்துக்கொண்டு, அந்த நாட்டின் மூலதனத்தை நாம் பெற வேண்டும். இந்த வழக்கில் நாம் CSV கோப்பில் உள்ள தரவை ஒளிபரப்பு மாறியாக மாற்றலாம்.
முதலில் நாம் CSV கோப்பை ஒரு வரைபடத்தில் ஏற்றுவோம், கோப்பு கண்டுபிடிக்கப்பட்டால் முறை திரும்பும் சில (நாடுகள்) இல்லையெனில் அது திரும்பும் எதுவுமில்லை .
CSV கோப்பை வெற்றிகரமாக ஏற்றிய பிறகு, வரைபடத்தை ஒரு ஒளிபரப்பு மாறியாக மாற்றி அதை எங்கள் நிரலில் பயன்படுத்துகிறோம்.
திட்ட கொள்முதல் மேலாண்மை என்றால் என்ன
மேலே உள்ள குறியீடு துணுக்கில் CSV கோப்பை ஒரு வரைபடத்தில் ஏற்றுவோம் நாடுகள் பின்னர் அந்த வரைபடத்தை ஒளிபரப்பு மாறியாக மாற்றுவோம் நாடுகள் கேச் . பின்னர், நாம் விசைகளிலிருந்து ஒரு RDD ஐ உருவாக்குகிறோம் நாடுகள் . இல் searchCountryDetails பயனர் வரையறுக்கப்பட்ட கடிதத்துடன் தொடங்கி அனைத்து நாடுகளையும் நாங்கள் தேடும் முறை மற்றும் இந்த முறை நாடுகளின் தலைநகரங்களுடன் ஒரு RDD ஐ வழங்குகிறது. ஒளிபரப்பு மாறி countrieCache தலைநகரங்களைப் பார்க்கப் பயன்படுகிறது.
இந்த வழியில் நாம் தேட வேண்டிய ஒவ்வொரு முறையும் முழு CSV தரவையும் அனுப்ப வேண்டியதில்லை.
க்கான குறியீடு searchCountryDetails கீழே காட்டப்பட்டுள்ளது,
முழு மூலக் குறியீட்டையும் காணலாம் இங்கே .
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துப் பிரிவில் அவற்றைக் குறிப்பிடுங்கள், நாங்கள் உங்களிடம் திரும்புவோம்.
தொடர்புடைய இடுகைகள்: