இந்த வலைப்பதிவில், ஒரு குறிப்பிட்ட ஹடூப் பதிப்பிற்கு ஸ்பார்க்கை எவ்வாறு உருவாக்குவது என்று பார்ப்போம்.
HIVE மற்றும் YARN உடன் ஸ்பார்க்கை எவ்வாறு உருவாக்குவது என்பதையும் கற்றுக்கொள்வோம்.
குறிப்பு ஜாவா மூலம் மதிப்பு கடந்து செல்லுங்கள்
உங்களிடம் இருப்பதைக் கருத்தில் கொள்ளுங்கள் ஹடூப், ஜே.டி.கே, எம்.வி.என் மற்றும் போ உங்கள் கணினியில் முன்பே நிறுவப்பட்ட மற்றும் முன் கட்டமைக்கப்பட்ட.
திற மொஸில்லா உலாவி மற்றும் பதிவிறக்கு தீப்பொறி கீழே உள்ள இணைப்பைப் பயன்படுத்துதல்.
https://edureka.wistia.com/medias/k14eamzaza/
திறந்த முனையம்.
கட்டளை: tar -xvf பதிவிறக்கங்கள் / தீப்பொறி-1.1.1.tgz
கட்டளை: ls
ஸ்பார்க் -1.1.1 கோப்பகத்தைத் திறக்கவும்.
நீங்கள் திறக்கலாம் pom.xml கோப்பு. இந்த கோப்பு உங்களுக்கு அனைத்து தகவல்களையும் வழங்குகிறது சார்புகள் உனக்கு தேவை.
சிக்கலில் இருந்து விலகி இருக்க அதைத் திருத்த வேண்டாம்.
கட்டளை: சிடி ஸ்பார்க் -1.1.1 /
கட்டளை: sudo gedit sbt / sbt-launch-lib.bash
ஸ்னாப்ஷாட்டை கீழே உள்ள கோப்பைத் திருத்தவும், அதைச் சேமித்து மூடவும்.
கீழே உள்ள ஸ்னாப்ஷாட்டில் குறிப்பிடப்பட்டுள்ளபடி பொருள் குவியல் விண்வெளி சிக்கலைத் தவிர்க்க நினைவகத்தை குறைக்கிறோம்.
இப்போது, HIVO மற்றும் YARN உடன் ஹடூப் 2.2.0 க்கு தீப்பொறியை உருவாக்க முனையத்தில் கீழே உள்ள கட்டளையை இயக்கவும்.
கட்டளை: ./sbt/sbt -P நூல் -பி ஹைவ் -படூப் -2.2 -டி hadoop.version = 2.2.0-டி skipTests சட்டசபை
குறிப்பு: எனது ஹடூப் பதிப்பு 2.2.0, உங்கள் ஹடூப் பதிப்பின் படி அதை மாற்றலாம்.
பிற ஹடூப் பதிப்புகளுக்கு
# அப்பாச்சி ஹடூப் 2.0.5-ஆல்பா
-தாதூப்.வெர்ஷன் = 2.0.5-ஆல்பா
# கிளவுட்ரா சி.டி.எச் 4.2.0
-தாதூப்.வெர்ஷன் = 2.0.0-சி.டி.எச் 4.2.0
# அப்பாச்சி ஹடூப் 0.23.x
-பாடூப் -0.23 -தாடூப்.வெர்ஷன் = 0.23.7
# அப்பாச்சி ஹடூப் 2.3.X
-படூப் -2.3 -தாடூப்.வெர்ஷன் = 2.3.0
# அப்பாச்சி ஹடூப் 2.4. எக்ஸ்
-படூப் -2.4 -தாடூப்.வெர்ஷன் = 2.4.0
தொகுத்தல் மற்றும் பேக்கேஜிங் செய்ய சிறிது நேரம் எடுக்கும், தயவுசெய்து அது முடியும் வரை காத்திருங்கள்.
இரண்டு ஜாடிகள் ஸ்பார்க்-அசெம்பிளி -1.1.1-ஹடூப் 2.2.0.ஜார் மற்றும் ஸ்பார்க்-எடுத்துக்காட்டுகள்-1.1.1-ஹடூப் 2.2.0.ஜார் உருவாக்கப்படுகிறது.
பாதை ஸ்பார்க்-அசெம்பிளி -1.1.1-ஹடூப் 2.2.0.ஜார் : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
பாதை ஸ்பார்க்-எடுத்துக்காட்டுகள்-1.1.1-ஹடூப் 2.2.0.ஜார்: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
வாழ்த்துக்கள், ஹைவ் & நூலுக்காக ஸ்பார்க்கை வெற்றிகரமாக உருவாக்கியுள்ளீர்கள்.
எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் அவற்றைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.
தொடர்புடைய இடுகைகள்:
ஹடூப்புடன் அப்பாச்சி தீப்பொறி-அது ஏன் முக்கியமானது?