தீப்பொறி மீது ஹைவ் மற்றும் நூல் எடுத்துக்காட்டுகள்

எப்படி என்று கற்றுக்கொண்டோம் தீப்பொறியில் ஹைவ் மற்றும் நூல் கட்டவும் . இப்போது ஸ்பார்க்கில் ஹைவ் மற்றும் நூல் உதாரணங்களை முயற்சிப்போம்.

தீப்பொறியில் ஹைவ் உதாரணம்

ஹைவ் ஆன் ஸ்பார்க்கின் உதாரணத்தை இயக்குவோம். நாங்கள் ஒரு அட்டவணையை உருவாக்குவோம், அந்த அட்டவணையில் தரவை ஏற்றுவோம் மற்றும் ஒரு எளிய வினவலை இயக்குவோம். ஹைவ் உடன் பணிபுரியும் போது, ​​ஒருவர் கட்டமைக்க வேண்டும் ஹைவ் கான்டெக்ஸ்ட் இது மரபுரிமையாகும் SQLContext .

கட்டளை: சிடி ஸ்பார்க் -1.1.1

கட்டளை: ./bin/spark-shell

உள்ளீட்டு கோப்பை உருவாக்கவும் ‘மாதிரி’ உங்கள் வீட்டு அடைவில் ஸ்னாப்ஷாட் கீழே உள்ளது (தாவல் பிரிக்கப்பட்டுள்ளது).

கட்டளை: val sqlContext = புதிய org.apache.spark.sql.hive.HiveContext (sc)

கட்டளை: sqlContext.sql (“சோதனை இல்லாவிட்டால் அட்டவணையை உருவாக்கவும் (பெயர் STRING, தரவரிசை INT) வரிசை வடிவமைப்பு வரையறுக்கப்பட்ட ஃபைல்ட்ஸ்‘ ‘வரையறுக்கப்பட்ட கோடுகள்‘
‘”)

கட்டளை: sqlContext.sql (“LOAD DATA LOCAL INPATH‘ / home / edureka / மாதிரி ’அட்டவணை சோதனைக்குள்”)

கட்டளை: sqlContext.sql (“தேர்வு * தேர்வு எங்கிருந்து தரவரிசை<5”).collect().foreach(println)

தீப்பொறியில் நூல் எடுத்துக்காட்டு

நாங்கள் நூலில் ஸ்பார்க்க்பி உதாரணத்தை இயக்குவோம். கிளஸ்டர் பயன்முறை மற்றும் கிளையன்ட் பயன்முறை ஆகிய இரண்டு முறைகளில் நாம் நூலை ஸ்பார்க்கில் பயன்படுத்தலாம். நூல்-கிளஸ்டர் பயன்முறையில், ஸ்பார்க் இயக்கி ஒரு பயன்பாட்டு மாஸ்டர் செயல்முறைக்குள் இயங்குகிறது, இது கிளஸ்டரில் நூலால் நிர்வகிக்கப்படுகிறது, மேலும் கிளையன்ட் பயன்பாட்டைத் தொடங்கிய பின் விலகிச் செல்லலாம். நூல்-கிளையன்ட் பயன்முறையில், இயக்கி கிளையன்ட் செயல்பாட்டில் இயங்குகிறது, மேலும் பயன்பாட்டு மாஸ்டர் நூலிலிருந்து ஆதாரங்களைக் கோருவதற்கு மட்டுமே பயன்படுத்தப்படுகிறது.

கட்டளை: சிடி ஸ்பார்க் -1.1.1

கட்டளை: SPARK_JAR =. / சட்டசபை / இலக்கு / அளவீட்டு -2.10 / தீப்பொறி-சட்டசபை -1.1.1-ஹடூப் 2.2.0.ஜார். SparkPi –num-executor 1 -driver-memory 2g –executor-memory 1g –executor-cores 1 எடுத்துக்காட்டுகள் / இலக்கு / அளவிடுதல் -2.10 / தீப்பொறி-எடுத்துக்காட்டுகள் -1.1.1-hadoop2.2.0.jar

மேலே உள்ள கட்டளையை நீங்கள் இயக்கிய பிறகு, தயவுசெய்து நீங்கள் பெறும் வரை சிறிது நேரம் காத்திருக்கவும் வெற்றி பெற்றது செய்தி.

உலாவுக லோக்கல் ஹோஸ்ட்: 8088 / கிளஸ்டர் மற்றும் தீப்பொறி பயன்பாட்டைக் கிளிக் செய்க.

கிளிக் செய்யவும் பதிவுகள் .

கிளிக் செய்யவும் stdout வெளியீட்டை சரிபார்க்க.

கிளையன்ட் பயன்முறையில் நூலில் தீப்பொறியை வரிசைப்படுத்த, உருவாக்கவும் –டெப்லோய்-பயன்முறை என 'வாடிக்கையாளர்'. இப்போது, ​​ஸ்பார்க்கில் ஹைவ் மற்றும் நூலை எவ்வாறு உருவாக்குவது என்பது உங்களுக்குத் தெரியும். நாங்கள் அவர்கள் பற்றிய நடைமுறைகளையும் செய்தோம்.

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் அவற்றைக் குறிப்பிடவும், நாங்கள் உங்களைத் தொடர்புகொள்வோம்.

தொடர்புடைய இடுகைகள்

சிறந்த ஜாவா ஐடி என்ன

ஹடூப்புடன் அப்பாச்சி தீப்பொறி-அது ஏன் முக்கியமானது?

ஹைவ் & நூல் தீப்பொறி மூலம் மின்மயமாக்கப்படும்