ஸ்பார்க் வரைபட எக்ஸ் பயிற்சி - அப்பாச்சி தீப்பொறியில் வரைபட பகுப்பாய்வு

வரைபடம் வரைபடங்கள் மற்றும் வரைபட-இணையான கணக்கீட்டிற்கான அப்பாச்சி ஸ்பார்க்கின் API ஆகும். கிராஃப்எக்ஸ் ஒரு அமைப்பினுள் ஈ.டி.எல் (பிரித்தெடுத்தல், மாற்றம் மற்றும் சுமை) செயல்முறை, ஆய்வு பகுப்பாய்வு மற்றும் செயல்பாட்டு வரைபட கணக்கீடு ஆகியவற்றை ஒருங்கிணைக்கிறது. வரைபடங்களின் பயன்பாட்டை பேஸ்புக்கின் நண்பர்கள், சென்டர் இணைப்புகள், இணையத்தின் திசைவிகள், விண்மீன் திரள்கள் மற்றும் நட்சத்திரங்களுக்கு இடையிலான உறவுகள் மற்றும் வானியற்பியல் மற்றும் கூகுள் வரைபடங்களில் காணலாம். வரைபடக் கணக்கீட்டின் கருத்து மிகவும் எளிமையானதாகத் தோன்றினாலும், ஒரு சிலவற்றைக் குறிப்பிடுவதற்கு, பேரழிவு கண்டறிதல், வங்கி, பங்குச் சந்தை, வங்கி மற்றும் புவியியல் அமைப்புகளில் பயன்பாட்டு நிகழ்வுகளுடன் வரைபடங்களின் பயன்பாடுகள் உண்மையில் வரம்பற்றவை.இந்த API இன் பயன்பாட்டைக் கற்றுக்கொள்வது ஒரு முக்கியமான பகுதியாகும் .இந்த வலைப்பதிவின் மூலம், ஸ்பார்க் கிராஃப்எக்ஸ், அதன் அம்சங்கள் மற்றும் கூறுகளை எடுத்துக்காட்டுகள் மூலம் கற்றுக்கொள்வோம், மேலும் கிராஃப்எக்ஸ் பயன்படுத்தி விமான தரவு பகுப்பாய்வுகளின் முழுமையான பயன்பாட்டு வழக்கைப் பார்ப்போம்.

இந்த ஸ்பார்க் வரைபட எக்ஸ் வலைப்பதிவில் பின்வரும் தலைப்புகளை நாங்கள் காண்போம்:

1. வரைபடங்கள் என்றால் என்ன?
2. வரைபட கணக்கீட்டு வழக்குகளைப் பயன்படுத்தவும்
3. தீப்பொறி வரைபடம் என்றால் என்ன?
4. ஸ்பார்க் வரைபட எக்ஸ் அம்சங்கள்
5. எடுத்துக்காட்டுகளுடன் வரைபடத்தைப் புரிந்துகொள்வது
6. கிராஃப்எக்ஸ் பயன்படுத்தி வழக்கு - விமான தரவு பகுப்பாய்வு பயன்படுத்தவும்

வரைபடங்கள் என்றால் என்ன?

ஒரு வரைபடம் என்பது ஒரு கணித அமைப்பாகும், இது ஒரு சில பொருள்களின் தொகுப்பாகும், இதில் சில ஜோடி பொருள்கள் சில அர்த்தங்களில் தொடர்புடையவை. இந்த உறவுகள் ஒரு வரைபடத்தை உருவாக்கும் விளிம்புகள் மற்றும் செங்குத்துகளைப் பயன்படுத்தி குறிப்பிடப்படுகின்றன. செங்குத்துகள் பொருள்களைக் குறிக்கின்றன மற்றும் விளிம்புகள் அந்த பொருட்களுக்கு இடையிலான பல்வேறு உறவுகளைக் காட்டுகின்றன.

படம்: தீப்பொறி வரைபட எக்ஸ் பயிற்சி - வரைபடங்களில் செங்குத்துகள், விளிம்புகள் மற்றும் மும்மூர்த்திகள்

கணினி அறிவியலில், ஒரு வரைபடம் என்பது ஒரு சுருக்க தரவு வகையாகும், இது கணிதத்திலிருந்து திசைதிருப்பப்படாத வரைபடத்தையும் இயக்கிய வரைபடக் கருத்துகளையும் செயல்படுத்தும், குறிப்பாக வரைபடக் கோட்பாட்டின் துறையாகும். ஒரு வரைபட தரவு அமைப்பு ஒவ்வொரு விளிம்பிலும் சிலவற்றை இணைக்கக்கூடும் விளிம்பு மதிப்பு குறியீட்டு லேபிள் அல்லது எண் பண்புக்கூறு (செலவு, திறன், நீளம்,போன்றவை).

வரைபட கணக்கீட்டு வழக்குகளைப் பயன்படுத்தவும்

பின்வரும் பயன்பாட்டு வழக்குகள் வரைபடக் கணக்கீட்டில் ஒரு முன்னோக்கையும், வரைபடங்களைப் பயன்படுத்தி பிற தீர்வுகளைச் செயல்படுத்த மேலும் வாய்ப்பையும் தருகின்றன.

1. பேரழிவு கண்டறிதல் அமைப்பு

   மக்களை எச்சரிக்க எச்சரிக்கைகளை வழங்குவதற்காக சூறாவளி, பூகம்பம், சுனாமி, காட்டுத் தீ மற்றும் எரிமலைகள் போன்ற பேரழிவுகளைக் கண்டறிய வரைபடங்களைப் பயன்படுத்தலாம்.

   
   
   
2. பக்க தரவரிசை காகித-மேற்கோள் நெட்வொர்க் அல்லது சமூக ஊடக நெட்வொர்க் போன்ற எந்தவொரு நெட்வொர்க்கிலும் செல்வாக்கு செலுத்துபவர்களைக் கண்டறிய பக்க தரவரிசை பயன்படுத்தப்படலாம்.
3. நிதி மோசடி கண்டறிதல்

   நிதி பரிவர்த்தனையை கண்காணிக்கவும், நிதி மோசடி மற்றும் பணமோசடியில் ஈடுபட்ட நபர்களைக் கண்டறியவும் வரைபட பகுப்பாய்வு பயன்படுத்தப்படலாம்.

4. வணிக பகுப்பாய்வு

   வரைபடங்கள், இயந்திர கற்றலுடன் பயன்படுத்தும்போது, ​​வாடிக்கையாளர் வாங்கும் போக்குகளைப் புரிந்துகொள்ள உதவுகிறது. எ.கா. உபெர், மெக்டொனால்டு போன்றவை.

5. புவியியல் தகவல் அமைப்புகள்
   

   நீர்நிலை விளக்கப்படம் மற்றும் வானிலை முன்கணிப்பு போன்ற புவியியல் தகவல் அமைப்புகளில் செயல்பாடுகளை உருவாக்க வரைபடங்கள் தீவிரமாகப் பயன்படுத்தப்படுகின்றன.

6. கூகிள் ப்ரீகல்

   ப்ரீகல் என்பது கூகிளின் அளவிடக்கூடிய மற்றும் தவறு-சகிப்புத்தன்மை கொண்ட தளமாகும், இது ஒரு ஏபிஐ மூலம் தன்னிச்சையான வரைபடத்தை வெளிப்படுத்த போதுமான நெகிழ்வுத்தன்மை கொண்டதுவழிமுறைகள்.

தீப்பொறி வரைபடம் என்றால் என்ன?

வரைபடம் வரைபடங்கள் மற்றும் வரைபட-இணையான கணக்கீட்டிற்கான ஸ்பார்க் API ஆகும். வரைபட பகுப்பாய்வு பணிகளை எளிதாக்குவதற்கான வரைபட வழிமுறைகள் மற்றும் பில்டர்களின் வளர்ந்து வரும் தொகுப்பு இதில் அடங்கும்.

வரைபடம் ஸ்பார்க் ஆர்.டி.டியை மீளக்கூடிய விநியோகிக்கப்பட்ட சொத்து வரைபடத்துடன் நீட்டிக்கிறது.சொத்து வரைபடம் என்பது ஒரு இயக்கிய மல்டிகிராஃப் ஆகும், இது இணையாக பல விளிம்புகளைக் கொண்டிருக்கலாம். ஒவ்வொரு விளிம்பும் வெர்டெக்ஸும் அதனுடன் தொடர்புடைய பயனர் வரையறுக்கப்பட்ட பண்புகளைக் கொண்டுள்ளன. இணை விளிம்புகள் பலவற்றை அனுமதிக்கின்றனஒரே செங்குத்துகளுக்கு இடையிலான உறவுகள்.

ஸ்பார்க் வரைபட எக்ஸ் அம்சங்கள்

ஸ்பார்க் வரைபடத்தின் அம்சங்கள் பின்வருமாறு:

1. வளைந்து கொடுக்கும் தன்மை :
   ஸ்பார்க் வரைபடம் வரைபடங்கள் மற்றும் கணக்கீடுகள் இரண்டிலும் செயல்படுகிறது. கிராஃப்எக்ஸ் ஒரு அமைப்பினுள் ஈ.டி.எல் (பிரித்தெடுத்தல், மாற்றம் மற்றும் சுமை), ஆய்வு பகுப்பாய்வு மற்றும் செயல்பாட்டு வரைபட கணக்கீடு ஆகியவற்றை ஒருங்கிணைக்கிறது. வரைபடங்கள் மற்றும் சேகரிப்புகள் இரண்டின் அதே தரவை நாம் காணலாம், RDD களுடன் வரைபடங்களை மாற்றியமைத்து சேரலாம் மற்றும் ப்ரீகல் API ஐப் பயன்படுத்தி தனிப்பயன் மறு செய்கை வரைபட வழிமுறைகளை எழுதலாம்.
2. வேகம் :
   ஸ்பார்க் கிராஃப்எக்ஸ் வேகமான சிறப்பு வரைபட செயலாக்க அமைப்புகளுடன் ஒப்பிடக்கூடிய செயல்திறனை வழங்குகிறது. இது ஸ்பார்க்கின் நெகிழ்வுத்தன்மை, தவறு சகிப்புத்தன்மை மற்றும் பயன்பாட்டின் எளிமையைத் தக்க வைத்துக் கொள்ளும்போது வேகமான வரைபட அமைப்புகளுடன் ஒப்பிடத்தக்கது.
3. வளர்ந்து வரும் அல்காரிதம் நூலகம் :
   ஸ்பார்க் கிராஃப்எக்ஸ் வழங்க வேண்டிய வரைபட வழிமுறைகளின் வளர்ந்து வரும் நூலகத்திலிருந்து நாம் தேர்வு செய்யலாம். பிரபலமான வழிமுறைகளில் சில பக்க தரவரிசை, இணைக்கப்பட்ட கூறுகள், லேபிள் பரப்புதல், எஸ்.வி.டி ++, வலுவாக இணைக்கப்பட்ட கூறுகள் மற்றும்முக்கோண எண்ணிக்கை.

எடுத்துக்காட்டுகளுடன் வரைபடத்தைப் புரிந்துகொள்வது

ஒரு உதாரணத்தைப் பயன்படுத்தி ஸ்பார்க் வரைபடத்தின் கருத்துக்களை இப்போது புரிந்துகொள்வோம். கீழே உள்ள படத்தில் காட்டப்பட்டுள்ளபடி ஒரு எளிய வரைபடத்தைக் கருத்தில் கொள்வோம்.

படம்: ஸ்பார்க் வரைபட எக்ஸ் பயிற்சி - வரைபட எடுத்துக்காட்டு

இரட்டையிலிருந்து int ஜாவாவாக மாற்றவும்

வரைபடத்தைப் பார்க்கும்போது, ​​மக்கள் (செங்குத்துகள்) மற்றும் அவர்களுக்கு இடையிலான உறவுகள் (விளிம்புகள்) பற்றிய தகவல்களைப் பெறலாம். இங்கே வரைபடம் ட்விட்டர் பயனர்களைக் குறிக்கிறது மற்றும் அவர்கள் ட்விட்டரில் யாரைப் பின்தொடர்கிறார்கள். எ.கா. பாப் ட்விட்டரில் டேவிட் மற்றும் ஆலிஸைப் பின்தொடர்கிறார்.

அப்பாச்சி தீப்பொறியைப் பயன்படுத்தி இதைச் செயல்படுத்துவோம். முதலில், வரைபடத்திற்கு தேவையான வகுப்புகளை இறக்குமதி செய்வோம்.

// தேவையான வகுப்புகளை இறக்குமதி செய்வது org.apache.spark._ import org.apache.spark.rdd.RDD இறக்குமதி org.apache.spark.util.IntParam இறக்குமதி org.apache.spark.graphx._ இறக்குமதி org.apache.spark .graphx.util.GraphGenerator

செங்குத்துகளைக் காண்பித்தல் :மேலும், பயனர்களின் அனைத்து பெயர்களையும் வயதுகளையும் இப்போது காண்பிப்போம் (செங்குத்துகள்).

val vertexRDD: RDD [(நீண்ட, (சரம், Int))] = sc.parallelize (vertexArray) val edgeRDD: RDD [Edge [Int]] = sc.parallelize (edgeArray) val graph: வரைபடம் [(சரம், முழு), Int] = வரைபடம் (vertexRDD, edgeRDD) graph.vertices.filter {case (id, (name, age)) => வயது> 30} .collect.foreach {case (id, (name, age)) => println ( s '$ பெயர் $ வயது')}

மேலே உள்ள குறியீட்டின் வெளியீடு கீழே உள்ளது:

டேவிட்இருக்கிறது42 ஃபிரான்இருக்கிறதுஐம்பது எட்இருக்கிறது55 சார்லிஇருக்கிறது65

விளிம்புகளைக் காண்பிக்கும் : ட்விட்டரில் யாரை விரும்புகிறார் என்பதைப் பார்ப்போம்.

for (மும்மடங்கு<- graph.triplets.collect) { println(s'${triplet.srcAttr._1} likes ${triplet.dstAttr._1}') } 

மேலே உள்ள குறியீட்டின் வெளியீடு கீழே உள்ளது:

பாப்பிடிக்கும்ஆலிஸ் பாப்பிடிக்கும்டேவிட் சார்லிபிடிக்கும்பாப் சார்லிபிடிக்கும்ஃபிரான் டேவிட்பிடிக்கும்ஆலிஸ் எட்பிடிக்கும்பாப் எட்பிடிக்கும்சார்லி எட்பிடிக்கும்ஃபிரான்

இப்போது கிராஃப்எக்ஸின் அடிப்படைகளை நாங்கள் புரிந்துகொண்டுள்ளோம், சற்று ஆழமாக டைவ் செய்து சில மேம்பட்ட கணக்கீடுகளைச் செய்வோம்.

பின்தொடர்பவர்களின் எண்ணிக்கை : எங்கள் வரைபடத்தில் உள்ள ஒவ்வொரு பயனருக்கும் வெவ்வேறு எண்ணிக்கையிலான பின்தொடர்பவர்கள் உள்ளனர். ஒவ்வொரு பயனருக்கும் பின்தொடர்பவர்களைப் பார்ப்போம்.

// பயனர் சொத்து வழக்கு வகுப்பை இன்னும் தெளிவாக வடிவமைக்க ஒரு வகுப்பை வரையறுத்தல் பயனர் (பெயர்: சரம், வயது: Int, inDeg: Int, outDeg: Int) // ஒரு பயனரை உருவாக்குதல் வரைபட மதிப்பு val initialUserGraph: வரைபடம் [பயனர், Int] = வரைபடம். mapVertices {case (id, (name, age)) => பயனர் (பெயர், வயது, 0, 0)} // பட்டம் தகவல்களை நிரப்புதல் val userGraph = initialUserGraph.outerJoinVertices (initialUserGraph.inDegrees) {case (id, u, inDegOpt) => பயனர் (u.name, u.age, inDegOpt.getOrElse (0), u.outDeg)} .outerJoinVertices (initialUserGraph.outDegrees) {case (id, u, outDegOpt) => பயனர் (u.name, u.age, u.inDeg, outDegOpt.getOrElse (0))} ((ஐடி, சொத்து)<- userGraph.vertices.collect) { println(s'User $id is called ${property.name} and is liked by ${property.inDeg} people.') } 

மேலே உள்ள குறியீட்டின் வெளியீடு கீழே உள்ளது:

மாற்றத்தை c ++ இல் தட்டச்சு செய்க

பயனர் ஒன்றுஎன்று அழைக்கப்படுகிறதுஆலிஸ்மற்றும் விரும்பப்படுகிறது2மக்கள். பயனர் 2என்று அழைக்கப்படுகிறதுபாப்மற்றும் விரும்பப்படுகிறது2மக்கள். பயனர் 3என்று அழைக்கப்படுகிறதுசார்லிமற்றும் விரும்பப்படுகிறதுஒன்றுமக்கள். பயனர் 4என்று அழைக்கப்படுகிறதுடேவிட்மற்றும் விரும்பப்படுகிறதுஒன்றுமக்கள். பயனர் 5என்று அழைக்கப்படுகிறதுஎட்மற்றும் விரும்பப்படுகிறது0மக்கள். பயனர் 6என்று அழைக்கப்படுகிறதுஃபிரான்மற்றும் விரும்பப்படுகிறது2மக்கள்.

பழைய பின்தொடர்பவர்கள் : பின்தொடர்பவர்களை அவர்களின் குணாதிசயங்களால் வரிசைப்படுத்தலாம். ஒவ்வொரு பயனரின் வயதைப் பொறுத்து பழமையான பின்தொடர்பவர்களைக் கண்டுபிடிப்போம்.

// ஒவ்வொரு பயனருக்கும் மிகப் பழமையான பின்தொடர்பவரைக் கண்டுபிடிப்பது oldestFollower: VertexRDD [(String, Int)] = userGraph.mapReduceTriplets [(சரம், எண்ணாக)] (// ஒவ்வொரு விளிம்பிற்கும் மூலத்தின் பண்புடன் இலக்கு வெர்டெக்ஸுக்கு ஒரு செய்தியை அனுப்பவும் vertex edge => Iterator ((edge.dstId, (edge.srcAttr.name, edge.srcAttr.age))), // செய்திகளை இணைக்க பழைய பின்தொடர்பவருக்கு (a, b) => if (a. _2> ஆ ._2) வேறு ஆ)

மேலே உள்ள குறியீட்டின் வெளியீடு கீழே உள்ளது:

டேவிட்இன் பழமையான பின்பற்றுபவர்ஆலிஸ். சார்லிஇன் பழமையான பின்பற்றுபவர்பாப். எட்இன் பழமையான பின்பற்றுபவர்சார்லி. பாப்இன் பழமையான பின்பற்றுபவர்டேவிட். எட்பின்தொடர்பவர்கள் யாரும் இல்லை. சார்லிஇன் பழமையான பின்பற்றுபவர்ஃபிரான். 

வழக்கைப் பயன்படுத்தவும்: தீப்பொறி வரைபடத்தைப் பயன்படுத்தி விமான தரவு பகுப்பாய்வு

இப்போது நாம் ஸ்பார்க் கிராஃப்எக்ஸின் முக்கிய கருத்துக்களைப் புரிந்துகொண்டுள்ளோம், கிராஃப்எக்ஸ் பயன்படுத்தி நிஜ வாழ்க்கை சிக்கலை தீர்ப்போம். இது எதிர்காலத்தில் எந்த தீப்பொறி திட்டங்களிலும் பணியாற்றுவதற்கான நம்பிக்கையை எங்களுக்கு உதவும்.

சிக்கல் அறிக்கை : ஸ்பார்க் வரைபடத்தைப் பயன்படுத்தி நிகழ்நேர விமானத் தரவைப் பகுப்பாய்வு செய்ய, நிகழ்நேர கணக்கீட்டு முடிவுகளை வழங்கவும், கூகிள் டேட்டா ஸ்டுடியோவைப் பயன்படுத்தி முடிவுகளைக் காட்சிப்படுத்தவும்.

செய்ய வேண்டிய வழக்கு - கணக்கீடுகள் பயன்படுத்தவும் :

1. விமான வழிகளின் மொத்த எண்ணிக்கையை கணக்கிடுங்கள்
2. மிக நீண்ட விமான வழிகளைக் கணக்கிட்டு வரிசைப்படுத்தவும்
3. விமானநிலையத்தை மிக உயர்ந்த பட்டம் கொண்ட காட்சி
4. பேஜ் தரவரிசைப்படி மிக முக்கியமான விமான நிலையங்களை பட்டியலிடுங்கள்
5. குறைந்த விமான செலவுகளைக் கொண்ட பாதைகளை பட்டியலிடுங்கள்

மேலேயுள்ள கணக்கீடுகளுக்கு நாங்கள் ஸ்பார்க் வரைபடத்தைப் பயன்படுத்துவோம் மற்றும் கூகிள் டேட்டா ஸ்டுடியோவைப் பயன்படுத்தி முடிவுகளைக் காண்போம்.

வழக்கு - தரவுத்தொகுப்பு பயன்படுத்தவும் :

படம்: வழக்கைப் பயன்படுத்தவும் - யுஎஸ்ஏ விமான தரவுத்தொகுப்பு

வழக்கு - ஓட்ட வரைபடத்தைப் பயன்படுத்தவும் :

எங்கள் விமான தரவு பகுப்பாய்வில் சம்பந்தப்பட்ட அனைத்து படிகளையும் பின்வரும் விளக்கம் தெளிவாக விளக்குகிறது.

படம்: வழக்கு பயன்படுத்தவும் - தீப்பொறி வரைபட பகுப்பாய்வைப் பயன்படுத்தி விமான தரவு பகுப்பாய்வின் ஓட்ட வரைபடம்

வழக்கு பயன்படுத்தவும் - தீப்பொறி செயல்படுத்தல் :

முன்னோக்கி நகரும், இப்போது ஸ்பார்க்கிற்கான எக்லிப்ஸ் ஐடிஇ பயன்படுத்தி எங்கள் திட்டத்தை செயல்படுத்தலாம்.

கீழே உள்ள போலி குறியீட்டைக் கண்டறியவும்:

// தேவையான வகுப்புகளை இறக்குமதி செய்வது org.apache.spark._ ... இறக்குமதி java.io.File பொருள் விமான நிலையம் {def main (args: Array [string]) {// ஒரு வழக்கு வகுப்பு விமான வழக்கு வழக்கு வகுப்பு விமானத்தை உருவாக்குதல் (dofM: சரம், dofW: சரம், ..., dist: Int) // விமான வகுப்பில் உள்ளீட்டை அலச ஒரு பாகுபடுத்தும் சரம் செயல்பாட்டை வரையறுத்தல் def parseFlight (str: string): விமானம் = {val line = str.split (',') விமானம் (வரி (0), வரி (1), ..., வரி (16) .இது)} val conf = new SparkConf (). setAppName ('விமான நிலையம்'). setMaster ('local [2]') val sc = புதிய ஸ்பார்க் கான்டெக்ஸ்ட் (conf) // தரவை ஒரு RDD வால் உரையில் ஏற்றவும் RRDD = sc.textFile ('/ home / edureka / usecases / விமானநிலையம் / விமான நிலைய தரவுத்தொகுப்பு. csv') // சி.எஸ்.வி வரிகளின் RDD ஐ விமான வகுப்புகள் RDD ஆக அலசவும் விமானங்கள் ஆர்.டி.டி = உரை ஆர்.டி.டி-க்கு பார்ஸ் ஃப்ளைட் // ஐடி மற்றும் பெயர் வால் விமான நிலையங்களுடன் விமான நிலையங்களை உருவாக்குங்கள் = வரைபட விமானம் ஆரிஜின்ஐடி மற்றும் தோற்றம் விமான நிலையங்கள். வால் விமான நிலைய வரைபடம் = வரைபட செயல்பாட்டைப் பயன்படுத்துக .collect.toList.toMap // வழிகளை உருவாக்கு RDD sourceID, destinationID மற்றும் தூர மதிப்பு வழிகள் = விமானங்கள் RDD உடன். வரைபட செயல்பாட்டைப் பயன்படுத்தவும். தனித்துவமான வழிகள். (2) // மூல ஐடி, இலக்கு ஐடி மற்றும் தூர வால் விளிம்புகளுடன் ஆர்.டி.டியை உருவாக்குங்கள் = வழிகள். வரைபடம் {(வரைபடம் தோற்றம் மற்றும் இலக்கு ஐடி) => விளிம்பு (org_id.toLong, dest_id.toLong, தூரம்)} edges.take (1) // வரைபடத்தை வரையறுத்து சில செங்குத்துகள் மற்றும் விளிம்புகளைக் காண்பித்தல் வால் வரைபடம் = வரைபடம் (விமான நிலையங்கள், விளிம்புகள் மற்றும் எங்கும்) graph.vertices.take (2) graph.edges.take (2) // வினவல் 1 - கண்டுபிடி விமான நிலையங்களின் மொத்த எண்ணிக்கை val numairports = செங்குத்து எண் // வினவல் 2 - மொத்த பாதைகளின் எண்ணிக்கையை கணக்கிடுங்கள்? val numroutes = விளிம்புகளின் எண்ணிக்கை // வினவல் 3 - 1000 மைல்களுக்கு மேலான தூரங்களைக் கொண்ட அந்த வழிகளைக் கணக்கிடுங்கள் graph.edges.filter the விளிம்பின் தூரத்தைப் பெறுங்கள்) => தூரம்> 1000} .செய்க (3) // இதேபோல் ஸ்கலா குறியீட்டை எழுதுங்கள் வினவல்களுக்கு கீழே // வினவல் 4 - மிக நீண்ட பாதைகளை வரிசைப்படுத்தி அச்சிடுக // வினவல் 5 - விமான நிலையங்களின் உள்வரும் மற்றும் வெளிச்செல்லும் விமானங்களுக்கான மிக உயர்ந்த டிகிரி செங்குத்துகளைக் காண்பி // வினவல் 6 - ஐடி 10397 மற்றும் 12478 உடன் விமான நிலைய பெயரைப் பெறுங்கள் // வினவல் 7 - கண்டுபிடிக்க அதிக உள்வரும் விமானங்களைக் கொண்ட விமான நிலையம் // வினவல் 8 - அதிக வெளிச்செல்லும் விமானங்களைக் கொண்ட விமான நிலையத்தைக் கண்டுபிடி // வினவல் 9 - பேஜ் தரவரிசைப்படி மிக முக்கியமான விமான நிலையங்களைக் கண்டுபிடி // வினவல் 10 - விமான நிலையங்களை தரவரிசைப்படி வரிசைப்படுத்துங்கள் // வினவல் 11 - அதிகம் காண்பி முக்கியமான விமான நிலையங்கள் // வினவல் 12 - மிகக் குறைந்த விமான செலவினங்களைக் கொண்ட வழிகளைக் கண்டறியவும் // வினவல் 13 - விமான நிலையங்களையும் அவற்றின் மிகக் குறைந்த விமான செலவுகளையும் கண்டறியவும் // வினவல் 14 - வரிசைப்படுத்தப்பட்ட மிகக் குறைந்த விமான செலவுகளுடன் விமான நிலையக் குறியீடுகளைக் காண்பி

வழக்கைப் பயன்படுத்தவும் - முடிவுகளைக் காட்சிப்படுத்துதல் :

எங்கள் பகுப்பாய்வைக் காண Google தரவு ஸ்டுடியோவைப் பயன்படுத்துவோம். கூகிள் டேட்டா ஸ்டுடியோ என்பது கூகுள் அனலிட்டிக்ஸ் 360 சூட்டின் கீழ் உள்ள ஒரு தயாரிப்பு ஆகும். அமெரிக்காவின் வரைபடத்தில் விமான நிலையங்களை அந்தந்த இடங்களில் வரைபடமாக்க மற்றும் அளவீட்டு அளவைக் காண்பிக்க ஜியோ வரைபட சேவையைப் பயன்படுத்துவோம்.

1. ஒரு விமான நிலையத்திற்கு மொத்த விமானங்களின் எண்ணிக்கையைக் காண்பி
2. ஒவ்வொரு விமான நிலையத்திலிருந்தும் இலக்கு பாதைகளின் மெட்ரிக் தொகையைக் காண்பி
3. ஒரு விமான நிலையத்திற்கு அனைத்து விமானங்களின் மொத்த தாமதத்தைக் காண்பி
   

இப்போது, ​​இது ஸ்பார்க் வரைபட எக்ஸ் வலைப்பதிவை முடிக்கிறது. நீங்கள் அதைப் படித்து மகிழ்ந்தீர்கள் என்று நம்புகிறேன். எங்கள் அப்பாச்சி தீப்பொறி தொடரில் அடுத்த வலைப்பதிவைப் பாருங்கள் அப்பாச்சி ஸ்பார்க்கில் சந்தை தயாராக உள்ளது.

பின்வருவனவற்றை நாங்கள் பரிந்துரைக்கிறோம் அப்பாச்சி தீப்பொறி பயிற்சி | விமான தரவு பகுப்பாய்வு வீடியோ எடுரேகாவிலிருந்து தொடங்க:

அப்பாச்சி தீப்பொறி பயிற்சி | தீப்பொறி வரைபட எக்ஸ் விமான தரவு பகுப்பாய்வு | எடுரேகா

எங்களுக்கு ஒரு கேள்வி கிடைத்ததா? கருத்துகள் பிரிவில் இதைக் குறிப்பிடவும், நாங்கள் விரைவில் உங்களைத் தொடர்புகொள்வோம்.

நீங்கள் ஸ்பார்க்கைக் கற்றுக் கொள்ள விரும்பினால், ஸ்பார்க்கின் களத்தில் ஒரு தொழிலை உருவாக்கி, ரியல் லைஃப் பயன்பாட்டு நிகழ்வுகளுடன் RDD, Spark Streaming, SparkSQL, MLlib, GraphX ​​மற்றும் Scala ஐப் பயன்படுத்தி பெரிய அளவிலான தரவு செயலாக்கத்தை செய்ய நிபுணத்துவத்தை உருவாக்க விரும்பினால், எங்கள் ஊடாடும், நேரலை -நிகழ்நிலை இங்கே, இது உங்கள் கற்றல் காலம் முழுவதும் உங்களுக்கு வழிகாட்ட 24 * 7 ஆதரவுடன் வருகிறது.