hadoop - Spark setup i Windows 10

Indlæg af Hanne Mølgaard Plasc

Problem




    Dette spørgsmål har allerede et svar her:

    

            

  •             Sådan opsætter du Spark on Windows?
                    
                        10 svar
                    

            

  •     

Bedste reference


Hvad du har brug for er en klient opsætning. Den hadoop-distribution, du planlægger at oprette forbindelse til, kan have en klientopsætning i deres doks. Som MapR har mapr-klienten. /questions/25481325/how-to-set-up-spark-on-windows


Når det er på plads, følg nogen af ​​disse for at opsætte gnist,


Sådan opsætter du Spark on Windows?


Running apache Gnist på vinduer


http://www.ics.uci.edu/~shantas/Install\_Spark\_on\_Windows10.pdf[5]


Lad mig vide, om det hjælper. Skål.

Andre referencer 1


Jeg vil foreslå dig at udvikle med Spark ved hjælp af IntelliJ IDEA på din Windows. Opret et SBT projekt, hvor du kan kopiere den næste kode på build filen, og den vil downloade alle afhængigheder for dig.


version := "1.0"
scalaVersion := "2.10.6"
// grading libraries
libraryDependencies += "junit" \% "junit" \% "4.10" \% "test"

libraryDependencies ++= Seq(
  "org.apache.spark" \%\% "spark-core" \% "1.6.3",
  "org.apache.spark" \%\% "spark-sql" \% "1.6.3",
  "org.apache.spark" \%\% "spark-hive" \% "1.6.3"
)

libraryDependencies ++= Seq(
  "org.apache.commons" \% "commons-csv" \% "1.4",
  "joda-time" \% "joda-time" \% "2.9.9",
  "com.univocity" \% "univocity-parsers" \% "1.5.1"
)
libraryDependencies +="com.databricks" \%\% "spark-csv" \% "1.5.0"


Derefter oprette et scala objekt, og begynde at udvikle. Det er hovedsagelig til lokal udvikling i Spark. Vær opmærksom på stierne, når du læser eller skriver filer.