windows - Der opstod en fejl under opkald o227.run

Indlæg af Hanne Mølgaard Plasc

Problem



Jeg er nyere til at gnist, jeg forsøgte at lave en graframme og gøre nogle forespørgsler om at dette er min kode


import pyspark
from pyspark.sql import SQLContext
from graphframe import *
sc = pyspark.SparkContext()
sqlContext = SQLContext(sc)
vertices = sqlContext.createDataFrame([
("1","Alex", 28, "M","MIPT"),
("2","Emeli", 28, "F","MIPT"),
("7","Ilya", 29, "M","MSU")], ["id","name","age","gender","university"])
edges = sqlContext.createDataFrame([
("1","2","friend")
], ["src", "dst" , "type"])
g=GraphFrame(vertices,edges)
result = g.connectedComponents()


men det viser som følge heraf følgende fejl:



  Traceback (seneste kald sidste):
    Fil '', linje 1, ind
    Fil 'C: \ Brugere \ ALI\_PC \ AppData \ Local \ Temp \ gnist-73d7bc01-3873-4423-ac2b-527e39608ece \ userFiles-b2dd0ea9-9556-4bea-9931-915608bad9b0 \ graphframes\_graphframes-0.5.0-spark2.1-s\_2 .11.jar \ graphframes \ graphframe.py ', linje 279, i connectedComponents
    Fil 'C: \ Spark \ gnist-2.2.1-bin-hadoop2.7 \ python \ lib \ py4j-0.10.4-src.zip \ py4j \ java\_gateway.py', linje 1133, i opkald
    Fil 'C: \ Spark \ spark-2.2.1-bin-hadoop2.7 \ python \ pyspark \ sql \ utils.py', linje 63, i deco
      returnere f (* a, ** kw)
    Fil 'C: \ Spark \ spark-2.2.1-bin-hadoop2.7 \ python \ lib \ py4j-0.10.4-src.zip \ py4j \ protocol.py', linje 319, i get\_return\_value
  py4j.protocol.Py4JJavaError: Der opstod en fejl under opkald o249.run.
  : java.io.IOException: Checkpoint-mappen er ikke indstillet. Indstil det først ved hjælp af sc.setCheckpointDir ().
          på org.graphframes.lib.ConnectedComponents $$ anonfun $ 2.apply (ConnectedComponents.scala: 280)
          på org.graphframes.lib.ConnectedComponents $$ anonfun $ 2.apply (ConnectedComponents.scala: 280)
          på scala.Option.getOrElse (Option.scala: 121)
          på org.graphframes.lib.ConnectedComponents $ .org $ graphframes $ lib $ ConnectedComponents $$ run (ConnectedComponents.scala: 279)
          på org.graphframes.lib.ConnectedComponents.run (ConnectedComponents.scala: 139)
          ved sun.reflect.NativeMethodAccessorImpl.invoke0 (Native Method)
          ved sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:62)
          ved sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java:43)
          ved java.lang.reflect.Method.invoke (Method.java:498)
          på py4j.reflection.MethodInvoker.invoke (MethodInvoker.java:244)
          ved py4j.reflection.ReflectionEngine.invoke (ReflectionEngine.java:357)
          på py4j.Gateway.invoke (Gateway.java:280)
          på py4j.commands.AbstractCommand.invokeMethod (AbstractCommand.java:132)
          på py4j.commands.CallCommand.execute (CallCommand.java:79)
          på py4j.GatewayConnection.run (GatewayConnection.java:214)
          på java.lang.Thread.run (Thread.java:745)



hvordan kan jeg løse dette problem, tak!

Bedste reference


Præcis som angivet i undtagelsesmeddelelsen:



  Checkpoint-mappen er ikke indstillet. Indstil det først ved hjælp af sc.setCheckpointDir ().



du er nødt til at indstille kontroldirectory:


sc.setCheckpointDir(path\_to\_checkpoint\_directory)