Hadoop ignorerer filsystemets placeringskonfiguration på Windows 10

Indlæg af Hanne Mølgaard Plasc

Problem



Jeg forsøger at installere single node hadoop på Windows 10.


Jeg har brugt forskellige guider, men mislykkedes. Den sidste jeg brugte var https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10[4]


Jeg har konfogeret mine dfs som


<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property> 

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:///V:/DB/hadoop/namenode</value> 
</property>

<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file:///V:/DB/hadoop/datanode</value> 
</property>


Formatering gik godt.


Desværre, når jeg kører start-all, kommer jeg ind i et af windows


18/04/22 21:36:17 WARN datanode.DataNode: Invalid dfs.datanode.data.dir V:DBhadoopdatanode :
org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable: V:DBhadoopdatanode
        at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:101)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:82)
        at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2580)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2622)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)
18/04/22 21:36:17 ERROR datanode.DataNode: Exception in secureMain
java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/V:/DB/hadoop/datanode/"
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2631)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)


Ser ud som om der er problemer med lokal Windows-specifikation. Hvad skal man gøre?

Bedste reference