django mysql网站开发,长沙网站建设联系电话,聊城网站建设的地方,海外推广引流获取虚拟机的ip
虚拟机终端输入
ip a关闭虚拟机防火墙
sudo ufw disable修改Hadoop的core-site.xml文件
将localhost修改为虚拟机局域网IP
# 位置可能不一样#xff0c;和Hadoop安装位置有关
cd /usr/local/hadoop/etc/hadoop
vim core-site.xmlIDEA 连接
创建Maven项目…获取虚拟机的ip
虚拟机终端输入
ip a关闭虚拟机防火墙
sudo ufw disable修改Hadoop的core-site.xml文件
将localhost修改为虚拟机局域网IP
# 位置可能不一样和Hadoop安装位置有关
cd /usr/local/hadoop/etc/hadoop
vim core-site.xmlIDEA 连接
创建Maven项目
IDEA自带Maven如果需要自己安装Maven可以参考安装Maven 创建项目选择Maven模板选择第一个maven-archetype-archetype
添加依赖pom.xml
记得修改自己hadoop的版本我的是3.3.5 设置好后Reload一下 propertieshadoop.version3.3.5/hadoop.version/propertiesdependenciesdependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-common/artifactIdversion${hadoop.version}/version/dependencydependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-hdfs/artifactIdversion${hadoop.version}/version/dependencydependencygroupIdorg.apache.hadoop/groupIdartifactIdhadoop-client/artifactIdversion${hadoop.version}/version/dependency/dependencies设置好后Reload一下
创建Java文件并运行
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;import java.io.IOException;public class Test01 {public static void main(String[] args) throws IOException {Configuration conf new Configuration();// 设置用户名一定要不然默认用户名是win的用户名System.setProperty(HADOOP_USER_NAME,hadoop);// IP地址修改成虚拟机的ipconf.set(fs.defaultFS,hdfs://192.168.111.131:9000);conf.set(fs.hdfs.impl,org.apache.hadoop.hdfs.DistributedFileSystem);FileSystem fs FileSystem.get(conf);RemoteIteratorLocatedFileStatus files fs.listFiles(new Path(/), true);while (files.hasNext()) {FileStatus fileStatus files.next();System.out.println(fileStatus.getPath().toString());}fs.close(); //关闭hdfs}
}端口转发
完成到这里已经可以用啦不过可能不太方便 可以设置将win10的端口转发 实现在代码中直接访问localhost 创建test.bat文件后输入以下代码 将IP修改成虚拟机的IP 双击运行
REM 设置IP
SET BigDataLANIP192.168.111.131 REM 设置命令以管理员身份运行
%1 start mshta vbscript:CreateObject(Shell.Application).ShellExecute(cmd.exe,/c %~s0 ::,,runas,1)(window.close)exit
REM 清空所有转发规则
netsh interface portproxy resetREM 转发9000
netsh interface portproxy add v4tov4 listenport9000 connectport9000 connectaddress%BigDataLANIP%
REM 转发9870HDFS的web管理界面
netsh interface portproxy add v4tov4 listenport9870 connectport9870 connectaddress%BigDataLANIP%
echo succeed
timeout /t 5 /nobreak nul简单使用
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;public class Test02 {public static void main(String[] args) throws IOException {Configuration conf new Configuration();
// 设置用户名一定要不然默认用户名是win的用户名System.setProperty(HADOOP_USER_NAME,hadoop);conf.set(fs.defaultFS,hdfs://localhost:9000);conf.set(fs.hdfs.impl,org.apache.hadoop.hdfs.DistributedFileSystem);
// 列出根目录下的所有文件和文件夹FileSystem fs FileSystem.get(conf);Path file new Path(/);FileStatus[] fileStatuses fs.listStatus(file);for (FileStatus fileStatus : fileStatuses){System.out.println(fileStatus.getPath());}
// 创建一个新的文件 test.txt 在HDFS的 /user/hadoop/test 目录下如果目录不存在则先创建目录。Path dirPath new Path(/user/hadoop/test);if(!fs.exists(dirPath)){fs.mkdirs(dirPath);}Path remotePath new Path(/user/hadoop/test/test.txt);FSDataOutputStream outputStream fs.create(remotePath);outputStream.close();
// 向 test.txt 文件中写入一段指定的文本内容如“Hello, HDFS!”。FSDataOutputStream outputStream2 fs.create(remotePath);String s Hello, HDFS!;outputStream2.write(s.getBytes());outputStream2.close();
// 读取 test.txt 文件的内容并打印到控制台。FSDataInputStream inputStream fs.open(remotePath);BufferedReader d new BufferedReader(new InputStreamReader(inputStream));String line null;while ((line d.readLine()) ! null)System.out.println(line);
// 关闭与HDFS的连接。fs.close();}
}
启动Hadoop
cd /usr/local/hadoop/ #目录可能不一样修改成自己的目录
./sbin/start-dfs.sh #启动hadoop
jps # 判断是否启动成功
