上海公司网站建设哪家好,引流推广网站,学校网站开发模式,wordpress的标签有什么用HDFS_集群操作命令#xff1a;
一、集群启停命令 # 启动Hadoop的HDFS进程start-dfs.sh# 关闭Hadoop的HDFS进程stop-dfs.sh# 单独关闭某一个进程hadoop-daemon.sh start[/stop] namenode[/datanode/secondarynamenode]二、HDFS文件系统的基本信息 数据的路径表达方式#xff…HDFS_集群操作命令
一、集群启停命令 # 启动Hadoop的HDFS进程start-dfs.sh# 关闭Hadoop的HDFS进程stop-dfs.sh# 单独关闭某一个进程hadoop-daemon.sh start[/stop] namenode[/datanode/secondarynamenode]二、HDFS文件系统的基本信息 数据的路径表达方式 # Linux: file:///
# HDFS: hdfs://namenode:port/如上路径 # linux: file:///usr/local/hello.txt
# HDFS: hdfs://node1:8020/usr/local/hello.txtHDFS文件系统的操作命令 老版本hadoop fs [generic options] 新版本hdfs dfs [generic options] 创建文件夹 # hadoop fs -mkdir [-p] path ...
# hdfs dfs -mkdir [-p] path ...
# [-p]: 与linux中的一致 需要时创建上层目录如目录早已存在则不当作错误
# path: 待创建目录查看指定目录下内容 # hadoop fs -ls [-h] [-R] [path ...]
# hdfs dfs -ls [-h] [-R] [path ...]
# path 指定目录路径
# -h 人性化显示文件Size
# 递归查看指定目录及其子目录上传文件到HDFS指定目录下 # hadoop fs -put [-f] [-p] localsrc ... dst
# hdfs dfs -put [-f] [-p] localsrc ... dst
# -f 如果目标文件已存在覆盖目标文件
# -p 保留访问和修改时间所有权和权限
# local linux本地文件系统地址
# dst 目标文件系统(HDFS)查看HDFS文件内容 # hadoop fs -cat src ...
# hdfs dfs -cat src ...
# cat 指定读取文件的全部内容并显示在标准输出控制台
# hadoop fs -cat /itcast/word.txt
# 读大文件可以使用管道符配合more
# hadoop fs -cat /itcast/word.txt | more
# more : 翻页命令下载HDFS文件 # hadoop fs -get [-f] [-p] src ... loacldst
# hdfs dfs -get [-f] [-p] src ... loacldst
# -f 如果目标文件已存在覆盖目标文件
# -p 保留访问和修改时间所有权和权限 复制/改名HDFS文件 # hadoop fs -cp [-f] [-p] src ... dst
# hdfs dfs -cp [-f] [-p] src ... dst
# -f 如果目标文件已存在覆盖目标文件
# 实例hadoop fs -cp -f /test.txt /home/abc.txt追加数据到HDFS文件中 HDFS只有追加和删除文件两种功能 # hadoop fs -appendToFile loacldst ... dst
# hdfs dfs -appendToFile loacldst ... dst
# 将所有给定本地文件的内容追加到给定dst文件
# dst如果文件不存在将创建该文件
# 如果localSrc为-则输入为从标准输入中读取HDFS数据移动操作 # hadoop fs -mv scr ... dst
# hdfs dfs mv scr ... dst
# 移动到指定文件夹下面
# 可以使用该命令移动数据并且重命名文件名称 HDFS删除文件操作 # hadoop fs -rm -r [-skipTrash] URI [URI ...]
# hdfs dfs -rm -r [-skipTrash] URI [URI ...]
# 删除指定路径的文件或者文件夹
# -skipTrash 跳过回收站之间删除
# 回收站功能默认关闭如果要开启需要在core-site.xml中配置
property
namefs.trash.interval/name
value1440/value
/property1440:表示回收站保存多久保持七天property
namefs.trash.checkpoint.interval/name
value120/value
/property120多久检查一次两小时检查一次# 不需要重启集群在那个机器配置的就在那个机器执行命令就生效
# 回收站默认位置在/user/用户名(hadoop)/.Trash命令官方指导文档 https://hadoop.apache.org/docs/r3.3.4/hadoop-project-dist/hadoop-common/FileSystemShell.html 使用web界面操作hadoop系统。 http://node1:9870/dfshealth.html#tab-startup-progressweb界面又用权限问题只保留读权限并不能删除文件一般不建议配置删除权限多数操作是做不了的。如果要以特权用户在浏览器中进行操作需要配置如下内容到core-site.xml并重启集群。 property
namehadoop.http.staticuser.user/name
valuehadoop/value
/property
