网站开发邮件服务器,网站服务器数据迁移,聊城seo优化,网页设计师的职业规划1、服务器之间数据文件传递 1#xff09;服务器之间传递数据#xff0c;依赖ssh协议 2#xff09;http协议是web网站之间的通讯协议#xff0c;用户可已通过http网址访问到对应网站数据 3#xff09;ssh协议是服务器之间#xff0c;或windos和服务器之间传递的数据的协议…1、服务器之间数据文件传递 1服务器之间传递数据依赖ssh协议 2http协议是web网站之间的通讯协议用户可已通过http网址访问到对应网站数据 3ssh协议是服务器之间或windos和服务器之间传递的数据的协议。支持shell指令的传输 4在linux中默认自带ssh客户端可以使用ssh指令进行服务器连接 ssh 用户ip地址或域名 ssh免密登录
每次登录不需要再输入密码
分别在node1、node2、node3上执行如下命令
1生成密钥 ssh-keygen
2分别拷贝密钥 ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3
3基于ssh协议进行服务器之间的文件或者目录的传输
使用指令scp scp -r 本机文件或目录路径 目标服务器名目标服务器路径 2、解压和压缩 tar xvf 压缩包文件 x 代表解压 v 显示解压详情 f 代表解压文件 1压缩 tar cvf 压缩包名.tar.gz 文件或者目录
3、数据导论[了解] 日常生活中不断产生各类数据通过对各类数据的分析得到用户的行为习惯发现用户的数据价值 4、大数据诞生[了解] 随着用户数据增多传统数据处理方式无法满足海量数据处理的需求此时引入分布式技术 将海量数据进行分布式的存储计算资源调度 可以统一管理多台服务器进行存储和计算把多台服务器当成一个整体 使用hadoop实现分布式存储计算和资源调度 5、大数据概述[了解] 大数据主要解决海量数据的存储和计算 海量数据 excel KB MB 1MB1024KB mysql GB TB 1GB 1024 MB 1TB 1024GB 大数据 PB,EB海量数据 1PB1024TB KB MB GB TB PB EB ZB YB 6、大数据的特点 数据量大 数据种类多 结构化数据 表 半结构化数据 xml json 非结构数据 文本数据 数据低价值密度 分析用户的消费习惯 用户注册基本信息 姓名性别年龄 1个 用户的购买信息 订单数据 手机2023-10-22 100个 用户浏览信息 浏览哪些商品 100个 用户访问信息 访问网站时间地点设备 100000条 1000201条数 有价值的数据200条 增长速度快 每天都会产生大量数据 数据结果质量高 对海量数据结果更接近真实情况
7、大数据软件生态[了解]
存储Apache Hadoop HDFS、Apache HBase、Apache Kudu、云平台
计算Apache Hadoop MapReduce、Apache Spark、Apache Flink
传输Apache Kafka、Apache Pulsar、Apache Flume、Apache Sqoop
8、Apache Hadoop概述[了解] 1Hadoop的功能组件 HDFS分布式文件存储系统: 负责海量数据的存储工作 MapReduce分布式计算框架: 负责海量数据的计算工作 Yarn分布式资源调度工具: 负责分布式集群的资源调度工作 2Hadoop发展 创始人: 道格·卡丁 Hadoop发行时间: 2008年 hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车 3Hadoop版本 社区版: 开源免费 优点: 更新速度快,技术新 缺点: 兼容性差不稳定 商业版: CDH 将所有大数据相关组件都重写了一遍并进行了精细测试解决了兼容性问题和稳定性问题 优点: 兼容稳定性好 确定: 技术旧,收费 注意: 在企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的. 9、为什么需要分布式存储[了解]
数据体量过大,存储在同一台服务器上空间不足,所以需要对于服务器进行扩展,多台服务共同存储超大文件
存储原理就是将大文件进行分割,分割后,将数据存储在不同的服务器内部
此时不仅可以提供多台服务器的存储空间,同时可以增加服务器的读写效率,cpu,内存,网络带宽等.
