网络维护

分布式存储运维疑难故障

  • 分类: 热门新闻
  • 作者:
  • 来源:
  • 发布时间:2020-04-07
  • 访问量: 0

【概要描述】 Ceph是一个统一的分布式存储系统,其具有高性能、高可用性、高可扩展性等特点。

分布式存储运维疑难故障

【概要描述】 Ceph是一个统一的分布式存储系统,其具有高性能、高可用性、高可扩展性等特点。

  • 分类: 热门新闻
  • 作者:
  • 来源:
  • 发布时间:2020-04-07
  • 访问量: 0
详情

分布式存储 是一种数据存储技术,通过网络使用企业中的每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散的存储在企业的各个角落。

分布式.jpg

Ceph是一个统一的分布式存储系统,其具有高性能、高可用性、高可扩展性等特点。其主要提供以下三个存储服务:

1、块存储 (适合单客户端使用):作为块设备像硬盘一样直接挂载。

典型设备:磁盘阵列,硬盘。

使用场景:

a. docker容器、虚拟机远程挂载磁盘存储分配。

b. 日志存储。

2、文件存储 (适合多客户端有目录结构):如同网络文件系统一样挂载,兼容POSIX接口。

典型设备:FTP、NFS服务器。

使用场景:

a. 日志存储。

b. 多个用户有目录结构的文件存储共享。

3、对象存储 (适合更新变动较少的数据,没有目录结构,不能直接打开/修改文件):既可以通过使用Ceph的库,利用C, C++, Java, Python, PHP代码,也可以通过Restful网关以对象的形式访问或存储数据,兼容的S3和OpenStack的Swift。

典型设备:s3, swift。

使用场景:

a. 图片存储。

b. 视频存储。

c. 文件。

d. 软件安装包。

e. 归档数据。

运维技术难度:  io的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。
运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判断节点与节点间的相互作用,诊断难度加大。

对不同类型的数据应采用不同的迁移方式:


(1)对渠道类数据通常是多而散,通常分批迁移;


(2)对于账务类数据,通常是实时数据,需要保证其关联性和事务性,需要择业务运维窗口迁移,同时做好新老数据同步工作;


(3)对于数据报送类数据,通常是交易历史数据等,可以择时一次性迁移。在迁移前期,会有数据不同步的现象,需要新老系统并存;在中期,需要进行必要的数据校验和压力测试(分布式存储读写性能很重要),后期在校验同步基础上,进行迁移(转型)的演练,将少量应用的数据源切换到分布式存储,进行预生产发布。

扫二维码用手机看

更多资讯

国家网络安全等级保护制度2.0与可信计算3.0攻关示范基地正式启动

国家网络安全等级保护制度2.0与可信计算3.0攻关示范基地正式启动

中关村可信计算产业联盟是由中国工程院沈昌祥院士提议,中国电子信息产业集团、中国信息安全研究院、北京工业大学、中国电力科学研究院等60家单位发起,经北京市民政局批准、具有法人资格的社会团体,成立于2014年4月16日。目前,联盟发展到300多家会员单位,涉及到国内可信计算产业链的各个环节,覆盖了“产学研用”各界。
2021-01-14
云端对话:HPC

云端对话:HPC CHINA 2020主题论坛即将启幕

在主论坛之外,HPC CHINA 2020大会还设立了十余场企业专场论坛。来自联想、英特尔、曙光、阿里云、华为、华为云、并行科技、戴尔、英迈、AMD、北京UEDBETapp二维码公司机构的数十位创始人、高管以及技术专家,带来各自领域最新成果应用,全面展现高性能计算对前沿科技的驱动力。
2021-01-14
AI赋能运维新时代——2020(第十一届)IT运维大会成功召开!

AI赋能运维新时代——2020(第十一届)IT运维大会成功召开!

免责声明: 本网站资讯内容,均来源于合作媒体和企业机构,属作者个人观点,仅供读者参考。本网站对站内所有资讯的内容、观点保持中立,不对内容的准确性、可靠性或完整性提供任何明示或暗示的保证。
2020-11-05

地址:广州市天河区中山大道中路439号天银商贸大厦18楼26-27室   电话:梁小姐 020-66319828     项目联系: 020-28185003-163    传真:020-66319829