在分布式存储技术体系当中，分布式文件存储是其中的分类之一，也是大数据架构当中常常用到的。得益于Hadoop的高人气，Hadoop原生的HDFS分布式文件系统，也广泛为人所知。但是分布式文件存储系统，并非只有HDFS。今天的大数据开发分享，我们就主要来讲讲常见的分布式文件存储系统。 分布式文件系统，可以说是分布式系统下的一个子集，这里我们选取市场应用比较广泛的几款产品，HDFS、Ceph、FastDFS以及MooseFS来做简单的分析 HDFS 如上所说，HDFS是分布式文件系统当中人气非常高的一个。基于Hadoop基础架构，HDFS天然就有很好的优势，尤其是面对大规模离线批处理任务，地位难以撼动。 HDFS，可以为各类分布式计算框架如Spark、MapReduce等提供海量数据存储服务，同时HBase、Hive底层存储也依赖于HDFS。与Hadoop生态的紧密联系，也使其稳稳占据市场主流地位。 优点： 高容错性：数据自动保存多个副本，副本丢失后，自动恢复 适合批处理：移动计算而非数据。数据位置暴露给计算框架 适合大数据处理：GB，TB，甚至PB级数据。百万规模以上文件数量。10K节点规模。 流式文件访问：一次性写入，多次读取。保证数据一致性。 可构建在廉价机器上：通过多副本提高可靠性。提供容错和恢复机制。 缺点： 不适合低延迟数据访问场景：比如毫秒级，低延迟与高吞吐率 不适合小文件存取场景：占用NameNode大量内存。寻道时间超过读取时间。 不适合并发写入，文件随机修改场景：一个文件只能有一个写者。仅支持append 不符合posix语义，需要通过SDK来读写操作。对java支持良好，其他语言一般 Ceph 企业级的存储需求，通常分为块存储、文件存储和对象存储，而Ceph能够同时满足这三种需求。Ceph提供三大存储接口，能够将企业中的三种存储需求统一汇总到一个存储系统中，并提供分布式、横向扩展，高度可靠性的存储，具备高可用性、高性能及可扩展等特点。 优点： 支持对象存储（OSD）集群，通过CRUSH算法，完成文件动态定位，处理效率更高 符合posix语义，支持通过FUSE方式挂载，降低客户端的开发成本，通用性高 支持分布式的MDSMON，无单点故障 强大的容错处理和自愈能力 支持在线扩容和冗余备份，增强系统的可靠性 缺点： 目前处于试验阶段，系统稳定性有待考究 部署和运维较复杂，集群管理工具较少 FastDFS FastDFS是以C语言开发的一项开源轻量级分布式文件系统，提供文件存储、文件同步、文件访问（文件上传下载）等通用文件管理操作，尤其适合以文件为载体的在线服务，如图片网站，视频网站等。追求高性能和高扩展性FastDFS，可以看做是基于文件的keyvaluepair存储系统，称作分布式文件存储服务更为合适。 优点： 支持在线扩容机制，增强系统的可扩展性 实现了软RAID，增强系统的并发处理能力及数据容错恢复能力 支持主从文件，支持自定义扩展名 主备Tracker服务，增强系统的可用性 缺点： 不支持POSIX通用接口访问，通用性较低 对跨公网的文件同步，存在较大延迟，需要应用做相应的容错策略 同步机制不支持文件正确性校验，降低了系统的可用性 通过API下载，存在单点的性能瓶颈 MooseFS MooseFS是在HDFS之后出现的，它也是类似的MDSOSS架构，区别于HDFS的是，MooseFS没有对运行其上的业务做假设，它没有假设业务是大文件或海量小文件，也就是说，MooseFS的定位是像ext4、xfs、NTFS等单机文件系统一样的通用型文件存储。 优点： 扩容成本低、支持在线扩容，不影响业务，体系架构可伸缩性极强 支持POSIX通用接口访问，支持通过FUSE方式挂载，降低客户端的开发成本，通用性高 文件对象高可用，可设置任意的文件冗余程度（提供比Raid10更高的冗余级别） 提供系统负载，将数据读写分配到所有的服务器上，加速读写性能 实现了软RAID，增强系统的并发处理能力及数据容错恢复能力 数据恢复比较容易，增强系统的可用性。有回收站功能，方便业务定制 缺点： MasterServer的单点解决方案的健壮性。MasterServer一旦出问题MetaloggerServer可以恢复升级为MasterServer，但是需要恢复时间 MasterServer本身的性能瓶颈。MFS的主备架构情况类似于MySQL的主从复制，从可以扩展，主却不容易扩展 随着MFS体系架构中存储文件的总数上升，MasterServer对内存的需求量会不断增大 关于大数据开发，分布式文件存储系统，以上就为大家做了简单的介绍了。分布式文件系统，是解决大数据存储问题的重要底层支持，对于市场主流分布式存储产品，需要有相应的了解才行。
三星折叠屏GalaxyZFold取代GalaxyNote系列按照三星之前每年的以往惯例来看，三星在每年上半年发布自家GalaxyS系列产品，而在下半年将会发布GalaxyNote系列产品。不过现在随着三星两款折叠屏手机的市场越来越成熟，……西门子EQ。500系列全自动咖啡机上市智能萃取系统升级香醇体从速溶咖啡的功能主义到意式咖啡的社交导向，再到第四次咖啡浪潮所引领的精品咖啡美学体验，咖啡进一步融入中国都市白领的生活之中。对于咖啡品质探索家而言，它不仅是一款提神醒脑的日常饮……三星GalaxyA52s的5G海报在印度首次出现三星GalaxyA52s5G上周亮相，是在原来的A525G基础上升级的骁龙778G。它的第一个发布市场是英国，但三星也向其印度线下商店发出了宣传海报，这表明新机型到达该国的时间……骁龙888Plus加持，红魔6SPro官宣，下月见我们此前也爆料过，继华硕的ROG品牌推出了一款面向电竞的骁龙888Plus手机后，红魔也随之被爆有新品，就在今天上午，红魔游戏手机官方宣布，红魔游戏手机6SPro新品发布会将于……放下焦虑，试着走向自然硬核三防手机上手在智能手机高度普及的当下，为我们带来极度便利的同时，眼镜观看屏幕的时间也急剧增加，在以前，手机仅仅作为打电话发短信的通讯工具，而现在的手机，娱乐功能似乎占据首位，一天24小时，……鸿蒙系统又更新了，你最想优化和增加什么功能媒体人周刊手持华为mate40PRO，今天鸿蒙又迎来6。37G的更新，更新日志的介绍一如既往的简洁，这也确实是华为工程师一贯的风格，不废话，只干事儿。不像其他的操作系统，每次更……缺芯加剧，蔚小理变成理小蔚，纯电A00级市场再翻红！8月将结束，回顾7月新能源汽车的产销量辆，分别是28。4万辆和27。1万辆，同比增长了1。7倍与1。6倍。前7个月新能源汽车产销分别为150。4万辆和147。8万辆，有了大幅度……最高法称虚拟货币挖矿是高耗能产业判决抚州创世纪返还显卡吴说区块链获悉，据theBlock报道，创世纪基于GenesisMining未能支付其电费的指控，突然暂停了从2018年9月开始向其托管客户支付的加密货币。GenesisMin……电子黑板促进智慧教育转型升级当前，蓬勃发展的中国教育市场已经处于领先地位，特别是教育信息化和人工智能方面，中国拥有越来越大的明显优势，电子黑板教学即将进入人工智能时代。欧帝电子黑板在智慧教育领域应用……布局磷资源！宁德时代拟在湖北投资320亿元建一体化电池材料园10月12日，全球动力电池龙头企业宁德时代新能源科技股份有限公司（300750，下称宁德时代）发布公告，公司拟在湖北省宜昌市高新区投资建设邦普一体化电池材料产业园项目，湖北宜化……3万左右的价格，成老头乐的噩梦，五菱宏光MINIEV凭啥这么文车魔王原创其实，五菱这几年来一直试图在做两件事，一方面是摆脱自身长期以来工具车的形象。而另一方面，则是去听取更多人的意见，满足更精准的用车需求。前者的代表，自然是……保时捷下一款电动化跑车将是全新718预计2024年上市近日，有外媒表示保时捷正在研发一款电动化跑车，很有可能是全新一代718，预计2024年上市。据悉全新718仍将提供软顶敞篷Boxster和硬顶Cayman两个版本供消费者……