Facebook在存储领域顶级会议FAST 2014上发表了一篇论文《Analysis of HDFS Under HBase: A Facebook Messages Case Study》,以Facebook Message系统为例讨论了HDFS+HBase的这种分层架构中读写IO方面的问题,并且提出在RAM和Disk直接加一个Flash层能够带来很大的性能提升。🔗 网页链接展开全文 原微博
回复@杨栋_大数据: 恩,共享存储可以是SAN或NAS,反正就是donate for EMC,成本高是一方面,另外一方面就是运维。现在cloud data center基本都是基于commodity hardware,中间冒出一些高端存储和高端路由,增加运维复杂度,这个也是HDFS做HA不推荐使用NFS共享存储的原因。Tenzing听说过,没仔细研究。展开全文
Yahoo has run 14 million jobs on YARN and average more than 80,000 jobs on a single cluster per day. 而且他们在MapReduce/YARN, HBase, ZooKeeper, and Storm clusters的基础上建立起了near real-time scalable processing and storage infrastructure. 🔗 网页链接展开全文 原微博
Google终于在OSDI 2012上公布了大家期待已久的F1数据库底层的存储组件Spanner,《Spanner: Google’s Globally-Distributed Database》🔗 网页链接 。不过在OSDI会议的网站上是另外一个题目Elmo: Building a Globally Distributed, Highly Available Database。Google下一代的数据库。展开全文 原微博