- 列存+并行+批量, 还有子查询平坦化,综合优化的效果。列存的优势在于和批量数据包(BDTA)天然吻合,消除了行存物理记录的解析代价, 节约了大量CPU和可能的L2 失效。 希望神通能早日拿出个有竞争力的产品和达梦正面PK一下。@超级无敌小丸子大哥 @oursql
这里的数据是我们武汉测试部在某国产X86平台上,使用单节点的测试结果, 时间单位秒。有兴趣的同学可以拿scale = 1(不是100) 的数据在mysql, oracle上对比一下。6.7 单机TPC-H 100G测试详情Detail(Interval)Q1 4.05Q2 0.73Q3 7.92Q4 5.19Q5🔗 网页链接
- 回复@诸超_小石头爸爸: 节点间和节点内并行,批量数据传递以消除sql操作符控制权转移代价,批量表达式计算以利用cpu l2缓存。这是达梦7高性能的基础。 //@诸超_小石头爸爸: 对的。 你们怎么做到的?
阿里mdrill正式开源啦 mdrill旨在帮助用户在几秒到几十秒的时间内,分析百亿级别的任意维度组合的数据. 基于mdrill的adhoc项目,10台机器存储了400亿*80维度的数据,每次扫描30亿的行,耗时在20秒~120秒左右。 官方地址 🔗 网页链接 @淘宝开源 @开源中国 @开源IT技术网站 @开源力量 - 最近又改进了达梦7的封锁系统,成倍减少了DML的封锁代价,希望能继续提升并发性能。其基本思想是把相关的封锁代价转移到不常用的DDL那边:对于一个正常的应用,DDL 的使用显然要比DML少得多。 @walker学海 @超级无敌小丸子大哥
- 和开发商测了几个OLAP的场景:33亿条记录1T的裸数据,达梦7压缩存储后为235G, 几个过滤分组汇总的单表全表查询, IO速度达300M/s, CPU 全部用满, 查询时间24-170秒。@超级无敌小丸子大哥
- 关于DDL并发,让我感触很深的另一个原因是,我们的每个测例脚本, 基本都是先DDL, 创建对象,然后用DML操作,最后还是DDL把测例相关的对象DROP掉。当这些个测例,被多个会话并发跑起来的时候,DDL的并发问题,就显得非常重要了。@dbatools @oursql @超级无敌小丸子大哥 展开全文
- 受 @zhh-2009 工作的启发,可以考虑类似HFS, 实现一个基于hbase的列式存储表类型。这样就可以为hbase 提供一个全功能的SQL语言接口,以及JDBC/ODBC等标准接口,充分利用现有达梦7的强大功能,以及hbase/hadoop的分布式扩展能力。@超级无敌小丸子大哥 @chenqihust 展开全文