企业级分布式高性能KV存储数据库,腾讯Tendis正式开源

作者:潇冷 来源:原创 2020-12-22

  12月22日消息,腾讯宣布其企业级分布式高性能KV存储数据库Tendis开源。消息称,Tendis是由腾讯互娱CROS DBA团队和腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库。

  据悉,腾讯Tendis兼容Redis核心数据结构与接口,可提供大容量、低成本、强持久化的数据库能力,适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据存储场景。Tendis目前已经被应用到腾讯内、外部大型项目中。 

企业级分布式高性能KV存储数据库,腾讯Tendis正式开源

  比特网了解到,Tendis使用了去中心化集群架构,每个数据节点都拥有全部的路由信息,用户可以访问集群中的任意节点,通过redis的move协议,使路由到达正确的节点。另外,每个Tendis节点维护各自的slot数据,任意两个master节点之间的slot不重复,并且master 节点之间支持基于slot的数据搬迁,主备节点之间通过binlog实现数据复制。

  据悉,节点之间通过gossip 协议进行通讯,类似于redis cluster的分布式实现,可指定 hashtag 来控制数据分布和访问,使用和运维成本极低。

  适合的场景

  1、兼容Redis协议,需要大容量且较高访问性能的温冷数据存储场景。

  2、适合成本为主要考虑因素,业务数据有高持久化要求的业务场景。

  3、解决原生Redis固有的fork问题而预留部分内存问题。

 主要特性

  1、兼容Redis协议。完全兼容redis协议,支持redis主要数据结构和接口,兼容大部分原生Redis命令。

  2、持久化存储。使用rocksdb作为存储引擎,所有数据以特定格式存储在rocksdb中,最大支持PB级存储。

  3、去中心化架构。类似于redis cluster的分布式实现,所有节点通过gossip协议通讯,可指定hashtag来控制数据分布和访问,使用和运维成本极低。

  4、水平扩展。集群支持增删节点,并且数据可以按照slot在任意两节点之间迁移,扩容和缩容过程中对应用运维人员透明,支持扩展至1000个节点。

  5、故障自动切换。自动检测故障节点,当故障发生后,slave会自动提升为master继续对外提供服务。

  6、Tendis冷热混合存储关键组件。得益于Tendis存版的设计和内部优化,Redis和Tendis存储版可以一起工作成为Tendis冷热混合存储。混合存储区非常适用于KV存储场景,并平衡了性能和成本。对于redis占用大量存储空间的冷数据降冷后可以最多减少80%的成本,同时保证了热数据在redis的访问性能。

 项目规划

  1、持续完善对 Redis 的兼容性,包括支持 LUA 等命令

  2、进一步提升 Tendis 的性能,减少 rocksdb 本身的性能抖动问题。

  3、探索更多软硬结合方案,基于新硬件特性,发挥更大的数据库性能。

  4、支持异构数据互通能力,降低异构数据库的迁移成本

  5、运维管理能力全面提升,PaaS 能力持续增强

  Tendis 目前已在腾讯内外部包括游戏、视频、社交、电商等多个行业提供数据库支撑。

相关阅读

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录