基于细粒度键值分离策略的键值存储引擎方案的设计与实现

张志旗; 杨洁

0
0
浏览
下载

摘要
关键词
基金信息
论文图表
同行评议
相关论文
评论

基于细粒度键值分离策略的键值存储引擎方案的设计与实现

首发时间：2023-02-20

张志旗 ¹
张志旗（1998-），男，硕士研究生，主要方向:分布式存储
杨洁 ¹
杨洁（1971-），女，教授、博导，主要方向：电信及互联网大数据处理、用户行为分析、智能图像解译等。

1、北京邮电大学人工智能学院，北京 100876

摘要：现有的键值存储引擎为了获得极致的写性能大多采用了日志结构合并树作为核心的数据组织方式来管理键值对。但是LSM-Tree在实现高性能写吞吐的同时，却引入了高额的读、写放大。为了解决这一问题，本文设计了一个新的键值存储引擎，在采用细粒度的键值分离的基础上，使用传统的完全排序的LSM-Tree来管理键；参考跳表设计了部分排序的数据组织方式来管理值，同时针对新的数据组织方式设计了数据压缩和垃圾回收机制等方案。实验结果表明，本文的键值存储引擎在保持读、写操作高性能的同时，有效降低了读、写放大的问题。

关键词：键值数据库细粒度键值分离部分排序的数据结构数据压缩垃圾回收

For information in English, please click here

The Design and Implementation of KV Storage Scheme based on Fine-Grained KV Separation

ZHANG Zhiqi ¹
张志旗（1998-），男，硕士研究生，主要方向:分布式存储
YANG Jie ¹
杨洁（1971-），女，教授、博导，主要方向：电信及互联网大数据处理、用户行为分析、智能图像解译等。

1、School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing 100876

Abstract：In order to achievehigh write performance, most of the existing key-value storages adopt the Log Structured Merge Tree as their core data organization to manage the KV pairs. However, LSM-Tree offers excellent write throughput, but suffers high write amplification. To remedythis problem, this paper presentsa new key-value storage basing on the fine-grained key-value separation.we adopt thetraditional LSM-Tree to manage the keysand design a partially sorted data organization to manage the values. This paper alsopresents the data compaction and garbage collection mechanism for the newpartially sorted data organization. The experimental results show that the key value storage engine in this paper effectively reduces write amplification while maintaining the high performance of read and write operation.

Keywords： Key-Value Storage Fine-Grained KV Separation Partially-SortedDataOrganization Data Compaction Garbage Collection

基金：

论文图表：

引用

导出参考文献

.txt

.ris

.doc

张志旗，杨洁. 基于细粒度键值分离策略的键值存储引擎方案的设计与实现[EB/OL]. 北京：中国科技论文在线 [2023-02-20]. https://www.paper.edu.cn/releasepaper/content/202302-120.

No.****

同行评议

未申请同行评议

全部评论

0/1000

论文编号	202302-120
论文题目	基于细粒度键值分离策略的键值存储引擎方案的设计与实现
文献类型
收录期刊	上传封面中文期刊英文期刊期刊名称（中文）期刊名称（英文）年，卷（）上传封面中文专著英文专著书名（中文）书名（英文）出版地出版社出版年上传封面中文译著英文译著书名（中文）书名（英文）出版地出版社出版年上传封面中文论文集英文论文集编者.论文集名称（中文） [c]. 出版地出版社出版年， - 编者.论文集名称（英文） [c]. 出版地出版社出版年，- 上传封面中文文献英文文献期刊名称（中文）期刊名称（英文）日期-- 在线地址http:// 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期-- 上传封面中文文献英文文献文题（中文）文题（英文）出版地出版社,出版日期--
英文作者写法：中外文作者均姓前名后，姓大写，名的第一个字母大写，姓全称写出，名可只写第一个字母，其后不加实心圆点“.”, 作者之间用逗号“，”分隔，最后为实心圆点“.”, 示例1：原姓名写法：Albert Einstein,编入参考文献时写法：Einstein A. 示例2：原姓名写法：李时珍；编入参考文献时写法：LI S Z. 示例3：YELLAND R L,JONES S C,EASTON K S,et al.