原创《集群环境下分布式索引的实现》
该文是分布式相关论文范文与分布式索引和集群环境和实现方面本科论文怎么写。
张家叶子 92941 部队
【摘 要】 随着计算机技术的飞速发展,数据的规模越来越大,查询也趋于复杂.针对分布式存储系统上使用非主键访问数据带来的性能问题 , 探讨在分布式存储系统上实现索引的相关关键技术.在充分分析分布式存储特征的基础上 , 提出了分布式索引设计和实现的关键点 , 并结合分布式存储系统的特点及相关的索引技术 , 讨论了索引的组织形式、索引的维护和数据一致性等问题.实验结果表明 , 虽然辅助索引会对系统性能产生影响 , 但因为充分考虑了系统特征及存储特点 , 在不同数据规模下 , 该索引都能够将性能影响控制在 5% 以内.另外 , 使用冗余列的方式 , 能进一步将该索引的性能提升 100%.
【关键词】 集群环境 分布式索引 实现
一、分布式存储的索引组织
1.1 索引组织形式
分布式存储系统的辅助索引 , 也需要分布式存储 , 即集群环境中的每一个节点 , 都可能保存着一部分的索引信息.维护在每个计算节点中的索引可以采用 Hash 以及 B+ 树等结构组织 , 也可以将索引以表的形式组织和存储 , 将索引看作是另一种形式的数据.单个节点中的索引组织形式 , 在不同的场景下 , 不同的方案各有其特点和优势.
Hash 适用于典型的 Key-Value 键值存储系统 , 以及对于随机读取性能要求较高的场景 , 其原理是对索引属性进行哈希运算.Hash 结构的查询响应速度最快 , 理想情况下哈希索引的插入和查询时间都是 O(1), 但对于组合索引 , 在计算Hash 值时是将索引键合并后一起计算 Hash 值 , 而不是单独计算 , 所以 , 当用索引列前缀的形式查找记录时 ,Hash 索引无法起作用 ;Hash 结构的索引也不能支持范围查询.
B+ 树支持范围查找和前缀查找 , 能够提升非主键范围查询的性能.B+ 树的特点是能够保持数据稳定有序 , 其插入与修改拥有较稳定的对数时间复杂度 , 因此广泛应用于多数关系数据库当中.
1.2 局部 vs 全局
对于分布式存储环境下索引的实现 , 本文按照逻辑结构将其分为两类 : 局部索引方案和全局索引方案 , 并分别探讨两种方案的特点和适用场景.
局部索引方案是指将分布式索引局部化到各个节点上 ,每个节点创建和维护本地数据的索引 , 不同节点上的索引信息是相互独立的.这种解决方案的优势在于 , 数据和索引存储在相同的节点 , 不需要系统维护索引在集群上的分布信息 ,简化了索引维护工作.
然而 , 对于选择结果集很小的随机读取请求 , 该方案仍需要访问所有节点的局部索引 , 增加了一定的网络通信开销和节点负载.对于这种问题 , 系统可以通过设计和实现额外的索引维护机制来避免访问不必要的节点 , 但是这样的维护机制也同样增加了系统开销.
在全局索引的方案中,全局的索引根据字段按照规则(如排序 ) 被分片到集群的各个节点 , 因此一个节点维护的不仅仅是本地数据的索引 ; 同时也要维护索引在集群的分布信息 ,这样响应随机读取查询的时候 , 可以定位到维护相应索引的节点 , 很快得到对应数据的主键值 , 避免访问没有数据的计算节点 , 提高了查询性能.
在分布式存储系统上实现辅助索引 , 局部索引方案的索引维护工作可以得到简化 ; 因为每次查询都要访问所有节点的局部索引 , 所以适合于范围查询而不适合结果集很小的随机读取场景.
全局索引需要维护索引在集群的分布信息 , 可以直接访问索引所在的节点 , 能够很好地支持随机读取 ; 同时 , 实现全局索引时应当使维护索引更新的网络交互最小化 , 减少全局索引的维护成本.
1.3 分布式索引的维护
分布式索引生效 ( 可用于提供服务 ) 的时机往往取决于各个节点的局部数据量.对于在空表上新建的索引 , 只需在更新数据表的同时更新索引 , 此时新建的索引是可以用于提供服务的 , 但对于在已有数据的表上创建索引的情形 , 索引不能立即提供服务.原因在于分布式存储系统中 , 无论分布式索引采用局部索引还是全局索引 , 都需要各个节点完成本地索引的构建 , 否则会导致索引与数据表之间的数据不一致.
采用不同的索引方案 , 构建本地索引的过程不尽相同.采用局部索引方案构建索引时 , 每个节点只需负责在本地的数据上对索引字段构建局部索引.而对于全局索引方案 , 每个节点不仅要处理本地的数据 , 还可能需要与其他节点通信 ,获取其数据记录 , 才能构建出完整且正确的索引.索引创建完成后 , 在对数据记录更新的同时 , 要考虑对已有索引的维护.这包括同步更新和异步更新两种方案.
同步更新要求索引的维护需要严格与数据的更新同步 ,同步更新适用于对索引与数据之间一致要求较高的场景 , 如一些金融场景的业务.
相比同步更新 , 异步更新通过延后索引更新的时机来提高系统的更新性能 , 即更新操作不需要表和索引完全同步就可以成功返回客户端.异步更新适用于索引与数据一致的要求不高的互联网应用.
二、结束语
综上所述,本文针对在分布式索引下,提出了需要其设计的主要的技术.实验结果表明 , 实现的索引在提高非主键查询性能的同时 , 对系统造成的性能影响是能稳定在一定范围的 , 而且在索引中冗余查询列可以进一步优化查询性能.
分布式论文参考资料：
此文点评：此文是关于对写作分布式索引和集群环境和实现论文范文与课题研究的大学硕士、分布式本科毕业论文分布式论文开题报告范文和相关文献综述及职称论文参考文献资料有帮助。
