基于Luster文件系统的文件分片技术研究.pdf

重庆邮电大学硕士学位论文&鱼墨壁垒￡曼￡輌堡曼旦├菽虞纈黃曼堡论文评阅人英文题目论文提交日期至懒可非墨目论文答辩日期曼曼生量旦年月日分类号密级公开:独创性声明学位论文版权使用授权书重废邮电太堂陖月日重鏖整电太堂重庆邮电太堂本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其它人已经发表或撰写过的研究成果,也不包含为获得或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢学位论文作者签名:签字日期:本学位论文作者完全了解有关保留、使用学位论文的规定,有权保留并向国家有关部门或机构送交论文的复印件和磁盘,允许论文被查阅和借阅。本人授权可以将学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。C艿难宦畚脑诮饷芎笫视帽臼谌ㄊ导师签名汐月;口日意。砂摘要随着信息技术的高速发展,业界较多采用了以集群为代表的分布式并行文件系统来实现海量数据的分布存储及并行处理。对象存储文件系统通过改进的存储体系结构,支持大并发的存储访问,保证了文件系统的高性能、高可用性。但随着文件大小的数量级扩展,在高速集群网络环境下,文件的存储方式势必会影响到文件读写效率,因而研究实现更加高效、合理的分布式数据存储策略、进一步提高文件系统性能、使其更加适应于高性能计算及商业领域的应用尤为必要。论文以开源的文件系统为主要研究对象,具体完成了以下研究工作:首先,通过源码阅读,研究学****了基于对象存储文件系统的体系结构及其存储机制,着重对其文件分片的放置算法进行了深入分析,根据其并未考虑对象存储设备动态负载的不足,给出了改进的一维文件分片策略及其地址映射流程,从而提高文件读写效率。其次,在改进的一维文件分片策略基础之上,针对有多个客户端同时发起对分布存储的多个不同文件的访问时,会造成多个对象存储节点平均性能降低的问题,给出了一种二维文件分片策略,该策略将综合负载下得到的对象存储节点集合进行分组,使得文件分片存储在一定的组节点中,以带来更好的文件访问性能。最后,论文实现了一个文件分片策略的统一管理接口,可以将多种不同放置策略在系统中以模块的形式加入,且不同的放置策略采用不同的数据存取方式,以方便文件分片策略的应用。研究工作的实验结果表明,考虑了对象存储负载的一维文件分片策略可以提高文件的并行读写速率;但是在读写请求过多时,二维文件分片策略能获得比一维文件分片策略更好的文件读写速率。关键词:对象存储,,文件分片,性能重庆邮电大学硕士论文..,瑆瓼,琣,疧甦琒瓸琺琲瓼琩篛琣,.疧籅猟甦琇現,⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯文件存储研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯论文章节结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.基于对象存储文件系统概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.诙韵笪募低辰樯堋本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..课题研究背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..论文研究内容⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..第二章文件系统的存储机制分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.诙韵蟠娲⒌奈募低撤⒄⑽募低撤⒄瓜肿础文件系统存储原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.文件系统总体架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.文件系统逻辑结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.文件系统存储机制⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..娲⑿阅芊治觥第三章基于文件系统的改进一维文件分片策略⋯⋯⋯⋯⋯⋯⋯⋯..问题分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.改进的一维文件分片策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.晃募制呗浴实验及结果分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.第四章基于文件系统的二维文件分片策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯’二维文件分片策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯...募制呗缘奶岢觥重庆邮电大学硕士论文.....⋯..⋯.⋯.......⋯..⋯⋯..⋯.....⋯..⋯...⋯⋯..⋯.⋯.⋯⋯⋯⋯....⋯...⋯.....募制呗浴问题分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯