适应大规模数据处理的动态服务私有云系统(3)

来源:网络(转载) 作者:汪竹 梅林 李磊 赵太 发表于:2012-04-14 13:34  点击:
【关健词】云计算;私有云计算;数据流驱动;动态服务;并行处理
操作系统 RedHat 5.5 企业版操作系统。 3.2 系统作业测试 在上述的应用平台上部署配置本文的私有云计算系统进行地震资料处理作业测试。原地震资料处理系统是一套分布式处理系统,通过管道机制进行数据传递,采

  
  
  操作系统 RedHat 5.5 企业版操作系统。
  3.2 系统作业测试
  在上述的应用平台上部署配置本文的私有云计算系统进行地震资料处理作业测试。原地震资料处理系统是一套分布式处理系统,通过管道机制进行数据传递,采用消息传递编程模型(Message Passing Interface, MPI)进行并行处理。
  测试的作业功能是对地震数据进行炮间能量均衡。首先根据输入的地震数据生成振幅信息;然后进行分解,基于每道地震数据的均方根或者最大振幅值来计算共炮点和通道号的比例;最后应用比例因子到地震数据的每道。提供这些功能的服务组件分别为AMP_RMS(计算均方根或最大振幅值)、AMP_SHOT_CHAN_CAL(计算共炮点和通道号比例)和AMP_APP(地震数据应用比例因子)。
  为了方便作业处理流程的直观感,在用户创建作业GUI模块中增加了读、写模块。读写模块不是服务组件,读模块代表的是作业初始数据文件,写模块代表的是作业最终输出数据文件。用作业编辑软件创建的测试作业拓扑结构,如图7所示。从作业拓扑图中可知该测试作业的处理流程为:初始文件驱动AMP_RMS服务,AMP_RMS的运算数据结果驱动AMP_SHOT_CHAN_CAL服务,运算后的结果再与初始数据文件一起驱动AMP_APP服务,输出最终数据结果。
  经过测试,系统能够正确解析、调度、执行该作业,返回正确的处理结果,作业运行状态监控如图8所示。为了测试系统的并发性能,同时提交图7所示作业多次,让系统并发处理这些作业。经测试,提交的所有作业均能正确有效执行。
  
  4 结语
  本文提出的适应大规模数据处理的动态服务私有云系统方案,能够很好地满足数据量大、计算密集、流程复杂的计算任务需求,有效支撑石油勘探开发核心业务的发展。该方案通过业务开发者向云平台提供服务,使用者向云平台请求服务的方式将业务开发与使用分开,方便业务扩展和维护。未来的工作中,将考虑作业运行过程中的服务动态重构以及对系统灾难恢复的健全完善,提升系统的高可适用性和稳健性。
  
  参考文献:
  [1]
  吴朱华. 云计算核心技术剖析[M].北京:人民邮电出版社,2011:16-31.
  
  [2]
  张天雷,徐飞汀. 云计算技术在石油勘探领域中的研究与实践[J].高性能计算技术, 2010(6):11-15.
  
  [3]
  维基百科. Blade server[EB/OL]. [2011-11-10]. http://en.wikipedia.org /wiki/Blade_server.
  
  [4]
  维基百科. RAID[EB/OL]. [2011-11-10]. http://en.wikipedia.org /wiki/RAID.
  
  [5]
  it168. 私有云基础架构之刀片服务器推荐[EB/OL]. [2011-11-12].http://server.it168.com/a2011/0524/1194/000001194666.shtml.
  
  [6]
  eNet硅谷动力. “云“有何难 看我如此构建私有云[EB/OL]. [2011-11-12].http://www.enet.com.cn/article/2010/1027/A20101027764170_2.shtml.
  
  [7]
  ARMBRUST M, FOX A. Above the clouds: A Berkeley view of cloud computing [EB/OL]. [2011-08-10]. http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS.2009.28.pdf.
  
  [8]
  陈全, 邓倩妮. 云计算及其关键技术[J].计算机应用, 2009, 29(9):2562-2568.
  
  [9]
  杨志豪,赵太银, 姚兴苗, 等. 一种适应数据与计算密集型任务的私有云系统实现研究[J].计算机应用研究, 2011, 28(2):621-624.
  
  [10]
  吴朱华. 从技术角度剖析云计算的架构[EB/OL]. [2011-07-20].http://www.infoq.com/cn/articles/analyze.cloud.architecture.
  
  [11]
  倪晚成, 刘连臣, 吴澄, 等. 基于动态服务合成的应用型服务网格框架研究[J].计算机集成制造系统, 2006, 12(8):1327-1333.
  
  [12]
  DEAN J, GHEMAWAT S. MapReduce: Simplified data processing on large cluster[C] // The 6th International Symposium on Operating Systems Design and Implementation. San Francisco: OSDI, 2004:137-149.
  
  [13]
  JIANG D W, OOI B C, SHI L, et al. The performance of MapReduce: An in.depth study[EB/OL]. [2011-08-15]. http://www.comp.nus.edu.sg/~vldb2010/proceedings/files/papers/E03.pdf.
  
  [14]
  维基百科. Network File System(protocol)[EB/OL]. [2011-07-22]. http://en.wikipedia.org/wiki/Network_File_System_(protocol).
  
  [15]
  易小华, 刘杰, 叶丹. 面向MapReduce的数据流程开发方法[J].计算机科学与探索, 2011, 5(2):161-169.
  
  [16]
  孙广中, 肖锋, 熊曦. MapReduce模型的调度及容错机制研究[J].微电子学与计算机, 2007, 24(9):178-180.

(责任编辑:南粤论文中心)转贴于南粤论文中心: http://www.nylw.net(南粤论文中心__代写代发论文_毕业论文带写_广州职称论文代发_广州论文网)
顶一下
(0)
0%
踩一下
(0)
0%


版权声明:因本文均来自于网络,如果有版权方面侵犯,请及时联系本站删除.