第34卷第16期
企业技术开发
月
TECHNOLOGICAL DEVELOPMENT OF ENTERPRISE
2015年6Jun．2015 VoL34 No．16
张拥华
(湖南工业职业技术学院，湖南长沙410208)
摘要：随着教学资源的不断增加，海量的数据资源如何实现有效的管理已经成为高校研究的一个新难题。文章的研究内
容是基于Hadoop的云教学资源平台的研究和设计。目标在于经过实现基于Hadoop的云教学资源平台，提高系统的安 全 性，解决教育资源在存储方面的问题，给教学提供一个安全、稳定、方便的教育资源平台。
关键词：Hadoop；教学资源；云平台
中图分类号：TP333 文献标识码：A 文章编号：1006—8937(2015)16—0024—04
DoI：10．141650．cnki．hunansci．2015．16．008
of cloud based teaching resource platform based
Design and implementation
on Hadoop
ZHANG Yong-hua
(Hunan Industry Polytechnic，Changsha，Hunan 410208，China)
Abstract：With the continuous increase of the teaching resources，how to realize the effective management of the huge amount of data has become new research in the university difficult problem．The research content of this paper is based the research and of the cloud platform of teaching based Hadoop．Goal is through implementation based Hadoop cloud platform of design in storage，for students to provide safe，
teaching resources，improve the security of the system，solve problem of educational stable and convenient platform for the of education．
Keywords：Hadoop；teaching resources；cloud platform
云计算，是当前现代信息技术领域非常前沿的一种 年2月，NDFS(Nutch分布式文件系统)和MapReduce由
于 技术，利用云计算技术可以将分布在不同地理位置的计 在Nutch项目中应用良好，所以，分离出来成为一套命 强大的计算能力，并 名 算机集成在一个平台下，实现大型的超级计算机，获得 为Hadoop的独立而完整的软件。
且可以实现对所管辖的计算机资源 Hadooop是Apache旗下的用于分布式计算的一个 开 全方位的管理和控制【11，目前，全球众多研究人员、科研
源平台[21。HDFS(Hadoop分布式文件系统)和MapReduce
(谷歌MapReduce的开源实现)是Hadoop的核心，使 机构致力于云计算的研究，并获得了不少成果。
用
利用云计算的优势，将其应用到教学领域将有利于 Hadoop的用户可以清晰地了解系统底层的分布式架构[3]。
促进学生自主学习，提升教学质量和效果，作为云计算 Hadoop的整合资源的能力可以使用户轻松构建自己的 的常用框架Hadoop，目前已经在很多应用中被广泛使用， 分布式云计算平台，同时，Hadoop集群存储和计算的能 本文将利用Hadoop技术设计并实现一个云教学的资源 力，也使用户更好地处理海量的数据。平台，从而有
随着Hadoop的发展，越来越多的项目加入到这个 效的整合学校的各类教学资源，保证教师
大 和学生都能便捷的从该资源平台获取教学资源，提高教 集合中，除了HDFS和MapReduce#]"，HBase、Hive、
Common、Pig、Avro等项目也已经成为其不可缺少的一部
Chukwa、学质量，提升教学效果。
分，它们之间协同工作，为用户提供更好的服务[41。
1 Hadoop平台概述
2系统设计框架
Hadoop是在Apache Nutch的基础上发展起来 的，
Nutch项目作为Lucene项目的一部分开始于2002年。2006 2．1系统需求分析 基：J：Hadoop的云教学资源平
台主要是需要为用户提
收稿日期：2015—04—27
供所需要的教学资源，因此，平台必须资源丰富、功能完
作者简介：张拥华(1977一)，女，湖南宁乡人，硕士研究生，讲师，研究 整、用户具有良好的体验，通过对笔者所在学院进行调
方向：大数据分析和云计算研究。
项目基金：湖南省教育厅科学研究项目“云计算环境下的精准营销团 研走访，可以将本系统的需求总结为以下六个方面。
购网站关键技术研究”(12C1032) ①降低存储成本。教学资源随着信息技术在教育领
万方数据 基于Hadoop的云教学资源平台设计与实现
．
resources a on resources Oil on resources a resources
第34卷第16期
张拥华：基于Hadoop的云教学资源平台设计与实现
域的发展呈现爆炸式增加，传统的教学资源平台存储这
些海量数据的成本是非常高的。因此，新的系统应该严格
观地使用系统，将自己的请求发送给系统，系统接收到 请求后就会产生响应将用户所需要的东西发送给用户。
本系统主要的功能就是能够存储并管理海量的教学 控制存储成本，用比较低的成本来存储海量的教学资源。
②要保证教学资源数据以及用户信息的安全性。任 何一个系统的安全性都是非常重要的，特别是用户的个
图 人资料信息。
③要能够整合教学资源。将各种教学资源进行统一 存储，整合旧有的教学资源，并不断添新，丰富平台的教 学资源。
④在完成基本功能的基础上，要能够给用户提供个
性化的服务。比如，能够自动为用户推荐自己感兴趣的
教学资源以及要为用户提供自己的专属空间等。用户在
这个平台上应该是可以相互交流的，这样更有利于教学
资源平台的发展。
⑤这个系统应该是一个开放的系统，而不是封闭的。 对象主要是教师和学生，但是对于其他
的群体也应该是来者不拒的。
停变化的，该系统要能够具备良好的扩展性，使系统上 ⑥要保证系统具有很好的扩展性。用户的需求是不
线后仍能继续增加满足用户需求的功能。
2 ．2系统总体框架
本教学资源平台从下到上大致分为4层：数据资源
层、数据存储层业务逻辑层以及用户层。基： ＼ ，f’
]=Hadoop的 云教学资源果毛采的总体框架模型，如图
1所示。
I 目录管理系统管理
安全臂蓬用户管理
资源管理权限臂瑾
l㈣芋i ，
i
图1平台整体框架的设计
数据资源层：主要用于管理和存储大量的教学资源 数据，由多台廉价的Pc构成，属于系统的硬件资源，是 整 个系统的最底层。
数据存储层：为教学资源平台提供分布式存储和计 算，主要负责任务的分配和数据的管理，是由MapReduce
和HDFS共同组成的。
业务逻辑层：提供了系统平台的资源管理、目录管
功能，主要用于存储系统和应用
程序之间的沟通。
用户层：是整个系统的最顶层。用户可以在这一层直
万方数据
资源。该教学资源平台主要是由教学资源管理、系统平 台管理、管理员模块和用户模块4个功能模块构成，如2所示。 工
角色。教辑、学生、
院梭、企业、社会
基于H·d∞口的云教学
资霉平台平台管瑶l l教学资源管瑶
到国斟剧剧圉引圉 图2平台的功能模块设计l||||l圉目剖圉匡
虽然系统的服务 教学资源模块：包括教学资源的分类管理、教学资 源的上传、查询、下载和删除等功能；
平台管理模块：包括报警管理、故障管理以及服务 器管理等功能； 管理员模块：包括普通用户的权限管理、用户的日 志管理、用户管理等功能； 用户管理模块：包括用户的注册、用户的登陆、用户个人资料的编辑以及用户文件的增删改查功能。 2．3系统功能设计 在基于Hadoop的云教学资源平台中，管理员和用户 都可以通过浏览器注册登录后按照自己的意愿进行一 定的操作，这些操作都是在他们各自权限允许的范围内。 普通用户使用本系统时的情况，如图3所示。和普通用户
相关的功能有：文件评价、文件下载、文件上传、查看教 学资源详细信息、查看教学资源列表、登录与注册、修改 个人资料以及密码找回等。
图3用户用例图 普通用户在注册通过之后，可以通过登录本系统来 获取自己所需要的教学资源，同时也可以将自己的拥有 的教学资源共享给其他的用户。 理、安全管理和设置等 在设计开发本系统的时候，我们要在实现基本功能 的基础上更多地为用户考虑。因此，我们设计了资源关 注和资源评价功能。在教学资源平台中，有很多教学资 源是持续更新的，用户可以使用系统的资源关注功能来
企业技术开发
2015年6月
关注自己喜欢的教学资源，当这些教学资源更新后，系
表2 mapred-site．mall的配置信息表 统会自动提 醒关注该教学资源的用户。另外，用户下载 Parameter Value
资源之后需要对该资源
mapred．job．tracker http：／／192．168．1．4：9001 低来对不
进行评价，系统会根据评价的高
同用户上传的相似资源进行排序。同时，其他
(要)hdfs—site．xml文件的配置。 用户也可以根据资源评 价来判断某一资源是不是自己
这个文件主要的作用是设置HDFS相关的信息，
该 想要的，资源评价功能的推出能让用户更快、更好地找 文件在基=J：Hadoop的云教学资源平台中的具体配置信
到最优的教学资源。
息，见表3。
表3 hdfs—site．xml的配置信息管理员使用本系统时的情况，如图4所示。与管理
Value Parameter 表 员相关的功能有：审核教学资源、管理普通用户信息、普
!
坐!：堡￡!!!塑!!
通用户权限控制以及集群信息管理等。
core—site．xml文件的配置。
这个文件主要的作用是设置Hadoop集群的全局性
参 数，如I，O属性、日志文件以及临时目录等，该文件在
基于 Hadoop的云；教学资源平台中的具体配置信息，见表 4。
裹4 core—site．mall的配置信息表
Parameter ValRe
hadoop．tmp．dir ／usr／Hadoopltmp
fs．default．nalne hdfs：192．168．1．4：9000
图4管理员用例图
与普通用户相似，系统也只对管理员开发器权限之 3．2分布式计算模型实现 内的功能模块。管理员可以
查看和更改系统的某些配置， 本文所设计的基于Hadoop云-教学资源平台的分布式
计算模型包括两部分，分别是Map和Reduce，其模型，
还可以管理用户的信息和教学资源，监控系统运行的错 如
图5所 误日志信息，保证系统的正常运行，给用户带来最佳的
示。 体验。
A 土 ／主＼，＼ 3系统实现 (M j
f乡( U
丫 1(4：黼：v 3．1 Hadoop平台搭建
为了完成本文所设计的基=f：Hadoop的教学资源平
如n·p姆K々＼
台，首先，需要搭建Hadoop平台。Hadoop的配置文件分为 L———一一
l
Grelt喇l 只读类型的默认文件和定位设置文件两类，默认文件包
括mapred—queues．xml、mapred—default．xml、hdfs—default．xml
以及core—default．xml，定位设置文件包括mapred—queues．
xml、mapred—site．xml、hdfs—site．xmlVA及core—site．xml。我们
通常使用configuration类来读取hadoop 图5系统分布式计算模型 xml形式的
的配置文件，通过
将云教学资源平台中的海量资源数据分割为M个片 resource来定位Hadoop的配置，每个resource都
包含很多的name／value对。下面对需要重点进行配置的文 段进行Map映射操作，产生键值对，然后，对k值进行
操作，产生新的元组，将这些新产生的元组分给为R个片
Group 件进行说明。
(!)Hadoop—env．sh文件的配置。 段进行Reduce归约操作，将输出的数据保存到分布式 数 这个文件主要的作用是设置安装在计算机上的JDK 据库中，从而实现分布式计算模型。
的位置，还可以设置Hadoop守护进程的环境变量，该文 3．3主要模块实现流程图 件在基于Hadoop的云教学资 源平台中的具体配置信息，
限于篇幅，本文主要对用户登录和注册模块、资源
推送模块的流程图进行说明。
见表l。
表1 lhdoop—env．sh的配置信息表 ①用户登录和注册模块。
Parameter ValHe
只有经过注册登录的用户才可以使用系统的功能。
java__home usr／jav叫dkl．6 用户登录注册的流程图，如图6所示。当用户在系统登录
界面输入账号的时候，系统会判断该用户名是否已经存 @)mapred—site．xml文件的配置。
在于数据库的用户信息表中，如果存在就进行用户名和 这个文件主要的作用是设置MapReduce的位置信息
密码的验证工作，否则，系统会提示用户进行注册。 中和运算参数等，该文件在基于Had00p的云教学资源平台 万方数据
M ，审 Kl：v
④
(毒)
“：v
KI：V蛆：y
，上、
KI：vl【l：v眨：7 K3．y酣：Y
Kl：VK2：v 髓：v
owttmt 牵牵({) 孛牵l【3：v．T
94：v,v
K5：T
的具体配置信息，见表2。
在用户注册的时候，用户名、密码、邮箱以及性别等 第34卷第16期
张拥华：基于Hadoop的云教学资源平台设计与实现
27
否
古
图6用户登录注册流程图
信息都是必填的，验证注册信息的时候我们采取邮箱验
图7教学资源推送流程图 证的方式。同时，注册成功的用户在登录之后会拥有自
册登录到云教学资源平台中搜索自己所需要的教学资 己的个人空间，还可以修改自己的资料，添加和关注自
源，提高了老师科研和学生学习的效率。同时，教师和 己感兴趣的教学资源类别。
学生还可以在本系统中进行互动交流，增强师生之间的
②教学资源推送模块。
关系。
教学资源推送功能就是系统智能地、主动地将用户
可能需要的教学资源推送给用户。系统记录用户平常查 参考文献：
看、下载、上传和关注的教学资源类型，然后，对这些记
【l】刘鹏．云计算【M】．北京：电子工业出版社，2010．
录进行分析，从而找出用户对那一类型的教学资源感兴
【2】饶丹鹃．多媒体教学资源云共享平台设计研究【D】．南京：趣。最后，再将云服务器中评分较高的或者是最新更新
南京师范大学，2013．
的这一类型教学资源推送给用户。由于这个功能是系统
【3】闫娟，耿凯峰，刘丽．基：：J：Hadoop平台的教育资源库建设 的主动行为，因此，用户可以选择是否开启此功能。教学
【J】．河南师范大学学报(自然科学版)，2013，41(2)：161—
资源推送功能的流程图，如图7所示。
164．
4 结语
【4]柳俊．基于Hadoop的海量教学资源存储平台的设计与研究
【J】．电脑与电信，2013，(7)：27—29，32．
本文的研究主要是为了解决海量教学资源存储的 [5】蒋宁，李文，李鸿彬．基于Hadoop的云计算辅助教学平台 问题，云教学资源平台使用了当前非常热门的云计算技
研究[J】．中国远程教育，2012，(9)：79—82．
术来进行海量数据的存储和处理。老师和学生都可以注
制出高转换率太阳能薄膜电池
据俄(STRF))科学网站近日消息，俄科学院约飞
在平行的研究中，俄研究人员致力于完善一种 物理技术研究所的研究小组研制出一种新的太阳能
新的产品，基于硅材料的薄膜太阳能电池。2012年， 薄膜电池，这种基于硅材料的太阳能电池组件，其光
日本三洋公司基于晶体非晶体异质结技术的太 阳能 电转换效率理论可达27％。
电池专利到期，俄科学家借助于该专利技术，利用俄 俄(XeBen))公司通过与瑞士合作在俄设厂生产 诺贝尔奖获得者阿尔费罗夫关于光电异质化的研究 太阳 能电池，年产100兆瓦特的薄膜太阳能电池组 成果，研制出一种新的太阳能薄膜电池。这种新的太 件。 瑞士的生产技术保障所产太阳能电池组件光电
阳能薄膜电池基于硅材料，生产中利用等离子化学 转换效率达到8．9％。为完善该技术并进一步提高光
沉降的方法在晶体硅表面形成一层非晶体硅的
纳米 电转换率，2010年，俄(XeBen))公司在约飞物理技术
薄膜。目前该研究中心生产的基于该技术的薄 膜太 研究所建立了薄膜太阳能电池技术研究中心，该中
阳能电池组件的工业样品光电转换率已达
21％，超
心的研究人员逐渐将该种薄膜太阳能电池的光电转 过传统薄膜太阳能电池组件的近2倍。 换效率提高
至10％，进而达到12％。
(来源：科技部网站)
●●●●
万方数据
