欢迎访问江苏省计算机学会网站!    设为首页  |  收藏本站
江苏省计算机学会
  •  当前位置首页 > 会员中心 > 成果专利
    会员中心  
    注册登录
    专家介绍
    学会领导
    专家风采
    专家报告
    会员产品
    招聘求职
    技术需求
    成果专利
    文件下载
     
    成果专利
    万物云智能硬件大数据托管平台
    发布时间:2018-12-18 13:43:08



    一、技术的创造性与先进性:

    万物云智能硬件大数据托管平台是云创大数据自主研发的高科技系统产品,采用了最先进的物联网技术、云计算技术、网络通信技术、分布式文件系统云存储技术和网格化云技术,开创了智能硬件数据的新局面,填补了物联网大数据的空白。智能硬件大数据平台可以进行大数据分析和推演,对相关的情况进行预警。万物云的门户网站下的用户中心提供了用户控制台功能,用户可以管理自己的应用及应用下的资源,包括数据表和接入服务的智能硬件,实时监控数据提交和应用情况以及系统性能,能够给更专注于相应的业务开发,提高生产力。

    二、技术的成熟度:

    本项目产品在完成了中试的基础上,发布了万物云V1.0智能硬件数据托管平台, 目前该平台已经在线试用阶段,注册用户已有2122名用户,创建应用1109个,接入设备19344台,实现上传数据72亿多条数据。

    针对数据平台技术研发方面,公司建立一套具有高可靠、可在线弹性伸缩,满足高吞吐量并发访问需求的数据平台,为数据存储、托管以及数据处理提供便捷、统一管理和高效应用的基础平台支撑。该技术已经授权软件著作权1项。

    针对数据储存技术研发方面,项目创业团队研发了实现面向办公应用的双机容错服务系统及其数据存储方法,建立了一种超大规模低成本存储系统,并通过试验验证,实现海量数据储存。该技术已经授权了1项国家发明专利,授权3项实用新型专利。

    针对数据快速访问机制研发方面,项目创业团队研发了客户端与存储服务器之间进行存储数据流传输;将大于阈值的数据文件均匀分割为各个数据块,分布式存储在每个数据存储服务器上;单个数据文件读写并发进行。试验结果表明,用户在访问平台上数据时达到低延迟、快速访问。

    该技术已经授权了1项国家发明专利。

        针对数据储存安全研发方面,项目创新团队开发了应用于分布式存储系统的超安存编解码方法,提出了RS算法融入储存系统中,并在储存过程中实行安全隔离,保证用户数据独立,建立安全码机制,保证智能硬件数据安全有效接入。该技术已经授权了1项软件著作权保护。

    针对平台应用方面,项目创新团队开发了基于平台承担平台的PM2.5云监测平台,构建了物联网感知网络,采用了最先进的物联网技术、云计算技术、网络通信技术、分布式文件系统云存储技术和网格化云监测技术,开创了环境监测的新局面,填补了监测技术的空白。其功能和稳定性达到用户的要求,相关技术已经申请2项国家发明专利,4项实用新型专利,获得1项软件著作权保护。

    参照目前国际上云存储的技术指标,本平台具备清晰、简明、完善的便捷应用特点;后台数据存储架构毫秒级读写延迟、硬件提交数据秒级查询的极速性能;多用户多应用数据隔离机制,专业的数据副本机制的安全可靠;海量规模、低廉成本的数据托管平台,可知本项目相关技术指标已经达到了国际先进水平,技术上成熟可行的。

    三、立项情况:

    该项目经公司批准于20161月份正式立项,由刘鹏教授和平台部技术经理沈大为牵头负责,研发团队共计11人,本科以上学历100%。目前,公司已有办公生产面积2600 m²,包括软件开发办公区、系统测试区、硬件装配检测区等。研发部门配置了各类软硬件系统开发所需计算机、服务器、测试设备等,包括5套系统集群用于软件开发测试,数十台台式机笔记本开发终端,硬件开发与检测设备等。公司的软件开发环境包括CentOS Linux 5.6 PerlShellPython脚本等,开发工具包括,EclipseLinux CJAVA、采用千兆以太网、InfiniBand网络,以及MySQL数据库等基本具备了产品研发、中试、批量生产以及仓储等功能化、综合型研发基地,初步形成云存储产品组件及核心部件100/年的产能和规模。

    本项目拟将建成2600平米的集研发、管理一体的研究中心。建设万物云智能硬件大数据服务平台实验室,同时建立一个能够满足120人的研发团队进行开发的现代化开发平台,由服务器、台式机以及其他高性能的网络和测试设备组成的百万级用户的测试平台。该项目公司拟投入总金额800万元,其中500万元为单位自筹,300万元为银行贷款。

    四、技术原理及性能指标:

    万物云智能硬件大数据托管平台提供快捷方便的硬件接入方式,支持支持主流物联网设备通讯协议TCP/IPHTTP以及轻量级通信协议MQTT,支持JSON数据格式协议,数据上报使用了间断式连接,大大降低了设备上的代码足迹和及数据带宽和流量。主要涉及到以下核心技术:

    1)高速并发访问技术

    面向工业互联网市场提供平台服务,必将面临着海量数据吞吐、用户应用/设备的高并发访问压力。本平台采用了自主研发的cProc云处理系统来进行底层数据的高速实时处理。cProc云处理系统采用分布式云处理方式,具备强大的数据并行吞吐和实时处理支撑能力,其数据入库、查询调用效率都远高于市场同类数据处理软件。此外,cProc云处理系统具备良好的性能扩展能力,处理能力随系统规模呈线性上升,能够灵活的随万物云平台数据处理压力的增长而逐步扩展,能够有效的降低万物云平台运营初期的系统建设成本。

            cProc云处理系统的大规模数据处理承载能力,已在江苏省移动公司获得了实际实施部署案例的实践检验,性能表现良好。

    2)分级存储技术

    分级存储技术,把智能硬件、物联网存储数据根据信息的重要性、访问频率等对信息进行了分级存储,将文件的元数据等访问频繁的重要信息时刻保持在线存储,开机后保存在内存中,可以随时读取和修改,以满足前端应用服务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储,一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线,如通过网络唤醒等,

    3)数据缓存技术


    数据缓存是将数据暂存于内存缓存区中的一种技术,主要是为了提高数据的读取速度。系统读取磁盘的速度要比读取内存的速度慢千倍,因此数据缓存成为对实时性有较高要求的物联网系统的必要组成部分。

    缓存技术中最重要的是缓存策略。缓存策略包括三个方面:缓存什么内容;何时进行缓存;缓存区满时如何进行内容替换。缓存策略中得到最广泛关注的是缓存替换算法。衡量缓存替换算法好坏的指标有缓存命中率和缓存缺失率。

    当系统发起数据查询请求时,如果所请求的数据在缓存区中,称为缓存命中;如果所请求的数据不在缓存区中,称为缓存缺失。设计良好的缓存替换算法应该实现较高的缓存命中率。缓存替换算法可分为以下几类:

       ①基于访问时间的缓存算法

    基于访问时间的缓存算法依据各缓存项的访问时间确定替换的缓存项,以实现缓存的更新,如LRUMRU


    LRU算法简单实用,应用非常广泛。算法假定最近访问过的缓存项比更早之前访问过的缓存项有更大的访问概率。算法维护一个缓存项队列,当队列满时,替换掉队尾的访问时间最久的缓存项,并将新缓存项添加到队头。算法没有考虑访问频率的因素,有时候无法获得理想的缓存命中率。算法的替换策略与相反,当缓存队列满时,替换访问时间最近的缓存项。算法假定刚访问过的数据短时间内不会再被访问。


    基于访问频率的缓存算法


    基于访问频率的缓存算法依据各缓存项的访问频率确定替换的缓存项,以实现缓存的更新,如LFU


    LFU算法统计每个缓存项的访问次数,将缓存项按访问次数排序。如果缓存空间满了,则替换掉缓存中访问次数最少的缓存项。同样的,因为仅依照各缓存项的访问次数排序,没有考虑访问时间的因素,在某些数据访问模式下无法获得理想的缓存命中率。对于访问次数很多,但是不再使用的缓存项,很难通过算法清除。于是便有算法,一个缓存项被访问时,之前的访问次数乘以小于的系数,使得访问时间越久的数据的权重也越低。


    兼顾访问时间与频率的缓存算法


    兼顾访问时间与频率的缓存算法既考虑时间因素,也考虑频率因素,如LRFU。这类算法一般通过一个参数,实现时间和频率因素比重的分配,实现良好的缓存效果。


    LRFU通过参数λ实现时间和频率两个因素的比重分配,当λ=0时,LRFU算法和LFU算法一致;而当λ=1时,该算法和LRU算法一致;λ01的过程中,LRFU算法逐渐由LFU过渡到LRULRFU为每个缓存项维护一个权值WW与访问频率和访问时间相关,需要替换缓存项时,W最小的缓存项被删除。


    4JSON数据交换技术


    JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScriptStandard ECMA-262 3rd Edition - December 1999)的一个子集。JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使JSON成为理想的数据交换语言。JSON作为一种更轻、更友好的Web services客户端的格式(多采用浏览器的形式或访问REST风格Web服务的Ajax应用程序的形式),它能够使得数据格式成为一种标准,更简单的被JavaScript解析。


    简化了数据访问。使用这些数据分隔符时,JavaScript引擎对数据结构(如字符串、数组、对象)的内部表示恰好与这些符号相同,这将开创一条比DOM技术更为便捷的数据访问途径。


    JSON的另一个优点是它的非冗长性。在XML中,打开和关闭标记是必需的,这样才能满足标记的依从性;而在JSON中,所有这些要求只需通过一个简单的括号即可满足。在包含有数以百计字段的数据交换中,传统的XML标记将会延长数据交换时间。通过简单的字节数比较发现,对于等效的JSONXML有效负载,前者总是小于后者。


    5)基于规则引擎的事件处理技术


    利用内建的规则引擎,万物云平台可以高效实时处理大量设备或应用的事件。例如,用户可以针对任何一台设备设置数据高低限,一旦收到的设备数据超限,可实时按预设规则处理。架构上按照生产者消费者模式设计,实现了数据接入,规则过滤,执行处理三大模块。单台服务器可每秒处理5000个事件,并可横向无限扩展。


    基础功能 符合规则的数据结果处理器平行可扩展,目前已实现数据超限报警,并可通过邮件提醒。规则触发器也可推送至用户指定的第三方系统处理接口,也可结合短信平台实现短信息推送。


    高级功能 复杂规则可以实现自定义规则组合,例如平台可以针对设备按照规则做出离线提醒。自定义规则可以热部署执行。


    6)设备数据快捷访问接口


    万物云上任何一台设备都有一套实时和历史数据的快捷访问接口。支持指定时间点的前向,反向设备原始数据和统计数据查询,包括时段平均,时段极限值,时段统计值等。


     


    该项目的产品主要性能指标如下:


    1)高效性


    平台在高效率并行分布式软件的支撑下,可以实时完成应用数据入库、分析和管理工作,如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象,各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。


    2)安全性


    数据是平台核心应用的最终保障,不但要保证平台能够7X24运行,而且存储系统必须有高可用性,以保证第三方应用系统对数据的随时存取。同时配置安全的备份系统,对应用数据进行更加安全的数据保护,降低人为操作失误或病毒袭击给系统造成的数据丢失。


    在进行平台设计时,分别对应用层和硬件层构建了高度可靠的安全体系框架:


    硬件层:充分考虑数据可靠存储,进行有效的安全访问控制,实现故障屏蔽、自动冗余重建等智能化安全可靠措施,提供统一的系统管理和监控平台,进行有效的故障定位、预警。


    应用层:对当前已知的网络攻击构建牢固的防御策略,同时针对用户的数据安全提供了如多用户多应用数据隔离机制、专业的数据副本机制等6层安全防护机制。


    3)可靠性


    基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽,而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MapReduce Job Tracker节点、MapReduce Worker节点等。


    4)开放性


    平台建设具有开放性的标准体系,提供多平台的开放应用API编程接口,提供人性化的应用和管理界面,以满足用户需求。遵循规范的通用接口标准,使全系统中的硬件、通信、软件、操作平台之间的互联共享。充分考虑平台的升级和维护问题,维护采用在线式的,即在系统不停止工作的情况下,可以对平台进行升级。


    五、应用情况及存在问题


     万物云智能硬件大数据托管平台可应用在多个领域,如在环境监测应用市场,本项目产品可以填补了国内对基于大数据技术的环境监测系统的空白。通过建立环境数据平台及相关智能硬件设备,并以在初步形成的国内外市场优势的基础上,后期目标市场主要集中为大数据服务市场,主要定位为环境监测、预警服务,地震预警服务,民生服务等大数据应用、服务市场。目标客户可以是传感器制造商、环境监测机构、科研院所或者环境服务提供商等。例如在工业互联网应用行业市场,帮助工业互联网企业突破数据集成、平台管理、开发工具、微服务框架、建模分析等关键技术瓶颈,形成有效支撑工业互联网平台发展的技术体系和产业体系。


    目前万物云智能硬件大数据托管平台已经和多家企业签订了战略合作协议和项目合同,并取得其认可,使用效果满意。企业包括江苏京东信息、南京感动科技、上海凯盛朗坤信息、南京西奥仪表测控等。


    六、投资回收期


    本项目2016年度,2017年度及未来三年内年实现经济效益如下:


    财务经济情况


                                                                单位:万元


    序号

    类别

    年份

    2016

    2017

    2018(预测)

    2019

    (预测)

    2020

    (预测)

    1

    销售收入(不含税)

    1500

    3500

    6000

    9000

    12000

    2

    销售成本

    140

    1700

    2700

    4400

    5990

    3

    销售毛利

    760

    1800

    3300

    4600

    6200

    4

    销售税金及附加

    32

    73

    114

    156

    213

    5

    销售费用

    80

    177

    350

    500

    700

    6

    研发费用

    280

    419

    950

    1352

    1611

    7

    管理费用

    50

    120

    200

    上一篇:南京大学陈振宇互联网智能化测试技术
    下一篇:基于无线传感网技术的智慧商城应用系统
    友情链接:
    江苏省科学技术协会 中国计算机学会 南京大学 南京大学计算机科技与技术系 南京大学软件学院 东南大学计算机科学与工程学院 江苏经贸职业技术学院 南京信息职业技术学院 南京工业职业技术学院 江苏海事职业技术学院 常州信息职业技术学院 国网电力科学研究院 电子科技集团第28研究所 江南计算技术研究所 
       
     

    Copyright (c) 版权所有 江苏省计算机学会          南京网站建设公司
    秘书处办公室       地址: 江苏省南京市仙林大道163号  邮编:210023   电话/传真:025-89680909   
    秘书处市内联络点   地址: 江苏省南京市汉口路22号     邮编:210093   电话/传真:025-86635622
    电子邮箱:jscs@nju.edu.cn   网址:www.jscs.org.cn    技术支持:南京成旭通信息技术有限公司  

    网站备案号:苏ICP备14049275号-1

    您是本站第27831184位来客!