基于访问时间的缓存算法依据各缓存项的访问时间确定替换的缓存项,以实现缓存的更新,如LRU、MRU。
LRU算法简单实用,应用非常广泛。算法假定最近访问过的缓存项比更早之前访问过的缓存项有更大的访问概率。算法维护一个缓存项队列,当队列满时,替换掉队尾的访问时间最久的缓存项,并将新缓存项添加到队头。算法没有考虑访问频率的因素,有时候无法获得理想的缓存命中率。算法的替换策略与相反,当缓存队列满时,替换访问时间最近的缓存项。算法假定刚访问过的数据短时间内不会再被访问。
②基于访问频率的缓存算法
基于访问频率的缓存算法依据各缓存项的访问频率确定替换的缓存项,以实现缓存的更新,如LFU。
LFU算法统计每个缓存项的访问次数,将缓存项按访问次数排序。如果缓存空间满了,则替换掉缓存中访问次数最少的缓存项。同样的,因为仅依照各缓存项的访问次数排序,没有考虑访问时间的因素,在某些数据访问模式下无法获得理想的缓存命中率。对于访问次数很多,但是不再使用的缓存项,很难通过算法清除。于是便有算法,一个缓存项被访问时,之前的访问次数乘以小于的系数,使得访问时间越久的数据的权重也越低。
③兼顾访问时间与频率的缓存算法
兼顾访问时间与频率的缓存算法既考虑时间因素,也考虑频率因素,如LRFU。这类算法一般通过一个参数,实现时间和频率因素比重的分配,实现良好的缓存效果。
LRFU通过参数λ实现时间和频率两个因素的比重分配,当λ=0时,LRFU算法和LFU算法一致;而当λ=1时,该算法和LRU算法一致;λ从0到1的过程中,LRFU算法逐渐由LFU过渡到LRU。LRFU为每个缓存项维护一个权值W,W与访问频率和访问时间相关,需要替换缓存项时,W最小的缓存项被删除。
4)JSON数据交换技术
JSON(JavaScript Object Notation)是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript(Standard ECMA-262 3rd Edition - December 1999)的一个子集。JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C, C++, C#, Java, JavaScript, Perl, Python等)。这些特性使JSON成为理想的数据交换语言。JSON作为一种更轻、更友好的Web services客户端的格式(多采用浏览器的形式或访问REST风格Web服务的Ajax应用程序的形式),它能够使得数据格式成为一种标准,更简单的被JavaScript解析。
简化了数据访问。使用这些数据分隔符时,JavaScript引擎对数据结构(如字符串、数组、对象)的内部表示恰好与这些符号相同,这将开创一条比DOM技术更为便捷的数据访问途径。
JSON的另一个优点是它的非冗长性。在XML中,打开和关闭标记是必需的,这样才能满足标记的依从性;而在JSON中,所有这些要求只需通过一个简单的括号即可满足。在包含有数以百计字段的数据交换中,传统的XML标记将会延长数据交换时间。通过简单的字节数比较发现,对于等效的JSON和XML有效负载,前者总是小于后者。
5)基于规则引擎的事件处理技术
利用内建的规则引擎,万物云平台可以高效实时处理大量设备或应用的事件。例如,用户可以针对任何一台设备设置数据高低限,一旦收到的设备数据超限,可实时按预设规则处理。架构上按照生产者消费者模式设计,实现了数据接入,规则过滤,执行处理三大模块。单台服务器可每秒处理5000个事件,并可横向无限扩展。
基础功能 符合规则的数据结果处理器平行可扩展,目前已实现数据超限报警,并可通过邮件提醒。规则触发器也可推送至用户指定的第三方系统处理接口,也可结合短信平台实现短信息推送。
高级功能 复杂规则可以实现自定义规则组合,例如平台可以针对设备按照规则做出离线提醒。自定义规则可以热部署执行。
6)设备数据快捷访问接口
万物云上任何一台设备都有一套实时和历史数据的快捷访问接口。支持指定时间点的前向,反向设备原始数据和统计数据查询,包括时段平均,时段极限值,时段统计值等。
该项目的产品主要性能指标如下:
1)高效性
平台在高效率并行分布式软件的支撑下,可以实时完成应用数据入库、分析和管理工作,如数据汇总、数据上报、数据入库、数据查询、数据计算和数据管理等。海量数据入库不会出现数据堆积现象,各类分析和查询工作基本都在秒级完成,具有前所未有的高效性。
2)安全性
数据是平台核心应用的最终保障,不但要保证平台能够7X24运行,而且存储系统必须有高可用性,以保证第三方应用系统对数据的随时存取。同时配置安全的备份系统,对应用数据进行更加安全的数据保护,降低人为操作失误或病毒袭击给系统造成的数据丢失。
在进行平台设计时,分别对应用层和硬件层构建了高度可靠的安全体系框架:
硬件层:充分考虑数据可靠存储,进行有效的安全访问控制,实现故障屏蔽、自动冗余重建等智能化安全可靠措施,提供统一的系统管理和监控平台,进行有效的故障定位、预警。
应用层:对当前已知的网络攻击构建牢固的防御策略,同时针对用户的数据安全提供了如多用户多应用数据隔离机制、专业的数据副本机制等6层安全防护机制。
3)可靠性
基于对云计算可靠性深厚的研究积累,彻底解决了当前分布式计算平台易出现的单点故障问题。任何一个节点出现故障,系统将自动屏蔽,而且不会出现丢失数据的现象。包括查询任务分配节点、计算任务分配节点、HDFS元数据节点、HDFS数据存储节点、MapReduce Job Tracker节点、MapReduce Worker节点等。
4)开放性
平台建设具有开放性的标准体系,提供多平台的开放应用API编程接口,提供人性化的应用和管理界面,以满足用户需求。遵循规范的通用接口标准,使全系统中的硬件、通信、软件、操作平台之间的互联共享。充分考虑平台的升级和维护问题,维护采用在线式的,即在系统不停止工作的情况下,可以对平台进行升级。
五、应用情况及存在问题
万物云智能硬件大数据托管平台可应用在多个领域,如在环境监测应用市场,本项目产品可以填补了国内对基于大数据技术的环境监测系统的空白。通过建立环境数据平台及相关智能硬件设备,并以在初步形成的国内外市场优势的基础上,后期目标市场主要集中为大数据服务市场,主要定位为环境监测、预警服务,地震预警服务,民生服务等大数据应用、服务市场。目标客户可以是传感器制造商、环境监测机构、科研院所或者环境服务提供商等。例如在工业互联网应用行业市场,帮助工业互联网企业突破数据集成、平台管理、开发工具、微服务框架、建模分析等关键技术瓶颈,形成有效支撑工业互联网平台发展的技术体系和产业体系。
目前万物云智能硬件大数据托管平台已经和多家企业签订了战略合作协议和项目合同,并取得其认可,使用效果满意。企业包括江苏京东信息、南京感动科技、上海凯盛朗坤信息、南京西奥仪表测控等。
六、投资回收期
本项目2016年度,2017年度及未来三年内年实现经济效益如下:
财务经济情况
单位:万元
序号
|
类别
|
年份
|
2016
|
2017
|
2018(预测)
|
2019
(预测)
|
2020
(预测)
|
1
|
销售收入(不含税)
|
1500
|
3500
|
6000
|
9000
|
12000
|
2
|
销售成本
|
140
|
1700
|
2700
|
4400
|
5990
|
3
|
销售毛利
|
760
|
1800
|
3300
|
4600
|
6200
|
4
|
销售税金及附加
|
32
|
73
|
114
|
156
|
213
|
5
|
销售费用
|
80
|
177
|
350
|
500
|
700
|
6
|
研发费用
|
280
|
419
|
950
|
1352
|
1611
|
7
|
管理费用
|
50
|
120
|
200
|
|
上一篇:南京大学陈振宇互联网智能化测试技术
下一篇:基于无线传感网技术的智慧商城应用系统
|