当前位置:首页 > 云计算 > 资讯

大数据的产业链分析

2017-01-13 来源:我爱物联网

大数据的产业链分析大数据完整的产业链构成如下图所示,可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节,覆盖了数据从产生到应用的整个生命周期。

大数据的产业链分析

1 数据标准与规范

大数据标准体系是开展大数据应用的前提条件,没有统一的标准体系,数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面,参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。

2 数据安全

随着海量数据的不断增加,对数据存储和访问的安全性要求越来越高,从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外,由于大数据处理主要采用分布式计算方法,这必然面临着数据传输、信息交互等环节,如何在这些环节中保护数据价值不泄露、信息不丢失,保护所有站点的安全是大数据发展面对的重大挑战。在大数据时代,传统的隐私数据内涵与外延有了巨大突破和延伸,数据的多元化与彼此的关联性进一步发展,使得对单一数据的隐私保护方法变得极其脆弱,需要针对多元数据融合的安全提出。在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。

3 数据采集

政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外,利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致,无法直接进行数据挖掘或挖掘结果不理想,需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作,并且往往需要大量的人工参与,因此数据采集和清洗成为大数据产业链的一个重要环节。

4 数据存储与管理

大数据存储与管理的主要参与者以传统数据库企业为主,国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究,形成针对具体领域的产品。

5 数据分析与挖掘

大数据分析与挖掘的意图主要集中在两方面: 一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识,二是对隐性的知识,如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里,国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等,国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围,是大数据产业的核心。

6 数据运维

由于数据的重要性得到普遍认可,除政府部门不具备数据运维服务条件外,数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享,如云上贵州,吸引个人和企业用户开展创新与创业,积极推动大数据的增值服务。

7 数据应用

大数据对传统信息技术带来革命性挑战,正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度,在国际先进的开源大数据技术基础上,形成独自的大数据平台构建和应用服务解决方案,以支撑不同行业不同领域的专业化应用。虽然这些企业在平台构建上有着得天独厚的优势,但是在某些具体业务领域,并不擅长或者关切。传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现,是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变,在转变思维过程中需要积极转变思维,明确出数据共享的方式是什么,数据拥有者的利益如何平衡,商业模式如何开展等等。

资讯相关内容

看了这篇文章的还看了

移动互联网时代的一站式云服务
2016年12月20日,"构建技术产业生态—2016 年度ICT 技术与标准发展研讨会"在北京唯实国际文化交流中心召开。会议围绕“技术产业生态构建、ICT 产业跨界融合以及对
【深度】大数据未来——超级人工智能?
在百度大数据开放大会上,搞计算机学术理论的怀进鹏校长的演讲犹如给所有听众的一记闷棍,怀校长的学术演讲把大家弄得云里雾里,把所有人弄晕了,现场能够听懂的绝对是少数。可能都
2017年云计算投资将持续火爆 五大趋势或将呈现
在2017年,云计算的投资将持续火爆,但是随着企业需求变化,2017年云市场或许将出现如下五大趋势。多重云将成为新常态随着许多公司投资公有云和私有云服务,2017年将会有更多的企业
服务器租用商分析云计算未来发展趋势
在过去的5年中,云计算帮助企业成功地改造自身,但是专家认为,云计算市场的第二波浪潮即将来袭,具体表现为在数据中心中建立并托管公有云和私有云服务。在ForresterResearch的一份
三类企业竞相抢占市场 云计算产业遇阻
近年来,云计算技术得到蓬勃发展,增长快速。云计算已经成为当前信息技术产业发展和应用创新的热点。在我国,云计算已度过了初期的市场培育、概念炒作阶段,目前进入到了具体的产品