“大数据”时代下如何处理数据?

如题所述

大数据被越来越多的人提起,其价值也逐渐深入人心。但,大数据是如何处理的,很多人并不知道。其实,通常大数据处理方式包括两种,一种是实时处理,另一种则为离线处理。

1.实时处理方式

现实生活中,需要我们对某些大数据进行及时处理,然后进行快速呈现,

我们可以将日常生活中产生的数据想象成水流,流处理方式就是在处理这些水流,数据“水流”不断流入到实时处理分析引擎中。

需要注意的是,这个引擎并不会对数据进行积压,而是不停的进行加工,并对将结果数据快速流入相应业务场景中,从而让数据得到快速呈现。

比较常见框架包括Storm,Spark和Samza。

2.离线处理

离线处理方式已经相当成熟,它适用于量庞大且较长时间保存的数据。在离线处理过程中,大量数据可以进行批量运算,使得我们的查询能够快速响应得到结果。

商业中比较常见的,就是使用HDFS技术对数据进行储存,然后使用MapReduce对数据进行批量化理,然后将处理好的数据进行存储或者展示。其中,HDFS是一种分布式文件系统,而MapReduce则是一种分布式批量计算框架。

温馨提示:答案为网友推荐,仅供参考
第1个回答  2017-10-22

现在科技发达有许多能把复杂的东西用一个小工具就能做好,科技的进步我们也要进步,要适应社会的发展,跟着时代走,学会先进的工具,就会简化我们的生活,为了更方便的处理方法,你还在等什么呢?

在工作当中经常遇到数据统计,在以前计算和整理数据需要很长的时间,浪费时间就算了,还可能把数据整理错了,错误的数据交上去的话,会给你所在公司造成损失的,这种错误是经常出现的,不但费时费力,好吃力不讨好的工作。

当然了,现在科技这么发达,就有了许许多多的电子产品出现,它们可以帮助你解决难题。比如大数据如何处理吧,大数据就是因为数据太多,太复杂,所以计算和整理起来有些困难。

不要担心他的麻烦,因为我们有Excel表格。这个表格包含很多东西,大数据通过一定的方法,几分钟就可以求出你几天来的成果,而且它是比较可靠准确的。

节省了宝贵的时间,这样公司也不会担心数据有误了。学好Excel很重要,现在大学生都会学计算机应用基础,在这本书中你会学会表格怎么做,word怎么做等。让你从零基础学起,你也可以选择在家自学,在网上找一些制作表格的方法及其理论。

处理数据应用适当的方法,你就可以轻轻松松的整理资料。不要认为这很简单,他也有难处的,没有老师教的情况下,光看书是不行的,因为有些理论你是看不懂的。

第2个回答  2017-11-10
数据分析目前国内的佼佼者是FineBI,多维OLAP分析是BI工具分析功能的集中体现,其应用特性主要体现在两方面:一是即时查询到效果(Online),这要求后台数据的计算速度和前台浏览器的展示速度都要很快;二是多维度自定义分析,这要求BI工具的多维数据库应该具有较大的灵活性,可以随用户的要求组合任意的指标和维度。只有同时满足这两个特性的交互分析过程,才是多维OLAP分析,才能保障用户即时看到其分析需求对应的数据统计结果,以及通过切换维度和改变条件等方式,满足根据上一步的结果即时产生的新的分析需求。
第3个回答  2021-05-24

你好,大数据是指巨量的数据,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

当下,大数据技术作为新兴技术被许多互联网大厂所需,以华为为例。

1、华为云推出大数据稽核方案解决偷逃费

很多朋友可能发现,部分省界收费站变少而ETC通道在增加,高速公路的出行体验比以前更加顺畅。然而,在公众体验节省费用、便捷通行等利好的同时,高速公路的管理运营单位却饱受新情况的困扰。

部分车主偷逃费方式多样化,包括换卡逃费、车头挂车分离逃费、倒换电子标签、ETC车道跟车逃费等。同时偷逃费行为向专业化、团伙化演变,给高速运营单位带来大量经济损失和严峻挑战。

目前收费卡口仍主要使用传统稽核方法。传统方式通常基于初步的车辆行驶异常信息作筛查依据,如频繁进出站等,却难以发现大量逃费,存在的主要问题是:

大数据分析应用较少,缺乏数据深度分析

基本以收费数据为主,视频/图片等辅助证据不足

依赖大量人工进行稽核,效率低下

针对传统稽核方法的不足之处,华为云正式推出高速公路大数据稽核解决方案。

该方案基于华为云业界领先的云数字平台,结合华为在高速公路行业的深厚积淀,利用大数据、人工智能、云计算等技术,实现了海量通行记录数据的偷逃费自动分析,并结合门架摄像头抓拍的图像记录实现偷逃费车辆的精准识别,保障高速业主收益。

华为云大数据稽核解决方案包括三大平台:

AI边缘稽核平台,基于华为自研鲲鹏920和升腾310芯片+智能边缘平台IEF Edge架构,实现30+车辆特征和上万种车型的识别、稽核场景的实时处理,车辆通行照片的存储;

大数据稽核平台,主要包括基础设施层、平台层、使能层、应用层:

基础设施层:提供计算、存储、网络等基础资源

平台层:提供智能数据湖平台DAYU、AI开发平台ModelArts、边缘管理平台IEF、数据库及中间件等通用平台及组件

使能层:提供车辆识别算法、以图搜图、路径还原等基础能力

应用层:包括稽核系统、客服系统等其他公共服务类系统,其中稽核系统主要实现偷逃费模型、通行记录分析、证据链管理、信用管理、黑白名单管理等稽核相关功能

车辆特征训练开发平台,实现新的车型识别和车辆特征识别能力的持续提升,车辆异常通行照片的持久存储;其中ModelArts是一站式AI训练开发平台,提供车型和车辆特征的海量数据预处理及半自动化标注、大规模分布式训练、车辆识别模型自动化生成、云边按需部署模型等能力。

2、华为大数据工程师

华为云致力于为客户提供高度可信的业务运行环境,易获取、按需使用、弹性扩展的云安全服务,帮助客户保护云上的应用系统和重要数据,华为云已获得了CSA STAR、ISO安全体系等20多个安全合规认证,并在2018年就高分通过了等保四级测评。

目前,包括腾讯、阿里等互联网头部企业在内的大厂,均在积极使用大数据、云计算等技术为产品赋能。

例如最早使用大数据技术实现音乐推荐个性化的网易云音乐、在电商平台普遍使用的商品推荐功能等等,均是基于大数据技术运用的代表,可以说大数据、云计算仍是当下的红利岗位。。



希望我的回答对你有所帮助!

本回答被网友采纳
相似回答