大发快三线路检测_有在大发快三害死人发烧友网 > 物联网 > 正文

数据湖架构选它的理由是什么

2019年10月12日 14:20 次阅读

随着大数据的重要性和接受度的提高,人们也越来越需要考虑如何组织和托管大数据。答案之一是数据湖,在数据准备和组织方面最广泛的数据体系结构系统。

简单地说,它允许企业首先存储数据,然后在需要时检索数据。就像一个存储单元,你只是把你的东西存储,并在未来需要的时候找出来。

数据湖架构选它的理由是什么

这种方法与传统的数据仓库截然不同,传统的数据仓库需要对数据进行结构化,且通常在记录数据之前采用类似表格的形式。数据仓库是一种固定形式的解决方案,它不是敏捷的,同时意味着额外的重新配置成本。但迄今为止,它一直是全球企业的首选。

那么,将数据湖作为数据管理选项的主要原因有哪些?

削减成本

因为在存储数据之前不需要设计数据的模式,所以没有前期的开发费用。且处理数据湖的Hadoop系统是开源的,因此没有额外的软件许可成本。

与传统数据仓库的不同之处在于,有了数据湖,ETL阶段就完全没有了。您不必知道存储在湖中的数据类型或者有多少字段。删除ETL过程意味着没有与许可、维护或增长数据结构相关的成本。

敏捷性

添加新单元或单个新项目可能会改变现有的整个数据结构,从而引发额外的成本。此外,进行这些更改所需的实现时间可能从几天到几周不等。

在数据湖中,所有的数据都已经存储,并且只有很少的变化,您可以随时查询。

这种方法帮助企业在当今不断变化的数据世界中保持敏捷性。未来几年里可能会出现新的数据格式,其中一些甚至是现在还无法预见的。因此,企业数据存储系统需要足够灵活,在不进行重大结构更改的情况下满足所有既定和突发要求。

多种格式

数据湖可以处理各种数据格式。即使数据湖中的一些数据看起来与其他数据无关,但从整体的角度进行组合和分析时,它可以提供基本的业务见解。

例如,如果一个数据湖包含关于客户的记录,比如姓名、年龄、去年的支出,以及客户在网上商店的行为统计图,很难看出这些细节和销售线索之间的直接联系。然而,把所有的东西放在一起,可以发现一定年龄的客户往往会更快地做出购买决定,这可能会影响销售策略。

除了多种格式,还有关于数据源的上下文透视图。最常见的资源包括面向客户的应用程序、BI应用程序、销售日志等。物联网的兴起将增加数据源和格式的数量,使数据湖成为唯一可靠的解决方案。

人工智能

由于数据湖使用非结构化数据,因此不适合使用传统的基于sql的工具进行查询。相反,由于大多数数据都具有合适的3v(体积、速度、多样性),因此可以将其视为大数据并用于训练人工智能算法。

实际上,拥数据湖的目标是让信息实时(或几乎实时)准备好进行处理。这种动态的方法为公司提供了立即反应的机会。将所有数据放在同一个位置意味着在分析之前检索数据的时间更少。

灵活性和规模

数据湖最典型的特性可能是其可伸缩性和灵活性,它可以适应企业数据的任何变化,而不需要对基础设施进行重大更改。由于整个架构是基于云的,通常通过按使用量付费的业务模型进行访问,所以任何升级或降级都意味着只需更改您的支付计划。

这种灵活性与不能实时修改的遗留系统形成了对比。数据湖可以很容易地添加或合并数据。就像是现实中的湖泊,它可以由多条河流汇集,并且可以随时添加新的河流,而不会干扰之前的设置。与此同时,遗留系统就像一个装水设施,任何改变都需要更多的瓶子、更多的标签和重新安排时间。

局限

尽管数据湖有很多优势,但也并不是万无一失的解决方案,也绝对不是万能药。数据湖最大的风险在于,它们可能会变成数据沼泽,数据可能会被毫无意义地丢弃。

所有保存的数据流都应该与项目中的kpi和业务目标相结合。避免信息瘫痪的一种方法是创建可视化仪表板,通过仪表板,数据可以被正确显示,即使不是数据库学家也可以理解数据。

来源:IT168

下载发烧友APP

打造属于您的人脉大发快三线路检测_有在大发快三害死人圈

关注大发快三线路检测_有在大发快三害死人发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

大发快三线路检测_有在大发快三害死人发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

30天搞定STM32物联网实战

课程介绍:         &
发烧友学院发表于 2018-06-13 00:00 47491次阅读
30天搞定STM32物联网实战

切入物联网赛道企业正迫切探索的问题

作为国家高新技术企业,精讯畅通已获得多项专利及软件著作权,已形成较高技术壁垒。目前已经下发或者申请中....
发表于 2019-10-12 16:41 9次阅读
切入物联网赛道企业正迫切探索的问题

区块链数据时代由谁来做主

区块链技术是实现“第二代互联网”愿景的重要途径。去中心化的架构可以解决目前数字资产的“私有化确权”和....
发表于 2019-10-12 16:17 5次阅读
区块链数据时代由谁来做主

百亿元半导体产业链雏形显现

台湾半导体产业园项目的加速迈进只是句容 “芯”力量快速崛起的缩影,2018年落户的壹度科技项目建设发....
发表于 2019-10-12 14:53 57次阅读
百亿元半导体产业链雏形显现

意法半导体工业巡演北京站顺利举办

陆春雷指出,尽管受贸易战,去库存等大环境的影响,全球半导体市场产生了下滑,但对于意法半导体而言,营收....
发表于 2019-10-12 14:41 64次阅读
意法半导体工业巡演北京站顺利举办

卖微波炉的格兰仕开始做芯片了!

此外,TCL集团董事长李东生也表示,TCL已成立了半导体芯片集成电路的投资产业基金;3月26日,美的....
发表于 2019-10-12 14:32 33次阅读
卖微波炉的格兰仕开始做芯片了!

什么时候才能使用EvoStudio工作室?

EvoStudio工作室是一套开发工具,用于开发使用Web技术的移动应用程序。EvoStudio工作室是专为开发物联网应用而设...
发表于 2019-10-12 13:44 20次阅读
什么时候才能使用EvoStudio工作室?

物联网解决方案在大数据中的应用有哪些

数据分析。在处理物联网生成的大数据时,我们有机会超越监测,并从这些数据中获得有价值的见解:识别趋势,....
发表于 2019-10-12 11:31 17次阅读
物联网解决方案在大数据中的应用有哪些

物联网技术在各个行业中的应用体现介绍

物联网是一个由相互关联的计算设备、机械和数字机器、物体、动物或人类组成的系统,它们拥有唯一的标识符,....
发表于 2019-10-12 11:25 28次阅读
物联网技术在各个行业中的应用体现介绍

物联网中的六种关键技术介绍

低功耗广域网是物联网中的新现象。该系列技术通过使用小型的、廉价的电池提供长达数年的远程通信服务,旨在....
发表于 2019-10-12 11:20 35次阅读
物联网中的六种关键技术介绍

智能家电应用现在还为时过早吗

AI芯片的性价比快速提高,由于要软件、硬件结合,所以需要组建芯片、算法团队,并且让负责软件和硬件的团....
发表于 2019-10-12 10:55 23次阅读
智能家电应用现在还为时过早吗

智能家居怎样做可以实现全球化

智能家居市场的竞争不仅限于软硬件技术,同时也是对满足用户需求能力的竞争。
发表于 2019-10-12 10:49 31次阅读
智能家居怎样做可以实现全球化

“第六届全球集成电路。传感器高峰论坛”在黄埔区、...

“全球集成电路。传感器高峰论坛”已连续举办六届,本届大会以“用‘芯’感知,物联世界”为主题,延续了往....
发表于 2019-10-12 10:49 204次阅读
“第六届全球集成电路。传感器高峰论坛”在黄埔区、...

智慧轨道交通可以解决哪种“城市病”

特大型的城市中,城市轨道交通绝对是解决“城市病”的重要方法,如果智慧车站能够具体地解决城市痛点,那人....
发表于 2019-10-12 10:27 25次阅读
智慧轨道交通可以解决哪种“城市病”

领先的物联网无线技术你了解哪一些

物联网用例选择最佳的无线技术意味着要在范围、带宽、服务质量、安全性、功耗和网络管理方面准确地权衡标准....
发表于 2019-10-12 10:02 30次阅读
领先的物联网无线技术你了解哪一些

智能门锁行业市场分析:品牌已形成三大阵营

2018年中国智能门锁的产量为1430万套,需求量为1500万套;此外,根据ICA联盟预测,到202....
发表于 2019-10-12 09:51 539次阅读
智能门锁行业市场分析:品牌已形成三大阵营

物联网的崛起从哪里可以看出来

产品中的数字服务由数据提供动力支持,所有这些连接产品都带来了大量有关产品使用方式和服务使用情况的数据....
发表于 2019-10-12 09:44 37次阅读
物联网的崛起从哪里可以看出来

请问这些小U真的需要吗?

你真的需要所有这些小U(无符号指示器)吗? 我非常流利地阅读“十六进制”数据。这样,所有的利特勒都很烦人。 如...
发表于 2019-10-12 06:48 13次阅读
请问这些小U真的需要吗?

基础数据服务可以为人工智能做什么

人工智能基础数据服务指为AI算法训练及优化提供的数据采集、清洗、信息抽取、标注等服务,以采集和标注为....
发表于 2019-10-11 17:14 40次阅读
基础数据服务可以为人工智能做什么

你觉得神奇的世界正在靠近

5G使能万物智联,共建共享是必由之路,智慧城市建设的浪潮势不可挡,从物联网到智联网,各企业都在不断探....
发表于 2019-10-11 16:56 131次阅读
你觉得神奇的世界正在靠近

AIOT行业未来会是怎样的趋势

人工智能技术和物联网技术的发展落地共同推动AIoT的发展和成熟。
发表于 2019-10-11 16:51 59次阅读
AIOT行业未来会是怎样的趋势

NB-IoT以后会不会大有所为

NB-IoT可以实现物理世界和数字世界的融合,结合大数据应用,数据成为企业的核心价值时代,帮助企业优....
发表于 2019-10-11 16:48 50次阅读
NB-IoT以后会不会大有所为

工业物联网产业的发展之道是什么

物联网是一个基于互联网、传统电信网等的信息承载体,涉及到IT(信息技术)、CT(通信技术)和OT(运....
发表于 2019-10-11 16:44 41次阅读
工业物联网产业的发展之道是什么

第三季度全球App营收为219亿美元,苹果App...

北京时间10月10日消息,据国外消息报道,移动应用数据分析平台Sensor Tower今日发布报告称....
发表于 2019-10-11 16:35 129次阅读
第三季度全球App营收为219亿美元,苹果App...

AliOS Things最新资料5篇(Markdown文档)

1、AliOS Things开发:让你的开发板支持AliOS Studio烧录 2、AliOS Things开发:让你的开发板支持Ali...
发表于 2019-10-11 16:24 147次阅读
AliOS Things最新资料5篇(Markdown文档)

基于LabView嵌入式开发模块有哪一些技术要点

LabView开发环境只要有可能就自动地处理数据类型的冲突,其做法是把较小的数据类型转换成较大的数据....
发表于 2019-10-11 14:58 29次阅读
基于LabView嵌入式开发模块有哪一些技术要点

逐鹿万亿智能家居市场,为何欧瑞博斩获颇丰?

对于欧瑞博来说,正是一家运用人工智能和物联网技术典型智能家居厂商,推出具有给革命性的MixPad超级....
发表于 2019-10-11 14:56 116次阅读
逐鹿万亿智能家居市场,为何欧瑞博斩获颇丰?

智能家居各显神通,促国产品牌蓬勃发展

根据数据显示,2018年中国智能家居市场出货量达到1.5亿台,同比增长高达35.9%,规模超过65亿....
发表于 2019-10-11 14:38 105次阅读
智能家居各显神通,促国产品牌蓬勃发展

智慧农业的基础和核心分别是什么

随着农业物联网的发展不断深入,从政府推动企业变革转变为企业主动变革,这是未来农业物联网化的终极趋势。
发表于 2019-10-11 11:53 156次阅读
智慧农业的基础和核心分别是什么

传感器对于智慧农业的发展有什么影响

传感器和数字技术可以让农民更好地获悉农田和农作物的状况。
发表于 2019-10-11 11:45 46次阅读
传感器对于智慧农业的发展有什么影响

智慧农业如何才有更深层次的突破

智慧农业,就是将物联网技术运用到传统农业中去,运用传感器和软件通过移动平台或者电脑平台对农业生产进行....
发表于 2019-10-11 11:40 27次阅读
智慧农业如何才有更深层次的突破

智慧农业怎样才可以真正的落地

更何况智慧农业相关技术普遍具备较高的复杂度,在农村落地是非常困难的,面临的问题远超我们想象。
发表于 2019-10-11 11:35 24次阅读
智慧农业怎样才可以真正的落地

节水灌溉如何利用好物联网技术

农业物联网系统的构建和运行过程中,都需要对其内部数据进行科学管理,不仅要定义其中的数据表结构,还要做....
发表于 2019-10-11 11:30 127次阅读
节水灌溉如何利用好物联网技术

物联网在农业领域都有一些什么应用

在农业资源监测和利用领域,利用各种资源卫星收集国土资源情况,利用先进的传感器、信息传输和互联网等综合....
发表于 2019-10-11 11:26 35次阅读
物联网在农业领域都有一些什么应用

中国和外国的农业物联网有什么差异

农业生产环境的自身特点和传感器低功耗的技术需求给农业物联网数据传输提出了更高的要求。
发表于 2019-10-11 11:23 33次阅读
中国和外国的农业物联网有什么差异

智慧农业为什么农民不使用

智慧农业,是指生产环节智能化、自动化、数字化,实现农业可视化远程诊断、远程控制、灾变预警等智能管理。
发表于 2019-10-11 11:20 28次阅读
智慧农业为什么农民不使用

麻省理工学院正在研究将RFID标签用于物联网的光...

根据麻省理工学院的说法,专家预测,到2025年,物联网设备的数量将达到750亿台左右。无论这是否是一....
发表于 2019-10-11 11:19 33次阅读
麻省理工学院正在研究将RFID标签用于物联网的光...

使用LSTM模型对智能家居里的活跃设备进行预测

在此之前,已经有不少人做了相关的研究,但他们的研究大都是基于纯净的实验室环境,很难移植到复杂的现实环....
发表于 2019-10-11 11:16 134次阅读
使用LSTM模型对智能家居里的活跃设备进行预测

一体化智能灌溉在智慧农业中如何应用

现如今智能化在各行各业的应用,农业智能化和自动化也在飞速的发。
发表于 2019-10-11 11:15 21次阅读
一体化智能灌溉在智慧农业中如何应用

智慧农业为未来的前景怎样

中国如何完成智慧农业的跨越式发展,可以借鉴国外智慧农业发展模式。
发表于 2019-10-11 11:12 27次阅读
智慧农业为未来的前景怎样

农业物联网平台你了解多少

物联网通过使用无线传感器网络,就可以有效降低人力消耗和对农田环境的影响,获取精确的作物环境和作物信息....
发表于 2019-10-11 11:08 17次阅读
农业物联网平台你了解多少

智慧农业的发展你了解了多少

智慧农业就是将物联网技术运用到传统农业中去,运用传感器和软件通过移动平台或者电脑平台对农业生产进行控....
发表于 2019-10-11 11:05 24次阅读
智慧农业的发展你了解了多少

物联网应用的成功取决于给用户带来的愉快体验

物联网(IoT)拉近了我们与世界的距离。凭借众多的智能电器、智能汽车和物联网可穿戴设备,我们比以往任....
发表于 2019-10-11 11:04 11次阅读
物联网应用的成功取决于给用户带来的愉快体验

物联网机器人的重要性和好处是什么

顾名思义,物联网机器人是两种前沿技术(物联网和机器人)的融合。这一概念背后的愿景是赋予机器人智慧,使....
发表于 2019-10-11 11:03 30次阅读
物联网机器人的重要性和好处是什么

2000块就能打造一套全屋智能系统?

这些产品无法直接和手机连接,需要一个“中间人”——网关,通过ZigBee(或者WiFi)协议收集到设....
发表于 2019-10-11 10:51 260次阅读
2000块就能打造一套全屋智能系统?

中国智能家居产品与人工智能、物联网等新兴技术结合

 记者看到,除了美的、格兰仕、海尔等众多中国家电巨头,苏宁、阿里巴巴等多家零售巨头也纷纷亮相。德国国....
发表于 2019-10-11 10:45 310次阅读
中国智能家居产品与人工智能、物联网等新兴技术结合

智慧停车市场未来会变得怎样

随着智慧停车市场的升温,业内人士对于未来也抱持相当乐观的态度。
发表于 2019-10-11 10:44 31次阅读
智慧停车市场未来会变得怎样

BAT们在物联网师时代如何变革

作为互联网、汽车以及通讯技术等融合多种跨行业技术的领域,车联网也经历前期的探索、资本的追捧以及热潮的....
发表于 2019-10-11 10:40 50次阅读
BAT们在物联网师时代如何变革

离线语言对于智能家居的发展有什么作用

通过语音控制技术,更多型式的智能装置得以在家中的生活空间取得更大的地位,更多物联网装置得以更容易地进....
发表于 2019-10-11 10:37 38次阅读
离线语言对于智能家居的发展有什么作用

谁能收割智能家居这个市场

智能家居让家居环境更加舒适、安全、便捷和环保,可以满足人们对居住环境的贪婪需求。
发表于 2019-10-11 10:33 29次阅读
谁能收割智能家居这个市场

请问从中央设备读取请求时会产生什么事件?

我看到这个事件的存在: CyLay-EvtgGATSsWrreErgReq:/*此事件是在连接的中央设备发送**写请求时生成的。该...
发表于 2019-10-11 10:27 64次阅读
请问从中央设备读取请求时会产生什么事件?

智慧酒店的发展伴随着什么的布局

随着科技进步和消费升级,“智慧酒店”日益得到重视和发展。
发表于 2019-10-11 10:27 29次阅读
智慧酒店的发展伴随着什么的布局

关闭数据中心有多难

数据中心已经成为全球能源消耗大户,为了节约能源,降低碳排放量,美国政府计划关闭和退役大量数据中心。
发表于 2019-10-11 10:10 24次阅读
关闭数据中心有多难

物联网研究用户体验的原因是什么

凭借众多的智能电器、智能汽车和物联网可穿戴设备,我们比以往任何时候都更加互联互通。
发表于 2019-10-11 10:02 177次阅读
物联网研究用户体验的原因是什么

你了解智能包装吗

智能包装具有一系列的特殊功能,包括感知、识别、评估、跟踪和报告,旨在保持产品质量并增强买卖双方的关系....
发表于 2019-10-11 09:56 21次阅读
你了解智能包装吗

物联网机器人有什么特别之处

物联网给物理对象带来了数字心跳,而机器人技术是计算机科学和工程的一个分支,它研究能够自主工作的机器。
发表于 2019-10-11 09:54 31次阅读
物联网机器人有什么特别之处

人工智能针对物联网的数据洪流而强化生态系统

第五波计算技术的融合——人工智能(AI)、5G与物联网(IoT)——正持续加速令人惊讶的变化,并驱动....
发表于 2019-10-11 09:52 49次阅读
人工智能针对物联网的数据洪流而强化生态系统

数据集成工具的选择方法

一篇文章教你怎样选择正确的数据集成工具...
发表于 2019-10-11 09:23 17次阅读
数据集成工具的选择方法

区块链对于营销有什么影响

区块链创建了一个分布式数据库,可以作为供求双方广告印象的单一来源。
发表于 2019-10-11 09:17 25次阅读
区块链对于营销有什么影响

新一代FPGA该如何应对网络威胁?

嵌入式系统设计人员有了新的网络安全武器,可以保证信息安全、防止篡改和建立可信任的系统。 ...
发表于 2019-10-11 07:15 17次阅读
新一代FPGA该如何应对网络威胁?

5G+工业互联网怎样合并发威

作为新一代信息技术与制造业深度融合的产物,工业互联网+不断颠覆着传统制造模式、生产组织方式和产业形态....
发表于 2019-10-10 17:10 255次阅读
5G+工业互联网怎样合并发威

物联网行业发展深度报告分享

目前的互联网主要包括每一个人的虚拟映射和虚拟物体(货币、道具等等),而物联网时代无论是物理世界中存在....
发表于 2019-10-10 16:53 928次阅读
物联网行业发展深度报告分享

海尔成功构建物联网家庭金融渠道

据业内人士透露,自从2018年上半年以后,消费金融引流费用日益高涨,单放款用户获客本钱从曩昔的几十上....
发表于 2019-10-10 16:51 346次阅读
海尔成功构建物联网家庭金融渠道

你觉得智能摄像头怎么样

在物联网领域,智能视频监控系统带来了很大改变:传统物联网缺乏视觉传感器,分析也仅限于旧式传感器数据,....
发表于 2019-10-10 16:50 326次阅读
你觉得智能摄像头怎么样

智慧物流可以带来多大的利益

智慧物流也已成为全行业共识,成为物流业转型升级的新动力。
发表于 2019-10-10 16:45 115次阅读
智慧物流可以带来多大的利益

Softing与金雅拓开展合作,双方已推出高性能...

GlobalmatiX xTCU设备安装在保时捷Cayman GT4赛车上,该设备在纽博格林赛道进行....
发表于 2019-10-10 16:44 402次阅读
Softing与金雅拓开展合作,双方已推出高性能...

物联网时代即将到来,谁能打赢场景生态第一战?

在场景时代下拔得头筹,关注场景中的人是不可或缺的关键。海尔在这一领域内,体系化、产业化的用户交互平台....
发表于 2019-10-10 16:41 383次阅读
物联网时代即将到来,谁能打赢场景生态第一战?

请问有将数据放入不带加密狗的cysmart吗?

有没有将数据传递到CyScript的示例项目,它使用了BlutoToS4能力,而不是使用加密狗& LT->USB接口?我...
发表于 2019-10-10 10:53 61次阅读
请问有将数据放入不带加密狗的cysmart吗?

如何让CC254x主机睡眠由从机广播唤醒?

大家好 1、我想实现主机平时从机没数据传送时是睡眠低功耗,但在从机一有数据广播时马上扫描连接收数据,请问有Demo...
发表于 2019-10-10 09:23 72次阅读
如何让CC254x主机睡眠由从机广播唤醒?

无法在没有终结点的情况下传输数据

亲爱的先生! 我已经构建了设备,并成功地获得了设备描述符。但是当我传输数据时,它失败了。 代码如下: CysUbS...
发表于 2019-10-10 07:57 29次阅读
无法在没有终结点的情况下传输数据

如何设置cy5676a proc BLE 256kb模块人机交互模式命令发送时间?

我对cy5676a proc BLE 256kb模块人机交互模式。我正在尝试使用数据长度过程。 如果我使用命令与范围的最小和最大值...
发表于 2019-10-10 06:07 41次阅读
如何设置cy5676a proc BLE 256kb模块人机交互模式命令发送时间?