数据冗余是什么意思(数据冗余性是什么意思)
数据冗余是什么意思，如何解决数据冗余问题？今天我们就来聊聊这个话题。首先我们要明白，大数据时代，数据是有价值的，但并不是所有的数据都有价值。比比如我们日常生活中使用的手机、电脑、平板等电子产品，这些电子产品的数据都是存储在硬盘里的，而硬盘里的数据也是有价值的，但是这些些价值的数据却无法通过网络传输到互联网上，所以就需要一个中间人来进行交易。而这个中间人就是黑客。
编辑导语：什么是数据湖？企业可以利用数据湖尽可能保持业务数据的可还原性，解决存储全域原始数据的问题；而数据中台的存在则可以帮助帮助企业提升业务处理效率。不过并非所有的企业都需要设立数据中台。本篇文章里，作者对数据湖与数据中台进行了详细的解释，一起来看一下。
引言：文接上回，没有阅读第一部分的小伙伴请点击《10分钟带你了解数据库、数据仓库、数据湖、数据中台的区别与联系（一）》查看，那我们就开始第二部分的内容吧，如有不准确的地方，还请希望大家进行指正。
一、数据湖上文通过有序性与开放性分别对数据仓库与数据湖进行描述并对比，现在我们来详细地了解一下数据湖。
1. 数据湖的起源数据湖主要是为了解决存储全域原始数据，其名称中的“湖”字将数据湖的含义表现得淋漓尽致。像企业的生产数据（非结构化数据与结构化数据）、业务历史数据、临时数据，诸如IOT设备，移动应用程序以及传统的设备中返回的第三方数据都可以通过ETL工具形成的“水管”存储进数据湖中。
例如笔者之前在工作过程中接触的手机信令数据、GPS返回的定位数据等，这些数据实际上并没有预先定义好相应的数据结构，这就意味着可以先将数据存储起来而无需对数据进行结构化处理，也无需明确要进行什么分析，由数据从业人员在后续工作中进行探索和尝试。
上文中提到的结构化数据和非结构化数据，那什么是结构化/非结构化数据呢？下面我们就解释下两者的区别与联系。
2. 何为结构化/非结构化数据举个例子。
我们收集到了这样一堆文字信息：
有个学生叫小赵，男的，97年的，土木工程系的，北京的；
有个学生叫小李，98年的，女的，外语系的，江苏苏州的；
·····
诸如此类的文字信息有几万行，我们存在word中，亦或是纸质版文件经由我们扫描成图片格式的，这类就可以称为非结构化数据。假设有需求将这些文字信息中按照性别、籍贯、专业等等统计出来，我们在第一篇文章中提到了关系型数据库，用相关的技术和工具将这些文字信息进行处理，处理后的数据就是结构化数据。
所以结构化数据的定义：是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。
非结构化数据：不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、 XML 、 HTML 、各类报表、图片和音频、视频信息等。
3. 数据湖的作用回归正题，企业为什么要建立数据湖呢，首先数据湖中存在一个重要的组成部分ODS（Operating Data Store，操作数据存储），大家是否记得上一篇文章讲过OLTP（On-Line Transaction Processing），OLTP侧重于基本的、日常的事务处理，而我们现在提到的ODS就是OLTP数据的快照与历史。
我们在上文的数据库一节描述时提到业务数据库与数据仓库的结构不同，业务数据库是为OLTP设计的，是系统的实时状态的数据，而数据仓库的数据是为OLAP的需求建设的，是为了深度的多维度分析。所以这样就会造成基于数据仓库的数据分析会产生以下的限制：
由于数据仓库的架构设计事先订好的，很难能做到全面覆盖，因此基于数据仓库的分析是收到事先定义的分析目标及数据库的框架限制。
从OLTP的实时状态到OLAP的分析数据的转换会有不少信息损失，举个例子来说，某个用户在某个应用程序中钱包的余额，在OLTP系统中仅仅只会按照业务发生情况对钱包中的余额进行实时更新，然而在OLAP系统中也是仅仅会记录对该钱包操作的交易，如果想要去查询并分析该用户的历史余额就会比较麻烦。
而从根本上来讲，数据湖的最主要作用是尽可能保持业务数据的可还原性。数据湖的定位和搜索引擎类似，我们可以像在搜索引擎中检索数据一样，实现按需检索，即取即用，它存取这原始的未经改变的全量数据，可以存取、处理、分析。
4. 数据湖的发展更新于：4小时前
上一篇
下一篇猜你喜欢
-
千钧一发的意思，枚乘劝君主不要背叛朝廷的故事
千钧一发的意思是指千斤重的铁器被一根头发吊着。形容在危难时刻，千斤重的事件自己无法拯救，指情况非常的紧急。西汉有一个人叫做枚乘，他本想劝阻自己的君主不要背叛朝廷，他用头发丝来形容自己的君主，用千钧重物来形容朝廷，寓意是指力量微弱不能与朝廷对抗。一、千钧一发的故事在西汉时，有一个非常出名的文臣墨客，他..
2025-02-02 -
李易峰李多海是什么关系 两人已分手多年原因曝光
李易峰李多海是什么关系？说起李易峰，那是多少少女心中的白马王子，影迷们都十分关系李易峰的私生活，好奇李易峰究竟喜欢什么样的女孩，其实李易峰曾经有过一段恋情，只是大家不知道而已。李易峰的前女友是韩国著名女明星；李多海，李易峰李多海早年间一起拍摄电视剧《爱的秘方》，因戏结缘，后因为什么原因分手呢？小编为..
2025-02-02 -
出柜是什么意思 成龙私生女出柜直播向家里要钱
出柜是什么意思？一些刚刚看过成龙私生女出柜的新闻不是很明白出柜是什么意思。官方解释对群众公布自己的是同性恋。可能对于一些传统观念的人，无法接受出柜的人。但是时代在进步，人的观念也在改变，有些事情就是事实，只能接受。退一步说，出柜又不是杀人犯法，只是各自自己的选择，我们应该尊重。经过以上的解释大家明白..
2025-02-02 
景点排行榜 杭州有什么好玩的景点？杭州必去的十大景点
杭州是中国著名的旅游城市，以其秀丽的自然风光和深厚的历史文化底蕴吸引着众多游客。那你知道杭州有什么好玩的景点？今天巴拉排行榜网小编就给大家推荐杭州必去的十大景点，一起来欣赏一下吧！杭州必去的十大景点1、西湖西湖是杭州最著名的景点，[bai]被誉为“人间天堂”。西湖十景（如断桥残雪、苏堤春晓、雷峰夕照等）各..
2025-02-02
百科大全 小母狗的外阴淌绿色液体是什么(小狗下面流绿的)
小母狗的外阴淌绿色液体是什么？答：这是狗狗发情的迹象，也是正常的生理现象。如果狗狗的外阴长时间出现绿色液体，可能是狗狗患有阴道炎或者子宫内膜炎等疾病，主注意观察狗狗的身体状况，及时带狗狗去医院检查治疗。另外，如果狗狗的外阴出现红色或者紫色的分泌物，也有可能是狗狗感染了寄生虫。这种情况下，主人可以用宠..
2025-02-02
世界奇闻 揭秘凤凰山UFO事件 孟照国看到了什么
黑龙江省凤凰山地区在1994年5月发生了一起震惊全国UFO事件，当时有上百名目击者声称在天空中看到了一架巨大的不明飞行物，此事引发了广泛的社会关，此次事件的中心人物孟照国也成为人们关注的对象之一。1994年5月末凤凰山林场，有人声称亲眼看到了不明飞行物在附近飞行，这一消息在当地迅速传开，大家都认为这个不明飞行物..
2025-02-01
明星秘密 再现三字男明星嫖娼事件，反映了什么？
近些年，随着社交媒体的普及和信息传播速度的加快，娱乐圈内的明星们的私生活变得愈发透明，尤其是部分三字男星的丑闻频频曝光，引发了广泛关注。在这一背景下，PC事件悄然成为了热门话题。三字男星的崛起，往往伴随着他们在影视、音乐等领域的成功，但当这些男星的私人生活被公众挖掘出来时，不仅影响了他们的个人形象，也..
2025-02-01
百科大全 奶草用途是什么
通草通草是山区常见野生植物通脱木的茎髓。通草一般作药材使用，对小便不利、水肿、产妇乳汁不通、目昏、鼻塞等有较好的作用，但使用最多的还是通乳。妇女产后乳汁不通或不足时，过去民间常用“通草鲫鱼汤”等方通乳，所以通草又被称做“通奶草”。除药用外，因通草有“象牙之洁、白玉之美”，过去就有人使用通草制作“宣纸..
2025-02-01