文件存储技术(信息存储技术)

本文目录：

• 1、对象存储、文件存储和块存储的区别有哪些？
• 2、什么是IPFS？
• 3、多方存储技术是什么？
• 4、目前主要三种数据存储方式
• 5、存储技术发展历史
• 6、存储技术的分类

对象存储、文件存储和块存储的区别有哪些？

对象存储、文件存储和块存储的区别如下：

1、速度不同

块存储：低延迟（10ms），热点突出；

文件存储：不同技术各有不同；

对象存储：100ms-1s，冷数据；

2、可分步性不同

块存储：异地不现实；

文件存储：可分布式，但有瓶颈；

对象存储：分步并发能力高；

3、文件大小不同

块存储：大小都可以，热点突出；

文件存储：适合大文件；

对象存储：适合各种大小；

4、接口不同

块存储：Driver，kernel module ；

文件存储：POSIX；

对象存储：Restful API ；

5、典型技术不同

块存储：SAN；

文件存储： HDFS，GFS；

对象存储：Swift，Amazon S3；

6、适合场景不同

块存储：银行；

文件存储：数据中心；

对象存储：网络媒体文件存储。

扩展资料：

对象存储、文件存储和块存储的联系：

通常来讲，磁盘阵列都是基于Block块的存储，而所有的NAS产品都是文件级存储。

1. 块存储：DAS SAN

a) DAS(Direct Attach Storage): 是直接连接于主机服务器的一种存储方式，每台服务器有独立的存储设备，每台主机服务器的存储设备无法互通，需要跨主机存取资料室，必须经过相对复杂的设定，若主机分属不同的操作系统，则更复杂。

应用：单一网络环境下且数据交换量不大，性能要求不高的环境，技术实现较早。

b) SAN(Storage Area Network): 是一种高速(光纤)网络联接专业主机服务器的一种存储方式，此系统会位于主机群的后端，它使用高速I/O联接方式，如：SCSI,ESCON及Fibre-Channels.特点是，代价高、性能好。但是由于SAN系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU规模的系统。

应用：对网速要求高、对数据可靠性和安全性要求高、对数据共享的性能要求高的应用环境中。

2. 文件存储

通常NAS产品都是文件级存储。

NAS(Network Attached Storage)：是一套网络存储设备，通常直接连在网络上并提供资料存取服务，一套NAS储存设备就如同一个提供数据文件服务的系统，特点是性价比高。

它采用NFS或CIFS命令集访问数据，以文件为传输协议，可扩展性好、价格便宜、用户易管理。目前在集群计算中应用较多的NFS文件系统，但由于NAS的协议开销高、带宽低、延迟大，不利于在高性能集群中应用。

3. 对象存储：

总体上讲，对象存储同时兼具SAN高级直接访问磁盘特点及NAS的分布式共享特点。

核心是将数据通路(数据读或写)和控制通路(元数据)分离，并且基于对象存储设备(OSD)，构建存储系统，每个对象存储设备具备一定的职能，能够自动管理其上的数据分布。

对象储存结构组成部分(对象、对象存储设备、元数据服务器、对象存储系统的客户端)

什么是IPFS？

IPFS(InterPlanetary File System，星际文件系统），它是一种全新的超媒体文本传输协议，可以把它理解为一种支持分布式存储的网站。IPFS 诞生于2015年、2017年8月，IPFS 的激励层filecoin，公开众筹在很短时间内，就募集了超过2.57亿美金，相当于接近20个亿人民币的投资！所以它引起了全世界投资人的高度关注！与此同时它打破纪录，创造了当年全球ICO的奇迹，当之无愧的成为了一个全球瞩目堪比当年以太坊的明星项目！

相对应的就是现在大家所熟悉的以 http 开头的中心化存储网站。这跟我们平时使用的百度云，阿里云这些网站有什么不一样呢？各位不妨思考一下，你存储在U盘，网盘上的这些数据 是绝对的安全吗？答案是否定的！它会丢失，甚至会被和谐掉，对吗？比如从前的金山网盘，360网盘，官方通道已经关闭了，文件需要大量的转移，时间精力都浪费了，另外像百度网盘，免费用户使用的空间也是有限的，如果你想增加储存容量就必须得充值，而且安全性也是有待考究的。

而 IPFS 的网络存储文件，使用的是去中心化分片加密存储技术，把文件分割成了多个片段，存储在网络的各个节点上，而这些节点就是我们使用的电脑，当你下载文件的时候，或者想

要打开文件的时候，IPFS 网络会自动把文件还原，给你使用、供你下载，可以防止某个人或者某个机构控制你的数据，也可以防止被黑客攻击，这样就可以保护我们的存储数据，不会被随意篡改、删除了！此外，使用IPFS 网络进行文件存储、文件下载，在速度方面 可是相当的快！IPFS 最大的神奇之处呢，是彻底告别了传统的HTTP协议常见的卡顿和404错误。

互联网的发展一共经历的三个阶段：

所谓的Web1.0，就是互联网的早期形态。

提出年代：20世纪90年代中期

特征表现：国内以搜狐、网易、新浪、腾讯为代表的一批门户型网站诞生，人们对新闻信息的获取是其利用网络的主要驱动力，巨大的点击流量诞生了新的商业模式。

由网站的运营者生产内容。那时候的网站几乎不记录用户数据。这使得想在网上进行复杂的活动几乎不可能。因为你不知道谁来过，看得啥，做了什么。

随着微博，微信的崛起，我们进入了现在所处的Web2.0时代。

提出年代：21世纪初期

特征表现：BBS、博客、RSS（聚合内容）兴起与繁荣。人的重要性与参与性上升，用户既是互联网内容的浏览者，也是制造者。

在这个时代，每个人都是内容的生产者。如果说Web1.0时代给了我们一个绚丽的画廊，我们只是过客。只能被动的观看画廊中布置的作品。

那么进入Web2.0时代，我们迎来了一个可以自由创新的共享空间。在这里我们即欣赏他人创作，可共享我们的创意。但这个空间的主人并不是我们。比如有一天你不用微信了，那么你在上面的所有信息也就没有了。换句话说，在Web2.0时代，你的网络身份不属于你自己。而是属于这些科技巨头。我们有没有可能主宰自己的数据呢？

有！这就是Web3.0

提出年代：2010年左右

特征表现：网络模式实现不同终端的兼容，从PC互联网到WAP手机，移动互联让普通人群的参与方式呈现更多的可能。基于物联技术的飞跃，跨平台支付、大数据经济等发力迅猛。

Web3.0的提法来自区块链，以太坊的联合创始人Gavin Wood博士。第一个提出了Web3.0的概念在这个网络中一切都是去中心化。

没有服务器，没有中心化机构。更没有权威或垄断组织掌控信息流。而要构造这个一个庞大的Web3.0，信息存储和文件传输的去中心化就是核心之一。

人类社会自进入互联网时代以来，信息爆发式增长，过去两年，新产生的数据占据了人类文明的90%，传统的硬盘级别磁盘列阵存储方式。也渐渐被在最新的云存储技术所替代。云存储就是把存储资源放到云上，然后供人存取。各种不同类型的存储设备通过应用软件集合起来协同工作，保证数据的安全性并节约了存储空间。使用者可以在任何时间任何地点通过任何可联网的装置，使用云上数据。

云存储同时也带来了很多隐患，最大的就是数据存储安全方面的问题。分为以下四类。

第一类：最常见的就是服务器被攻击，数据被盗取的风险。

第二类：属于操作失误或运作流程的缺陷比如腾讯云因为操作失误，导致创业公司，前言数控技术。存在在上面价值上千万的核心数据全部丢失，导致该公司直接停业。

第三类：属于服务器自身故障，导致数据丢失或错误。比如亚马逊云。2019年8月，币安在使用过程中由于出现故障，导致比特币交易价格由正常的接近一万美元变为0.32美元 造成巨大损失

第四类：如果服务商，因为亏损或者政策等原因停止运营，那用户的数据像何处迁移。数据安全由谁负责，这些都是云存储服务提供商所面临的困境。再说说中心化文件传输方案所面临的问题。主要是文件获取效率低下。有两种情况：1，当我们浏览或者下载一部高清电影。那么这台计算机服务器的响应速度和他 网络通信环境就限制了我们浏览和下载文件的速度。第二张我们要获取的这个文件。可能存储在地球的另一端的服务器上，在这种情况下。获取文件的速度也会低下。面对传统互联网安全性能查和效率低下的问题。有没有更好的解决办法呢？有，这就是基于点对点网络的去中心化文件存储及传输协议IPFS。

IPFS，全称是星际文件系统（interplanetary file eystem）由毕业于斯坦福大学的创始人Juan Benet（胡安，贝内特）和他的团队创办。IPFS协议，主要从数据存储和文件传输。两个方面做了架构性的革新。比如大卫要在IFPS系统中保存一段视频，系统会把文件打碎成若干个大小一样的碎片。然后对每个碎片进行哈希运算得到一个数值，称为哈希值，然后再将所有这些碎片的哈希值及相关数据一起整理并在此进行哈希运算。得到一个最终的哈希值。然后被传输到IPFS系统中。很有可能你的文件中一部分碎片就存储在你邻居家的硬盘中。可是他既不知道这些碎片的内容是什么，也不知道替谁存储了文件，只要没有该文件对应的哈希值任何个人和机构就无法查看你的文件内容，这样我们就不用担心自己我数据被人利用。文件的碎片会被备份多次保留在IPFS系统中的多个节点上。这样即使黑客能攻击其中的个别节点。或者发生区域性的自然灾害，甚至类似911的这种。其他节点依然能保持文件的完整性，在文件传输方面。当我们使用IPFS访问或者下载文件时。我们像系统提交的是改文件的哈希值，因此，只要文件存在于整个IPFS系统中。系统就能帮我们通过最近的网络距离找出这个内容。

这样的处理方式，至少在两个方面都比传统互联网有优势，在搜索方面。HTTP是根据地质寻找内容，比如在没有电话，电报的年代。张三的朋友李四住在北京东城区灯草胡同730号。如果张三要从杭州去找李四就得根据这个地址千里走单骑，结果好不容易到了地方。发现房子还在可是李四已经搬走了。这就是我们传统互联网搜索内容经常会碰到的问题。而在IPFS中，文件是按照内容进行搜索的。甭管李四在世界的哪个角落，我都可以通过各种通信设备找到他，而不再是通过古老的地址检索，在效率方面。比如张三要下载一份视频资料，一共10GB大小，如果这份资料存储在地球另一端某个服务器上。那得经过若干路由从遥远的服务器中，像蚂蚁搬家那样一点点的下载。就好比一艘货轮拉了满仓货物通过海洋慢慢的给运过来。而在IPFS中，系统会从离我们网络距离若干节点，同时向我们传输这个文件的碎片。由于每个碎片只有256KB大小，所以速度将快的惊人。因此无论从传输距离还是从传输容量上。IPFS都大大优于HTTP协议。尽管IPFS有大大了优点，但同时也有缺陷。比如在隐私的保护方面。

由于在IPFS中，文件的检索是根据文件内容的哈希值来进行的，因此这个哈希值如果泄露给第三方。那么第三方就可以毫无门槛的下载这个文件，对此有没有解决办法呢？

有！那就是用户把文件上传到IPFS之前，先对他进行加密。将即使第三方下载了这个文件，他也看不到原始内容。

因此在Web3.0即将开启的时代，IPFS在数据确权，存储安全文件封发及传输效率方面都比Web2.0大大的迈进了一步，新生的IPFS虽然还不尽完善，但这并不影响他的贡献和价值。1991年，蒂姆 博纳斯 李发明的HTTP协议搭建了互联网世界的高速公路，从此我们对信息的传递可以在一瞬间抵达世界的各个角落。30年后，胡安 贝内特和他的团队创建了IPFS协议将重塑这个新世界的数据航道，让人类信息得以永存！正是因为有这样的一群人，推进着科技文明的进步。才得以让我们对未来的探索，有了更多的可能。然而如此宏大的系统要实现稳健运行，就得需要充足的燃料来维持，IPFS要想在完整的应用生态中发挥作用，还需要激励机制和一套完整的运行系统。

为此Filecoin应运而生。

多方存储技术是什么？

存储主要是为了给重要的文件等备份。所以在日常生活使用的也很广泛，所以其中也不乏有存储爱好者。但是说到存储技术，又有多少人知道存储技术的基础知识呢？所以今天我们就来说说存储技术的基本知识。

一、网络附加存储（NAS）

是一种专门的数据存储技术的名称，它可以直接连接在计算机网络上面，对异质网络用户提供了集中式数据访问服务。

NAS和传统的文件存储服务或直接存储设备不同的地方，在于NAS设备上面的操作系统和软件只提供了数据存储、数据访问、以及相关的管理功能；此外，NAS设备也提供了不止一种文件传输协议。NAS系统通常有一个以上的硬盘，而且和传统的文件服务器一样，通常会把它们组成RAID来提供服务；有了NAS以后，网络上的其他服务器就可以不必再兼任文件服务器的功能。NAS的型式很多样化，可以是一个大量生产的嵌入式设备，也可以在一般的计算机上运行NAS的软件。NAS计算机或设备用的通常是精简版的操作系统，只提供了最单纯的文件服务和其相关的通信协议。

二、存储区域网络（SAN）

是一种连接外接存储设备和服务器的架构。人们采用包括光纤通道技术、磁盘阵列、磁带柜、光盘柜的各种技术进行实现。该架构的特点是，连接到服务器的存储设备，将被操作系统视为直接连接的存储设备。尽管SAN的复杂度和价格已经下降，但目前在大型企业级存储方案以外还应用不甚广泛。

与SAN相比较，网络储存设备使用的是基于文件的通信协议，计算机请求访问的是抽象文件的一段内容，而非对磁盘进行的块设备操作。

三、故障转移

故障转移，即当活动的服务或应用意外终止时，快速启用冗余或备用的服务器、系统、硬件或者网络接替它们工作。 故障转移与交换转移操作基本相同，只是故障转移通常是自动完成的，没有警告提醒手动完成，而交换转移需要手动进行。

对于要求高可用和高稳定性的服务器、系统或者网络，系统设计者通常会设计故障转移功能。在服务器级别，自动故障转移通常使用一个“心跳”线连接两台服务器。只要主服务器与备用服务器间脉冲或“心跳”没有中断，备用服务器就不会启用。为了热切换和防止服务中断，也可能会有第三台服务器运行备用组件待命。当检测到主服务器“心跳”报警后，备用服务器会接管服务。有些系统有发送故障转移通知的功能。

四、负载均衡

负载均衡是一种计算机网络技术，用来在多个计算机(计算机集群)、网络连接、CPU、磁盘驱动器或其他资源中分配负载，以达到优化资源使用、最大化吞吐率、最小化响应时间、同时避免过载的目的。

使用带有负载均衡的多个服务组件，取代单一的组件，可以通过冗余提高可靠性。负载均衡服务通常是由专用软件和硬件来完成。

五、Cluster

计算机集群（Cluster）简称集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一般情况下集群计算机比单个计算机，比如工作站或超级计算机性能价格比要高得多。

目前主要三种数据存储方式

三种存储方式：DAS、SAN、NAS

三种存储类型：块存储、文件存储、对象存储

块存储和文件存储是我们比较熟悉的两种主流的存储类型，而对象存储（Object-based Storage）是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD。

本质是一样的，底层都是块存储，只是在对外接口上表现不一致，分别应用于不同的业务场景。

分布式存储的应用场景相对于其存储接口，现在流行分为三种:

对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL和其他扩展，如七牛、又拍、Swift、S3

块存储: 这种接口通常以QEMU Driver或者Kernel Module的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RBD（RBD是Ceph面向块存储的接口）

文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。

存储技术发展历史

最早的外置存储器可以追溯到19世纪末。为了解决人口普查的需要，霍列瑞斯首先把穿孔纸带改造成穿孔卡片。

他把每个人所有的调查项目依次排列于一张卡片，然后根据调查结果在相应项目的位置上打孔。在以后的计算机系统里，用穿孔卡片输入数据的方法一直沿用到20世纪70年代，数据处理也发展成为电脑的主要功能之一。

2、磁带

UNIVAC-I第一次采用磁带机作外存储器，首先用奇偶校验方法和双重运算线路来提高系统的可靠性，并最先进行了自动编程的试验。此时这个磁带长达1200英寸、包含8个磁道，每英寸可存储128bits，每秒可记录12800个字符，容量也达到史无前例的184KB。从 此之后，磁带经历了迅速发展，后来广泛应用了录音、影像领域。

3、软盘（见过这玩意的一定是80后）

1967年 IBM公司推出世界上第一张“软盘”，直径32英寸。随着技术的发展，软盘的尺寸一直在减小，容量也在不断提升，大小从8英寸，减到到5.25英寸软盘，以及到后来的3.5英寸软盘，容量却从最早的81KB到后来的1.44MB。在80-90年代3.5英寸软盘达到了巅峰。直到CD-ROM、USB存储设备出现后，软盘销量才逐渐下滑。

4、CD

CD也就是我们常说的光盘、光碟，诞生于1982年，最早用于数字音频存储。1985年，飞利浦和索尼将其引入PC，当时称之为CD-ROM（只 读），后来又发展成CD-R（可读）。因为声频CD的巨大成功，今天这种媒体的用途已经扩大到进行数据储存，目的是数据存档和传递。

5、磁盘

第一台磁盘驱动器是由IBM于1956年生产，可存储5MB数据，总共使用了50个24英寸盘片。到1973年，IBM推出第一个现代“温彻斯特”磁盘驱动器3340，使用了密封组件、润滑主轴和小质量磁头。此后磁盘的容量一度提升MB到GB再到TB。

6、DVD

数字多功能光盘，简称DVD，是一种光盘存储器。起源于上世纪60年代，荷兰飞利浦公司的研究人员开始使用激光光束进行记录和重放信息的研究。1972年，他们的研究获得了成功，1978年投放市场。最初的产品就是大家所熟知的激光视盘（LD，Laser Vision Disc）系统。它们的直径多是120毫米左右。容量目前最大可到17.08GB。

7、闪存

浅谈存储器的进化历程

闪存（Flash Memory）是一种长寿命的非易失性（在断电情况下仍能保持所存储的数据信+息）的存储器。包含U盘、SD卡、CF卡、记忆棒等等种类。在1984年，东芝公司的发明人舛冈富士雄首先提出了快速闪存存储器（此处简称闪存）的概念。与传统电脑内存不同，闪存的特点是非易失性（也就是所存储的数据在主机掉电后不会丢失），其记录速度也非常快。Intel是世界上第一个生产闪存并将其投放市场的公司。到目前为止闪存形态多样，存储容量也不断扩展到256GB甚至更高。

随着存储器的更新换代，存储容量越来越大，读写速度也越来越快，企业级硬盘单盘容量已经达到10TB以上，目前使用的SSD固态硬盘，读速度达：3000+MB/s，写速度达：1700MB/s，用起来美滋滋啊。

存储技术的分类

网络存储技术（NetworkStorageTechnologies）是基于数据存储的一种通用网络术语。网络存储结构大致分为3种：直连式存储（DirectAttachedStorage，DAS）、网络存储设备（NetworkAttachedStorage，NAS）和存储网络（StorageAreaNetwork，SAN）。

1．DAS

DAS是一种直接与主机系统相连接的存储设备，如作为服务器的计算机内部硬件驱动。到目前为止，DAS仍是计算机系统中最常用的数据存储方法。DAS英文全称是DirectAttachedStorage，中文翻译成“直接附加存储”。顾名思义，在这种方式中，存储设备是通过电缆（通常是SCSI接口电缆）直接连接到服务器的。I/O（输入/输出）请求直接发送到存储设备。DAS也可称为服务器附加存储（Server-AttachedStorage，SAS）。它依赖于服务器，其本身是硬件的堆叠，不带有任何存储操作系统。

2．NAS

NAS的中文意思是“网络附加存储”。按字面意思简单地理解就是连接在网络上，具备资料存储功能的装置，因此也称为“网络存储器”或者“网络磁盘阵列”。从结构上讲，NAS是功能单一的精简型计算机，因此在架构上不像个人计算机那么复杂，在外观上就像家电产品，只需电源与简单的控制钮。

NAS是一种专业的网络文件存储及文件备份设备，它是基于LAN（局域网）的，按照TCP/IP协议进行通信，以文件的I/O方式进行数据传输。在LAN环境下，NAS已经完全可以实现异构平台之间的数据级共享，比如NT、Unix等平台的共享。

一个NAS系统包括处理器、文件服务管理模块和多个硬盘驱动器（用于数据的存储）。NAS可以应用在任何网络环境当中。主服务器和客户端可以非常方便地在NAS上存取任意格式的文件，包括SMB格式（Windows）、NFS格式（Unix，Linux）和CIFS（CommonInternetFileSystem）格式等。

3．SAN

SAN是指存储设备相互连接且与一台服务器或一个服务器群相连的网络。其中的服务器用作SAN的接入点。在有些配置中，SAN也与网络相连。SAN将特殊交换机当作连接设备，这些特殊交换机看起来很像常规的以太网络交换机，是SAN中的连通点。SAN使得在各自网络上实现相互通信成为可能，同时带来了很多有利条件。

具体来说，SAN是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。SAN由3个基本的组件构成：接口（如SCSI、光纤通道、ESCON等）、连接设备（交换设备、网关、路由器、集线器等）和通信控制协议（如IP和SCSI等）。这3个组件再加上附加的存储设备和独立的SAN服务器，就构成一个SAN系统。SAN提供一个专用的、高可靠性的基于光通道的存储网络，SAN允许独立地增加存储容量，也使得管理及集中控制（特别是对于全部存储设备都集群在一起的时候）更加简化。而且，光纤接口提供了10km的连接长度，这使得物理上分离的远距离存储变得更容易。

本文来源：https://www.yuntue.com/post/96764.html | 云服务器网，转载请注明出处！