链世纪对话系列No.5 ||存储技术专家冷波:分布式存储的机遇与挑战

链世纪财经
企业专栏
热度: 11654

直播关键词:分布式存储的原理和核心技术、Filecoin的价值、Filcoin未来走向、分布式存储领域创业机遇、分布式存储的风险与应对措施

5月27日,由链世纪财经主办,聚英国际、大陆节点联合主办的【对话分布式存储 No.5】AMA在链世纪财经社区、大陆节点社区、5A区块链学堂等50余个社区和金色财经进行直播。

链世纪财经

直播关键词:分布式存储的原理和核心技术、Filecoin的价值、Filcoin未来走向、分布式存储领域创业机遇、分布式存储的风险与应对措施


【本期大咖嘉宾介绍】冷波

存储技术专家

上海储迅信息技术有限公司 联合创始人

具有超过10年的操作系统研发和网络存储开发工作及研发团队管理经验,在存储的核心算法方面有深入研究,是存储性能优化方面的专家。对Linux内核、I/O协议栈、分布式存储技术非常精通,主导过许多关键项目的开发,有大量的存储部署实践经验。

主要成就:

美国专利联合发明人专利名:Methods and systems for storing data blocks of multi-streams and multi-user applications,

查看地址:

https://www.google.com/patents/US8312217?dq=multiple+stream+BO+LENG&hl=zh-CN&sa=X&ved=0ahUKEwjC9KuQq87MAhVkKKYKHXHFBNsQ6AEIHjAA


本期主持人:焦仕可

链世纪财经CEO

BTRAC全球数字网络高等智库合伙人

链世纪与行业内顶尖专家特别推出对话系列:《对话新基建》《对话IPFS》《对话Filecoin》《对话新三板》等,将与各位行业专家、先行者等大咖共同交流,帮助更多人抓住新赛道中的新机遇。

链世纪财经图片来源:百度图库 


本期精彩问答集锦:

链世纪财经CEO焦仕可:

【问题一】什么是分布式存储?分布式存储的原理和核心技术是什么?


存储技术专家冷波:

分布式存储的概念比较广。把各自独立的物理存储节点利用网络技术和特定的软件给连接起来,对外提供统一的存储服务,都可以叫做分布式存储。通俗来讲,我有很多台带硬盘的服务器,每台机器的容量为100TB。现在我要存放一个10PB的超大数据集,应该怎么办?利用分布式存储技术,可以把100台物理机器合并成一台逻辑上的存储设备,对用户来讲,它就有10PB的存储空间,是一个超大的突破单个物理硬盘容量极限的逻辑硬盘,用户不用关心内部细节,只要通过特定的地址(或者文件访问路径)直接往里面放数据即可。

分布式存储已经存在很多年了。像华为的OceanStor系列,EMC的Isilon系列都是商业的分布式存储系统,GlusterFS、Ceph是开源的分布式存储系统。但这些系统主要还是运行在局域网内部。IPFS/Filecoin准确来说是一个去中心化的存储技术,可以认为是下一代的分布式存储,相对传统的分布式存储,摆脱了中心化的局限性,又往前走了一大步。

分布式存储是一个非常复杂的系统。它的本质是把松耦合的各个系统通过软件的方式紧密连接起来,对外提供统一的存储服务。我认为其主要的核心技术有:

统一命名空间:通过统一的地址格式或者文件路径格式能访问所有资源,把整个系统当成一台存储设备用。

扩展性(Scalability):当容量不足、性能不够的时候,简单地加入新的节点,即可解决容量或者性能问题,不用重新设计架构,用户的访问方式也不会受到影响,且整个过程都是在线的。扩展性是衡量分布式存储功能和性能的重要指标。

高可用性(High Availability):当系统中的一个或者多个组件(包括存储节点)出现了一些故障,系统仍然可以正常运转,不会出现业务停顿,也不会导致数据损坏。

冗余技术(Redundancy):如果要实现高可用性,数据的冗余存放是必不可少的。但如果只是简单地把数据复制成多个副本,存储的成本会增加不少。可以采用纠删码等技术,能容忍多点故障,且空间利用率高。不过,纠删码对性能的影响也较大,如何提升性能,如何做到更好的性价比,一直是分布式存储行业研究的重点。

稳定性(Stability):系统稳定可靠地运行。这个是最容易理解的指标,但也是最复杂的最耗费研发资源的指标。稳定性除了要设计良好的系统之外,系统运行过程中的运维保障也非常重要。

高性能(High Performance):比较容易理解,就是读写数据的速度快。当然,还有一些其他一些性能指标,比如元数据操作、检索等性能。除了读写带宽之外,I/O的延迟也是重要的指标。

接口(Interface):存储只是一个底层系统,必须依赖于各种生态应用才能发挥作用。这些应用程序怎么访问存储呢?就是通过相关的软件接口。丰富和设计良好的接口,是发挥存储功用的关键指标之一。如果接口和现有的系统具有兼容性,可以非常快地和已有的应用程序进行对接。

安全性(Security):足够安全,漏洞少,防止被非法访问,防止各种攻击。

当然还有其他一些核心技术,比如,写入数据的一致性等。


链世纪财经

图片来源:百度图库

链世纪财经CEO焦仕可:

【问题二】Filecoin网络将云存储转化为一个算法市场,作为IPFS的激励层,您怎么看待它Filecoin网络的价值和FIL未来走向?


存储技术专家冷波:

Filecoin让区块链技术能够真正落地,在区块链和分布式存储的发展历史上的意义不言而喻。也正是因为如此,它在市场上面具有非常大的共识,很多人也都认为FIL的未来走向比较乐观。我是一个技术主义者,喜欢讨论比较确定的东西,对于一些预估一般不做太多的评论,比如FIL的价值走向如何,取决于很多因素,我暂时也不清楚。但就区块链的其他项目来做对比,Filecoin无疑是很有价值的。从每天代码、文档的更新,社区的技术讨论,团队对未来的愿景以及不断地技术迭代,都可以看得出来大家都在踏踏实实做事情,且Filecoin生态也在迅速发展。就中国社区提交的devgrants项目,已经很多很多,目前主流的Filecoin区块浏览器都是中国团队做的,后续的钱包等应用,也有中国团队承接。同时,储迅也参与了更多的和存储相关的生态项目,比如,提供类似亚马逊Snowball离线数迁移方案的技术。


链世纪财经CEO焦仕可:

【问题三】分布式存储领域在今年成为一大热点,国家新基建中又指出数据中心等新型基础设施的建设,您认为创业者在这方面有哪些机遇?


存储技术专家冷波:

创业者除了挖矿之外,其实机遇还是很多的。期待挖矿挣钱其实是一个相对短期的行为。长期来讲,整个行业有许多事情做。Filecoin只是构建了一个基础平台,解决了不可信的网络的数据存储证明问题以及存储交易上链等问题,但要通过它或者类似的技术来为社会提供真正的有价值的服务,还需要基础它来构造一个复杂的生态系统。

如何提升存储和检索的效率?如何为企业客户提供更好的响应更快且稳定性更高的服务?如果为消费者打造安全可靠又便宜的存储应用?如何针对特定行业(比如生物制药、科学计算等)提供完整的解决方案?每一个问题都带来新的机遇。我认为基于分布式存储做的数据云服务平台、针对数据需求行业巨大的行业做整体解决方案、针对分布式存储做技术优化等方向,都是巨大的机会。

链世纪财经

图片来源:百度图库 


链世纪财经CEO焦仕可:

问题四】目前区块链在除金融领域外真正的落地项目尚少,大家在讨论分布式存储和计算将引领产业区块链发展,您怎么看?


存储技术专家冷波:

分布式存储和计算,能够让区块链更加实用,摆脱大家认为区块链只是一个哈希游戏的印象。对于这块的技术和产业发展方向,我是充满信心的。


链世纪财经CEO焦仕可:

【问题五】您是存储技术专家,分布式存储创业赛道现在如火如荼,您认为这其中有哪些风险,又该如何应对?


存储技术专家冷波:

如果是Filecoin挖矿的话,本身有比较大的价值,但整个行业还是有泡沫的,毕竟很多人都想拿这个概念来做对自己有利的事情。老老实实地做技术,投入到研发、可靠的设备等方面,且不要盲目一次性投入,抗风险能力强。

基于这个生态来说,有很多事情可做。但从商业价值来看,一定是有的方向可能获得的回报更大,有的方向砸钱进去连浪花都掀不起来。研发都有巨大的试错成本,这是正常的。如果团队有很强的行业经验,研发迭代能力快,在这块的试错成本会相对较小,取得成功的可能性就更大。

链世纪财经

图片来源:百度图库 


自由提问环节

群员提问一:

在filecoin的经济模型下,矿商的核心竞争力是什么?

比如算力、技术运维能力、还是生态能力?您认为哪个更重要?

冷波老师:

在filecoin的经济模型下,矿商的核心竞争力是什么?【主要还是技术实力,比如研发和运维能力。对于底层I/O的优化,大规模设备运维的水平,网络的优化,对于Filecoin算法的理解,以及针对性的加速算法等,都是比较重要的。同时,现在对于可验证的真实数据的权重更高,所以,在数据获取方面的运营能力,也变得比较重要。】 

比如算力、技术运维能力、还是生态能力?您认为哪个更重要 【都重要。算力的话,是算力增长的能力。光看总算力并不能看到太多的东西。生态能力,对于长远发展来说比较重要,可以避免短视行为。】


群员提问二:

单纯从技术角度研判,除了Filecoin,您还看好哪些分布式存储项目?

冷波老师:

如果是纯区块链的项目来讲,目前主要还是Filecoin。之前研究过Storj,但经济模型方面不是很好。

我相信未来会有比Filecoin更好的项目。可能很快就有。Filecoin其实有一些不足,但它在技术上面的确有很多的创新。

Filecoin应该是在区块链发展历史上的现象级的项目。后面如果涌现出了更好的项目,我想很大程度上也会基于IPFS和Filecoin现有的一些思想和算法,只是针对性地做了改进。

声明:本文为入驻“火星财经 专栏”作者作品,不代表火星财经官方立场。
转载请联系网页底部:内容合作栏目,邮件进行授权。授权后转载时请注明出处、作者和本文链接。未经许可擅自转载本站文章,将追究相关法律责任,侵权必究。
提示:投资有风险,入市须谨慎,本资讯不作为投资理财建议。
本内容旨在传递行业动态,不构成投资建议或承诺。