Hadoop区块链落地难在哪 数据底座该怎么搭

导读： Hadoop这个东西, 还有那个区块链技术, 这两个经常是被大家放在一起放在嘴边上说的, 但是真正的那个动手去落地去干的团队他们就会发现, 它们两边的数据在流转到一起的时候...

Hadoop这个东西,还有那个区块链技术, 这两个经常是被大家放在一起放在嘴边上说的, 但是真正的那个动手去落地去干的团队他们就会发现, 它们两边的数据在流转到一起的时候, 其实是不天然契合的。

我做了六年分布式架构相关的活计, 在金融行业的项目里头, 也在供应链项目里头, 确实踩过了不少坑, 那最典型的、也是最难受的地方呢, 就卡在了数据底座这一层上面。

hadoop区块链怎么落地

在具体的项目实际应用当中, Hadoop这个平台主要承担的是PB级别的大规模数据批量处理以及存储工作, 而区块链则主要负责维持共识机制并确保数据的不可篡改特性。

这两者之间出现的最主要的冲突或者摩擦, 其实是集中在数据格式的统一以及同步节奏的差异上面, 因为存放在HDFS分布式文件系统里面的那些文件数据, 它们的更新频率和区块链网络上生成新区块的速度, 完全是没有办法放在同一个数量级上来进行比较的。

我通常是给出建议, 在HDFS这一侧先把数据分片这个活儿做好, 然后, 再通过智能合约把关键哈希上链, 千万不要去试图把整块的原始数据直接写入到链上面去, 因为那样操作的话, 会把gas成本给撑爆的。

hadoop区块链适合谁用

供应链金融, 医疗数据溯源, 政务电子档案这类业务场景。底层数据那个量非常巨大, 但是真正上链的仅仅只有摘要和校验值这两样东西。Hadoop负责处理存储和计算任务, 链上面则保障不可篡改这个特性。大家各自发挥自己长处的作用。

但是, 如果你的业务数据量是在TB这个单位以下的, 而且参与的节点数量是不超过十多个的, 那么单独去运行那一套轻量级的链就是足够使用的了, 非要套用Hadoop的话, 反而会多出一套集群是需要去进行运维工作的。

选型的这个过程本身就没有什么固定的答案, 你需要看的是自己的数据规模到底有多大, 以及你对上链可信度的那个要求具体有多刚性。