分布式账本为分布式存贮提供了区块链技术的落地应用过程，大数据技术始终在其中扮演着关键支撑角色，从我的实践经验来讲，大数据技术为这个账本提供了数据采集、存储、分析和挖掘的能力是区块链本质，二者并非替代关系，而是相互增强的技术组合。

区块链如何与大数据结合

于具体架构层面而言，区块链跟大数据的结合主要借由三个层次达成，底层是数据采集层，物联网设备以及业务系统所产生的海量数据依靠大数据平台的预处理能力，达成清洗以及标准化，中间层是数据上链层，经过筛选的关键数据借助哈希算法生成数字指纹，存储于区块链上确保不可篡改，上层是数据分析层，链上数据和链下数据通过大数据分析引擎进行关联挖掘，形成商业洞察，这种分层架构既解决了区块链存储成本高的问题，又保障了核心数据的可信性。

区块链为什么需要大数据技术

纯净的区块链系统于处理海量数据之际存在显著瓶颈，比特币网络每秒仅仅能够处理7笔交易，以太坊也仅仅能够达到30笔左右，然而传统大数据平台处理峰值能够达到每秒百万级。要是所有交易明细皆直接上链，不但成本极其高昂，查询以及分析效率也会大幅度下降。所以于实际项目当中，我们通常采用链上存证、链下计算的模式，借助大数据技术处理95%以上的原始数据，只把核心证据以及计算结果上链。这种分工使得区块链既能确保关键数据的可信，又能够支撑商业级应用规模。

区块链大数据应用案例

供应链金融属于典型的结合场景，就拿我们服务过的一家大宗商品贸易平台来讲，每天会产生数十万条物流数据，会产生数十万条仓储数据，还会产生数十万条关单数据，这些均为原始数据，它们全都存储于Hadoop集群当中，借助数据清洗以及规则引擎筛选出异常节点，接着把异常数据的存证哈希写入区块链，当出现贸易纠纷的时候，司法机关能够直接调取链上存证，同时能够直接调取链下原始数据来进行核验，这种方案把存证成本降低了90%，将验证效率提升了5倍以上，切实解决了中小企业融资难的数据信任问题。

区块链大数据面临哪些挑战

现阶段最为重大的挑战在于数据孤岛的治理难题，企业尽管怀有将存证信息引入区块链的意愿，然而其核心业务数据依旧不情愿对外进行开放。在政务数据共享项目当中，我们曾尝试运用联邦学习技术，从而使各个机构的数据无需离开本地范围，仅交换模型参数，进而再把这些参数的更新记录上传至区块链。此种隐私计算与区块链相融合的方案初步展现出成效，不过在计算性能以及标准化层面仍旧存在较大的提升空间。除此之外，既精通区块链又熟悉大数据的复合型人才极度匮乏，这同样是对行业发展形成制约的关键因素。

你于实际工作期间碰到过数据可信跟隐私保护相互间的矛盾状况吗，欢迎于评论区域分享你所拥有的解决方案，并且也请进行点赞予以支持以便让更多从事相同行业的人见到这个具体话题了。