大屏展示数据操控与应用

by Norman Wang 2018-08-31

批次处理和流式处理

大数据像野火一样充斥着计算机世界。Hadoop就是一个很火的词,但是Hadoop / MapReduce是一个面向批处理的过程,这意味着你收集大量数据,处理它,然后存储输出供以后使用。 但是,你无法通过实时观察用户点击来确定整个互联网上哪些资源是有价值的。 而且,随着业务面临越来越大的压力,需要更快地回答重要问题,例如: – 现在的趋势是什么? – 在过去10分钟内有多少次无效登录尝试? – 我们最近发布的功能如何被用户群使用? 你需要流处理作为解决方案。流处理就是在数据到达系统时处理数据。Kafka Streams 是Apache Kafka提供的用于构建应用程序和微服务的客户端库,属于轻量级的流计算类库,易于编写和方便维护让Kafka stream能迅速帮助企业实现实时数据处理以及大数据赋能。

通过本文,你可以看到BDOS已经一站式将所有的的技术环境预备好,开发人员仅仅通过编写和部署标准Java或者Scala的程序,就可轻松对Kafka集群中的数据进行实时处理,这里通过使用Java编写的一个Word Count的简单Kafka Stream例子:通过不断上传一个带有单词的文件,把输入的单词先做处理,然后根据单词的变化来实时跟新一个WebUI上面的显示。这个简单的例子抹去所有复杂的商业逻辑,从纯技术的视角来走通一个标准的Kafka Stream技术实现,并希望能作为一个原点激发你在各式各样的商业场景中去运用这种流数据处理的能力为你带来商业价值。

商业场景扩展

信用卡欺诈

信用卡持有人可能不会注意到卡被盗,但通过根据既定模式(位置,一般消费习惯)检查购买,你能够检测到被盗信用卡并提醒所有者。

异常检测

实时分析应用程序日志文件来有效提高安全性防止未来的系统安全隐患,并且对系统的健康状态做实时评估,扩展到智能(AI)运维,大大降低运维整体成本,增加运维产能,为商业环境保驾护航。

物联网实时分析

像北京,上海马拉松这样的大型比赛,通过跑步者佩戴的可穿戴设备,你可以使用该信息来跟踪跑步者的位置。通过使用传感器数据,你可以确定领导者,发现潜在的作弊行为,并检测跑步者是否可能遇到问题。

实时跟踪市场动向

在金融行业即时跟踪,分析市场价格和方向的能力至关重要,这种能力能赋予金融产品的经纪人和消费者在任何时候都能在几分钟内做出有关何时出售或购买的重要决策。

场景实现

本场景示例中Kafka Streams流程实现的主要思路是:首先通过Redis来存储汇总数据,然后通过Kafka Streams程序来实时消费Kafka数据并输出到Redis中,最后从Redis里读取数据并呈现到前端页面,完成一个实时单词统计的展示,整个场景需要建立Kafka Cluster,Kafka Topic,数据源上传程序,数据生产和展示程序

BDOS Online 提供了内置的Kafka Cluster 和 Kafka Topic, 并且打包生成好了两个必须的作业,你可以直接通过点击链接来查看最后的流式数据处理效果,同时本教程也提供了BDOS企业版从零开始的搭建的整个过程。

留言

评论

${{item['author_name']}} 回复 ${{idToContentMap[item.parent] !== undefined ? idToContentMap[item.parent]['author_name'] : ''}} · ${{item.date.slice(0, 10)}} 回复

暂时还没有一条评论.