淘宝采集软件哪个好用(手机app数据采集软件推荐)

大数据的来源多种多样,在大数据时代背景下,如何从大数据中采集出有用的信息是大数据发展的最关键因素。大数据采集是大数据产业的基石,大数据采集阶段的工作是大数据的核心技术之一。为了高效采集大数据,依据采集环境及数据类型选择适当的大数据采集方法及平台至关重要。下面介绍一些常用的大数据采集平台和工具。

1 Flume

Flume作为Hadoop的组件,是由Cloudera专门研发的分布式日志收集系统。尤其近几年随着Flume的不断完善,用户在开发过程中使用的便利性得到很大的改善,Flume现已成为Apache Top项目之一。

Flume提供了从Console(控制台)、RPC(Thrift-RPC)、Text(文件)、Tail(UNIX Tail)、Syslog、Exec(命令执行)等数据源上收集数据的能力。

Flume采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooKeeper,用于保存配置数据。ZooKeeper本身可保证配置数据的一致性和高可用性。另外,在配置数据发生变化时,ZooKeeper可以通知Flume Master节点。Flume Master节点之间使用Gossip协议同步数据。

Flume针对特殊场景也具备良好的自定义扩展能力,因此Flume适用于大部分的日常数据采集场景。因为Flume使用JRuby来构建,所以依赖Java运行环境。Flume设计成一个分布式的管道架构,可以看成在数据源和目的地之间有一个Agent的网络,支持数据路由。

Flume支持设置Sink的Failover和加载平衡,这样就可以保证在有一个Agent失效的情况下,整个系统仍能正常收集数据。Flume中传输的内容定义为事件(Event),事件由Headers(包含元数据,即Meta Data)和Payload组成。

Flume提供SDK,可以支持用户定制开发。Flume客户端负责在事件产生的源头把事件发送给Flume的Agent。客户端通常和产生数据源的应用在同一个进程空间。常见的Flume 客户端有Avro、Log4J、Syslog和HTTP Post。

2 Fluentd

Fluentd是另一个开源的数据收集架构,如图1所示。Fluentd使用C/Ruby开发,使用JSON文件来统一日志数据。通过丰富的插件,可以收集来自各种系统或应用的日志,然后根据用户定义将日志做分类处理。通过Fluentd,可以非常轻易地实现像追踪日志文件并将其过滤后转存到 MongoDB 这样的操作。Fluentd可以彻底地把人从繁琐的日志处理中解放出来。

常用的大数据采集工具,你不可不知

图1 Fluentd架构

Fluentd具有多个功能特点:安装方便、占用空间小、半结构化数据日志记录、灵活的插件机制、可靠的缓冲、日志转发。Treasure Data公司对该产品提供支持和维护。另外,采用JSON统一数据/日志格式是它的另一个特点。相对Flume,Fluentd配置也相对简单一些。

Fluentd的扩展性非常好,客户可以自己定制(Ruby)Input/Buffer/Output。Fluentd具有跨平台的问题,并不支持Windows平台。

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。Fluentd架构如图2所示。

常用的大数据采集工具,你不可不知

图2 Fluentd架构

3 Logstash

Logstash是著名的开源数据栈ELK(ElasticSearch,Logstash,Kibana)中的那个L。因为Logstash用JRuby开发,所以运行时依赖JVM。Logstash的部署架构如图3所示,当然这只是一种部署的选项。

常用的大数据采集工具,你不可不知

图3 Logstash的部署架构

一个典型的Logstash的配置如下,包括Input、Filter的Output的设置。

input {

file {

type =>”Apache-access”

path =>”/var/log/Apache2/other_vhosts_access.log”

}

file {

type =>”pache-error”

path =>”/var/log/Apache2/error.log”

}

}

filter {

grok {

match => {“message”=>”%(COMBINEDApacheLOG)”}

}

date {

match => {“timestamp”=>”dd/MMM/yyyy:HH:mm:ss Z”}

}

}

output {

stdout {}

Redis {

host=>”192.168.1.289″

data_type => “list”

key => “Logstash”

}

}

几乎在大部分的情况下,ELK作为一个栈是被同时使用的。在你的数据系统使用ElasticSearch的情况下,Logstash是首选。

4 Chukwa

Chukwa是Apache旗下另一个开源的数据收集平台,它远没有其他几个有名。Chukwa基于Hadoop的HDFS和MapReduce来构建(用Java来实现),提供扩展性和可靠性。它提供了很多模块以支持Hadoop集群日志分析。Chukwa同时提供对数据的展示、分析和监视。该项目目前已经不活跃。

Chukwa适应以下需求:

(1)灵活的、动态可控的数据源。

(2)高性能、高可扩展的存储系统。

(3)合适的架构,用于对收集到的大规模数据进行分析。

Chukwa架构如图4所示。

常用的大数据采集工具,你不可不知

图4 Chukwa架构

5 Scribe

Scribe是Facebook开发的数据(日志)收集系统。其官网已经多年不维护。Scribe为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网络或者机器出现故障时,Scribe会将日志转存到本地或者另一个位置;当中央存储系统恢复后,Scribe会将转存的日志重新传输给中央存储系统。Scribe通常与Hadoop结合使用,用于向HDFS中push(推)日志,而Hadoop通过MapReduce作业进行定期处理。

Scribe架构如图5所示。

常用的大数据采集工具,你不可不知

图5 Scribe架构

Scribe架构比较简单,主要包括三部分,分别为Scribe agent、Scribe和存储系统。

6 Splunk

在商业化的大数据平台产品中,Splunk提供完整的数据采集、数据存储、数据分析和处理,以及数据展现的能力。Splunk是一个分布式机器数据平台,主要有三个角色。Splunk架构如图6所示。

常用的大数据采集工具,你不可不知

图6 Splunk架构

Search:负责数据的搜索和处理,提供搜索时的信息抽取功能。

Indexer:负责数据的存储和索引。

Forwarder:负责数据的收集、清洗、变形,并发送给Indexer。

Splunk内置了对Syslog、TCP/UDP、Spooling的支持,同时,用户可以通过开发 Input和Modular Input的方式来获取特定的数据。在Splunk提供的软件仓库里有很多成熟的数据采集应用,如AWS、数据库(DBConnect)等,可以方便地从云或数据库中获取数据进入Splunk的数据平台做分析。

Search Head和Indexer都支持Cluster的配置,即高可用、高扩展的、但Splunk现在还没有针对Forwarder的Cluster的功能。也就是说,如果有一台Forwarder的机器出了故障,则数据收集也会随之中断,并不能把正在运行的数据收集任务因故障切换(Failover)到其他的Forwarder上。

7 Scrapy

Python的爬虫架构叫Scrapy。Scrapy是由Python语言开发的一个快速、高层次的屏幕抓取和Web抓取架构,用于抓取Web站点并从页面中提取结构化数据。Scrapy的用途广泛,可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个架构,任何人都可以根据需求方便地进行修改。它还提供多种类型爬虫的基类,如BaseSpider、Sitemap爬虫等,最新版本提供对Web 2.0爬虫的支持。

Scrapy运行原理如图7所示。

常用的大数据采集工具,你不可不知

图7 Scrapy运行原理

Scrapy的整个数据处理流程由Scrapy引擎进行控制。Scrapy运行流程如下:

(1)Scrapy引擎打开一个域名时,爬虫处理这个域名,并让爬虫获取第一个爬取的URL。

(2)Scrapy引擎先从爬虫那获取第一个需要爬取的URL,然后作为请求在调度中进行调度。

(3)Scrapy引擎从调度那里获取接下来进行爬取的页面。

(4)调度将下一个爬取的URL返回给引擎,引擎将它们通过下载中间件发送到下载器。

(5)当网页被下载器下载完成以后,响应内容通过下载器中间件被发送到Scrapy引擎。

(6)Scrapy引擎收到下载器的响应并将它通过爬虫中间件发送到爬虫进行处理。

(7)爬虫处理响应并返回爬取到的项目,然后给Scrapy引擎发送新的请求。

(8)Scrapy引擎将抓取到的放入项目管道,并向调度器发送请求。

(9)系统重复第(2)步后面的操作,直到调度器中没有请求,然后断开Scrapy引擎与域之间的联系。

版权声明:本文图片和内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送联系客服 举报,一经查实,本站将立刻删除,请注明出处:https://www.4kpp.com/7957.html

(0)
漫空客漫空客
上一篇 2023年4月23日
下一篇 2023年4月23日

相关推荐

  • 鹰嘴豆产地(鹰嘴豆产地哪里最好)

    今天给大家分享一下关于鹰嘴豆产地的知识,同时也解释一下鹰嘴豆更好产在哪里。如果你碰巧解决了你现在面临的问题,别忘了关注这个网站,现在就开始! 中国鹰嘴豆产量占世界的比重。 中国只是…

    投稿 2023年4月23日
    1610
  • 男士皮肤保养(男士皮肤保养顺序)

    今天小编给各位分享男士皮肤保养(男士皮肤保养顺序),如果能碰巧解决你现在面临的问题,别忘了关注小站,我们一起开始吧! 男性应该如何清洁面部卫生? 男人的护肤其实和女人的护肤方法没有…

    投稿 2023年4月23日
    1000
  • 海洋生物最丰富的哪个大洋(海洋生物最丰富的地方)

    今天就和大家分享一下关于哪个海洋的海洋生物最丰富的问题(海洋生物最丰富的地方)。以下是这个问题的总结。让我们来看看。 太平洋:海洋生物最丰富的海洋 海洋是地球上最神秘和最重要的部分…

    投稿 2023年4月23日
    1030
  • 白领养生(白领养生的一些常识)

    今天给大家分享一些关于白领健康的问题(白领健康的一些常识)。以下是这个问题的总结。让我们来看看。 什么是白领健康? 随着社会进步和经济发展,越来越多的人从事白领工作,但长期坐在办公…

    投稿 2023年4月23日
    1240
  • 甬剧给人的感受

    从来没有看过甬剧。 看过甬剧《典妻》之后,并没有觉得是在看一个鲜为人知的宁波地方小剧种的演出,这部戏完全有了一部戏该有的舞台品格,人物、情感、意境都完整而贴切,反而没有让人在“甬剧…

    投稿 2023年4月22日
    920
  • 刚出生的婴儿(刚出生的婴儿多重)

    今天给大家分享一个关于新生宝宝的问题(新生宝宝多少钱)。以下是这个问题的总结。让我们来看看。 新生儿 婴儿是人类的一种生命形式,是从母体发育成熟后,在世界上诞生的新生命。每个婴儿都…

    投稿 2023年4月24日
    1080
  • 活字印刷术谁发明的(活字印刷术谁发明的北宋)

    今天给大家介绍一下北宋是谁发明了活字印刷术,以及相应的知识点。希望对你有帮助,也别忘了收藏这个站点。 谁发明了活字印刷? 活字印刷是毕升发明的。毕升出生在周奇奇水仙县淮南路(今湖北…

    投稿 2023年4月23日
    950
  • 三星s21fe和三星s21有什么区别_哪款更值得入手

    三星s21fe和三星s21都是三星旗下的中高端手机,三星s21fe预计将在4月28日进行正式发布,那么三星s21fe和三星s21有什么区别呢?哪款更值得入手?接下来一起来参考参考吧…

    投稿 2023年4月23日
    710
  • 蒙太奇手法(蒙太奇手法小说举例 课文)

    今天和大家分享蒙太奇手法的知识,也会讲解蒙太奇小说的例子。如果你碰巧解决了你现在面临的问题,别忘了关注这个网站,现在就开始! 什么是蒙太奇? 蒙太奇是指构成一个艺术体系的视听造型元…

    投稿 2023年4月23日
    1510
  • 瘦脸按摩手法(瘦脸按摩手法视频)

    今天给大家分享一个关于瘦脸术(瘦脸术视频)的问题。以下是这个问题的总结。让我们来看看。 整容技术 为什么需要瘦脸* * * 瘦脸是每个人都向往的,但是很多人由于遗传、不良饮食习惯、…

    投稿 2023年4月23日
    1730

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注