常见的大数据采集工具有哪些?

1、离线搜集工具：ETL 在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集工具：Flume/Kafka 实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。

在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。 3、互联网搜集工具：Crawler, DPI等 Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。 除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

网站数据采集工具哪个好

采集软件，对我来说，好用的标准就是采到数据，如果能格式化就更好了。我一直用前嗅ForeSpider，最开始是通过可视化操作采集的数据，对于简单的网站，上手非常容易。

后来由于网站反扒措施越来越复杂，就学习了一些脚本，可以直接接管整个采集过程，棒呆。

该软件支持js、关键词搜索、登录cookie验证，而且采集速度也很快。

网站数据采集工具哪个好？爬虫之外的，谢谢！

哈看样子你不喜欢爬虫了，网络爬虫有很多，只能爬网页数据，目前操作界面有点复杂，没有编程基础的比较难上手我喜欢用小帮，，小帮软件机器人。这个傻瓜式的，只需要简单配置就可以，不只是网页可采集保存到本地，系统软件也可以呢。

这个靠谱，可以 试 试，。

网站数据采集工具哪个好？爬虫之外的，谢谢

如果说数据采集，不管是软zhidao件数据采集 还是网页的数据采集，都可以用到，UiBot 数据采集机器人。UiBot 数据采集机器人是一款把电脑重复操作自动化的软件机器人，可以内自动代替人工的重复操作，比如说，复制 粘贴 点击等，数据采集和数据录入等都容可以用到。

网页数据采集当然不在话下。