HtmlExtractor 1.1 发布,网页信息抽取组件

HtmlExtractor是一个Java实现的基于模板的网页结构化信息精准抽取组件,本身并不包含爬虫功能,但可被爬虫或其他程序调用以便更精准地对网页结构化信息进行抽取。

HtmlExtractor是为大规模分布式环境设计的,采用主从架构,主节点负责维护抽取规则,从节点向主节点请求抽取规则,当抽取规则发生变化,主节点主动通知从节点,从而能实现抽取规则变化之后的实时动态生效。

在本次发布的1.1版本中,对API做了更合理的重构,并给出了详细的使用方法,除了抽取组件,还加入了网页抓取组件,能执行JS,支持动态渲染的页面等。

HtmlExtractor项目主页

点赞
收藏

评论区

加载中...

相关推荐

手写Java HashMap源码

HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22

Python_爬虫笔记_2018.3.19

Python\_爬虫\_笔记1.前言1.1爬虫用途:网站采集、接口采集(地图(jis热力学屋里端口/协议)、微信、知乎、)1.2基本流程:网页下载(requests)网页解析爬虫调度网页解析:在当前网站找信息、下一个入口等信息调度:调度器/

Krabber

Krabber是kVitrail的网页抽取工具。Krabber的设计目标是提供一个可以为Java应用调用的、可以执行网页上的JavaScript代码、并返回JavaScript代码执行后的网页的HTML代码的网页抽取工具。java模拟AJAXhttp://sourceforge.net/projects/kvitrail/(https://w

ForeSpider教程之如何爬取位置不固定的图片

众所周知,对于新闻网站来说,图片位置是无法固定的,所以想要爬取到这些位置不固定的图片,需要一定的技术手段。以某网站为例,任务入口地址为:http://www.chengdu.cn/一、对首页进行链接抽取。 抽取文章标题,使用地址过滤“包含”.shtml。抽取到结果如下:二、新建模板2,抽取图片链接及内容数据:示例地址如下:ht

Python网络爬虫与如何爬取段子的项目实例

一、网络爬虫Python爬虫开发(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwww.shsxt.com%2Fpython)工程师,从网站某一个页面(通常是首页)开始,读取网页的内容,找到在网页中的其它链接地址,然后通过这些链接地址寻找下一个网页,这样

Essential Studio for UWP发布2017 v2,新增甘特图控件

EssentialStudioforUWP(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.evget.com%2Fproduct%2F3894)是包含有35组件的综合套包,包括最快的图表和网格组件。所有组件根据当前被呈现的设备系列自适应渲染。EssentialStu