• Groups
• cn.wanghaomiao
• SeimiCrawler
• 0.1.0

SeimiCrawler

一个支持分布式的可以高效开发且可以高效运行的爬虫框架。设计思想上融合了spring与scrapy的优点。

'cn.wanghaomiao:SeimiCrawler:0.1.0'

<dependency>
	<groupId>cn.wanghaomiao</groupId>
	<artifactId>SeimiCrawler</artifactId>
	<version>0.1.0</version>
</dependency>

<dependency org="cn.wanghaomiao" name="SeimiCrawler" rev="0.1.0"/>

"cn.wanghaomiao", "SeimiCrawler", "0.1.0"

Dependencies

Compile dependencies

• cn.wanghaomiao » JsoupXpath » 0.1.1
• com.alibaba » fastjson » 1.2.6
• org.apache.commons » commons-lang3 » 3.3.2
• org.apache.httpcomponents » httpclient » 4.3.1
• org.apache.httpcomponents » httpcore » 4.3.1
• org.slf4j » slf4j-api » 1.7.9
• org.slf4j » slf4j-ext » 1.7.9
• org.springframework » spring-context » 4.1.5.RELEASE
• org.springframework » spring-core » 4.1.5.RELEASE
• redis.clients » jedis » 2.7.3

Test dependencies

• junit » junit » 4.12