|
火车采集器是一个供各大主流文章系统、论坛系统等使用的多线程内容采集发布程序。火车采集器如何去抓取数据，取决于用户的规则。使用火车采集器，可以瞬间建立一个拥有庞大内容的网站。系统支持远程图片下载，图片批量水印，Flash下载，下载文件地址探测，自定义发表的内容等有关采集器。火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。0 J1 i4 M' W+ i$ u
1,功能
' h5 I5 j- l+ c火车采集器(LocoySpider)是一款功能强大且易于上手的专业采集软件，强大的内容采集和数据导入功能能将您采集的任何网页数据发布到远程服务器，自定义用户cms系统模块，不管你的网站是什么系统，都有可能使用上火车采集器，系统自带的模块文件支持:风讯文章，动易文章，动网论坛，PHPWIND论坛,Discuz论坛,phpcms文章,phparticle文章,LeadBBS论坛,魔力论坛,Dedecms文章,Xydw文章,惊云文章等的模块文件。更多cms模块请自己参照制作修改，也可到官方网站与大家交流制作。 同时您也可以使用系统的数据导出功能,利用系统内置标签,将采集到的数据对应表的字段导出到本地任何一款Access,MySql,MS SqlServer内。
/ P1 _# i( V+ r5 qLocoySpider采用Visual C#编写，可独立在Windows2008下运行（windows2003 自带.net1.1框架。最新版的火车采集器是2008版，需要升级到.net2.0框架才能使用），如您在Windows2000、Xp等环境下使用，请先到微软官方下载一个.net framework2.0或更高环境组件。火车采集器V2009 SP2 04月29日
3 T( }5 c1 ~' N+ ^1 e2,数据抓取原理
( b" e6 F a& z3 I) [4 b4 O火车采集器如何去抓取数据，取决于您的规则。您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并保存下来。如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。
; V& J6 Z- K o# @3,数据发布原理7 s. X0 g0 B# x- S4 I
在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。5 l" S" O: h( \& o: L$ w
1、不做任何处理。因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。
& H7 T4 Z* s' N i2、Web发布到网站。程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。! _- Z- w. l) H: `
3、直接入数据库。您只需写几个SQL语句，程序会将数据按您的SQL语句导入到数据库中。
$ S! A" ?. m5 d; O1 z4、保存为本地文件。程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。
( h" g7 y M0 a: F4 g" T4,工作流程- G2 B' V9 ?0 Q5 S8 R3 Q- M
火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。这两个过程是可以分开的。7 }" [( `+ T- u: a9 b; G
1、采集数据，这个包括采集网址，采集内容。这个过程是获得数据的过程。我们做规则，在采的过程中也算是对内容做了处理。; _- F& C3 A( q# X( l
2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。可以用WEB在线发布，数据库入库或存为本地文件。# H, l) W: {2 ^- _
具体的使用其实是很灵活的，可以根据实际来决定。比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。总之，具体过程由您而定，火车采集器的强大功能之一也就是体现在灵活中。4 @" p6 c3 y: A8 T) @6 \
5,采集器 j6 O8 c. s" r f i
2012-05-16更新
. D5 Q! E6 w% V& R% F* ?1.屏蔽掉httpwebpost中浏览器的脚本错误提示8 m8 g4 n: W/ Z" y4 s+ a9 ?
2.修复使用偏好中的采集器没有开机启动和关闭窗口选项没有启用的bug
3 Z- z( W+ Y% X" \! n! n0 g3.对mysql和sqlserver做本地服务器建了索引，解决了大数据量时查询出错的问题
( ~- b8 f) U: |3 J4.细节修改，如在线发布里面的COOKIS可以全选，多页默认传前页user-agent给多页- k& M! W: K4 A5 d, f! n2 K; r
5.增加了多个任务在只使用一个任务运行窗口，减少资源使用, O# @/ e7 p' Q
6.更改任务运行完关机方式为只生效一次
3 u/ q% P9 k3 C7.修复一个当多页获取为空时网址成默认页的bug
. u( t- j( l, M8.插件中没有处理 UseGetStepUrls 的bug
8 c1 D8 D3 P P7 T9.httpserver 增加了列表分组，自动启动，和新建任务返回分组和任务id% ^' o! j# {* F4 ~9 q% m
10.对用户对标签组合再次标签组合进行了允许处理。
$ w. J+ k) Y& J2 v. x! D0 [11.修复对列表获取的内容，部分情况下会补全的bug- a! a" e, z7 x# F! m
12.修复多页管理时特殊情况下新建标签没有保存的bug# M6 s: i. w+ x1 ]2 T0 H
13.修复部分情况下标签提取大小写无效的bug5 Z; d3 z7 @9 H6 ~
14.修复如果一个标签出现多次时间转换转换部分无效的bug.
1 E5 w l! i0 c2 e5 n15.修复了ubb转换中部分转换错误的bug./ ^% w. r: l% z6 Y# V5 P
16.增加了将下载地址保存为html文件的功能。
, _/ D. q% D! Y/ a6 p- m* a7 }17.增加了web发布时网页超时设置
. K3 p# Q4 N% y! b% V" n/ W18.修复本地数据库使用Access时任务数据批量工具清理已发数据无效的bug.
9 g4 Q% d; t. O6 I6 q, D19.修复任务完成后关机设置取消后还会再提示关机的bug
" _& |( |! E/ C9 U& A1 ?20.修改部分电脑上Mongodb服务不能识别的bug
, [. S+ D% e2 C% Q1 F$ ~6,新增功能; _+ _8 y1 T' q, P- ^: Y1 W
无限级多页采集6 q# g- G$ B3 E/ v$ l" l! W5 f
任务队列运行管理功能
% O9 k* G$ I0 U6 N! x2 E9 B无限级分组任务管理，任务回收站功能) T3 U4 y8 z, I. c: E, L
RSS地址采集功能+ U& X9 Q+ \0 ]! k
列表页分页采集获取功能
* c( L! ?7 q$ u2 \5 t4 Y5 a; g5 r列表页附加参数获取功能) }3 d# Y t! Z
列表页及标签XPath可视化提取功能
, ?% y/ b& e! v- b标签纯正则替换功能/ ?$ v) K7 S4 G
Http接口查看运行情况
7 d. a! m9 |6 ^2 w3 w导出记录为单个或多个Txt、html 文件
( V2 `: h: V8 I L+ k标签间自由组合功能* ^/ S6 u9 G b% f5 [
针对标签内容继续发送Http请求功能% D3 Y# s3 T, o2 H3 c; {, l$ |
无限级列表网址采集
h$ o( \5 B, g! V! g p8 A从Http头信息中获取数据; {( y0 q7 W& {9 Y
标题内容正文提取功能& X G! `9 I2 X' i0 e6 l* g
Aspx列表分页自识别' i& _8 S+ r6 n0 Z
多网站站群式web发布! ^# d( V/ }9 z4 i
导出记录为Word格式
! l! n. Y/ g+ v' f T. B导出所有记录为Excel格式
0 [& ^0 ~) L1 h% R& \6 b$ ^使用随机二级代理服务器(支持Socket代理)) }) P/ O+ X7 m4 s4 W
多扩展间数据交换功能
8 ^3 w% A, y1 E7 w: j* Q下载的图片自动加增强型水印功能
/ }6 N# O- ^6 r3 k eOcr识别(图片转化为文字)
D8 U$ F, J- r0 \7 qHttp接口管理采集器运行" f P, E2 y; t/ Y" q
Mongodb数据库保存数据
2 c9 X% T3 N- b* n5 y0 y, ^$ L$ V主从服务器分布式采集
" | O& n% E' `$ ?- V7,术语介绍6 k, `7 Z; D8 D4 F) {
采集规则) D5 C1 p ?9 v0 _7 C2 p( g q) t
采集规则分为站点规则和任务规则，通常是指任务规则。所谓采集规则就是要采集一个网站时在软件里进行的设置。这个设置可以从软件里导出保存成一个文件并可以再导入到软件里。站点规则文件的后缀名为：.lsite；任务规则文件的后缀名为：.ljob。5 N+ h% E& ^0 _* Y1 g C4 P) t' e% o
9,采集任务$ ^$ K0 ]9 p- e# H
采集任务又简称为任务。它是采集规则和发布规则的总和。也是采集规则和发布规则的载体。采集规则和发布规则的设置通过在任务编辑框里进行设置。从采集器里导出的采集规则文件（.ljob后缀的）也可称为任务规则。导入导出任务规则就是指导入导出.ljob文件。
3 z$ \- T1 A$ w# b! l; p10,发布模块
, I1 n" x! {1 O3 g6 c& S, b; ~发布模块又称为发布规则，通常是指数据库发布模块或者WEB发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地（比如：指定数据库，网站中）时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为：.jhc；WEB在线发布模块文件的后缀名为：.cwr。. k* J7 |+ x4 z4 ]
（采集规则和发布模块都可以从采集器里导出，也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来，发布模块负责将采集的数据发布到网站中。可见，采集规则的编写和修改和被采集的网站有关系，而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块（频道）里发布，需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布，需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。）- z/ e" W9 |) o) W/ k2 S: a
11,发布接口. g! p! D$ k; |6 N4 T A
发布接口就是一个小的页面程序通常和WEB发布模块配合使用。WEB在线发布（使用WEB发布模块）是将采集的数据以POST方式发送到网站页面程序中由网站程序处理数据。而发布接口就是为了满足特定需求而写的一个网站的页面程序（如：PHP页面，ASP页面等）。然后采集器通过WEB在线发布将数据发送到这个接口文件由这个接口文件处理数据。接口文件通常放在服务器网站某个目录下。简单的说就是采集器将采集的数据发送到接口文件中，接口文件得到数据后去处理数据。使用发布接口用户可以更加灵活自由的处理采集器发送的数据。
8 V8 @! t( @+ b1 P1 B12,插件
5 F# P( ?% ~* k* o# b火车采集器里的插件分为PHP插件和.NET插件两种。标准版支持PHP插件，企业版支持PHP插件和.NET插件。插件可以让用户通过自己写PHP程序或者.NET程序放到采集器中对采集的数据进行处理。采集数据数据在四个地方可以使用插件，分别为：采网址时、采内容时、采多页时，保存时。, b& h" p, e0 L A
13,发布数据. A7 d8 D/ V: |6 f9 G
发布数据就是将采集到的数据发布到指定的目的地，火车采集器支持四种发布方式。, G/ H1 y" G- t6 y2 N! t
方式一：Web在线发布到网站 这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程序，由网站后台程序去处理数据通常后台程序讲数据存入网站数据库中。7 s! ]( X+ V1 M' G% X
方式二：保存为本地文件 这种方式可以将采集的数据发布到本地的文件中，采集器支持保存成Txt格式、Csv格式和Html格式。9 Z$ F/ a$ e& Q
方式三：导入到自定义数据库 这种方式可以通过采集器连接到其他数据库从而将采集的数据从软件内置数据库中导入到其他的数据库中，采集器支持连接Mysql、Access、Oracle、MSsql数据库。
/ \: t" Z- o( X4 M; e! h& H方式四：保存为本地Sql文件（Insert语句） 这种方式是将采集的数据导出保存成Insert语句，可以用于在数据库的管理工具中执行插入数据。, W. } q1 M: }
14,本地编辑数据! L+ ~& n$ {2 n/ x
采集器不仅可以采集发布数据，还可以将采集下来的数据经过编辑以后再发布。支持批量替换，通过SQL语句批量处理以及在文本编辑框里编辑。
9 {: ^- x+ r o 4 `: b0 w8 U [6 O5 Y* j
2 n+ C9 X5 c" g: i/ p E% \3 c
|
|
/1 
