Sep 05
大学三年的时光匆匆的流逝了。我忘记了学过什么，干过什么，懂得了什么，但我知道现在不是畏惧的时候了，我们要握紧手中的剑，坚毅的向远方宣战。
好朋友告诉我，把未来想的太具体就是空想主意。在我心里有着很多副关于未来的幸福画面，和爱人，和家人，和孩子，和朋友，但那绝不是空想，那是理想，是梦想，有梦才有远方。
经过了挺长一段时间的迷茫，我想我知道了前进的方向，同时我也为迷茫付出惨痛的代价。我确信的一句话“只要你知道去哪，全世界都会给你让路”。现在，我想是该上路的时间了，我不能停歇，更不能回头，朝着远方太阳升起的地方。
我不知道我为什么要写这乱七八糟的东西，我想我是要为这个决定立字为据吧！
毕业了，让我们开始实践吧！
Jan 05
分享 heritrix, 关于, 搜索 No Comments
看了自己动手做搜索引擎那本书，上面写的运行heritrix的方法挺麻烦的！要加载好多jar包，懒得弄。后来发现bin文件夹里面本来就有一个heritrix.cmd的文件，我想着一定就是windows下的运行文件，运行了一下，提示输入用户名密码！
输入用户名密码了以后，又说找不到密码文件“jmxremote.password”。我发现在conf文件夹里面就有一个jmxremote.password.template文件，这一定是一个模板文件！打开后修改一下密码，把它放到heritirix的根目录，继续运行……
这下子成功了，可以启动webUI了，浏览器输入http://127.0.0.1:8080，输入用户名，密码。就可以进入了！（用户名密码以及端口号可以在/conf文件夹里的文件修改）
但是有个问题，就是设置了任务，运行不了！查了一些资料原来是默认的配置文件有问题，将 %HERITRIX_HOME%\heritrix-1.12.1.jar 解压到临时目录，拷贝其中的profiles目录到 %HERITRIX_HOME%\conf\目录下。
这样做就没有问题了，可以进行抓取任务了！
以下内容是转载的一个最简单的任务的设置方法！
Heritrix提供的配置功能非常丰富，但是也很复杂，刚开始的时候很难正确的创建并且执行一个Job去抓取网站，自己阅读了大部分的Heritrix用户文档和多次尝试之后，总结了一个简单的创建执行Job的用例，该用例为抓取www.baidu.com下的网页，但子域（如 news.baidu.com）不抓取，步骤如下，可供参考：
(1) WUI的上边的导航栏选择”Jobs”，呈现的第一项是”Create New Job”，选择第四小项”With defaults”。输入项的前两项
Name和Description随意，Seeds非常重要：http://www.baidu.com/ 注意最后一个反斜杠必须。
(2) 选择下边的”Modules”，进入Module配置页（Heritrix的扩展功能都是通过模块概念实现的，可以实现自己的模块完成自己
想要的功能）。其中第一项 “Select Crawl Scope” 使用默认的 “org.archive.crawler.deciderules.DecidingScope”
。倒数第三项 “Select Writers ” 删除默认的 “org.archive.crawler.writer.ARCWriterProcessor” ，后添加
“org.archive.crawler.writer.MirrorWriterProcessor”，这样执行任务的时候抓取到的页面会以镜像的方式放在本地的
目录结构中，而不是生成ARC存档文件。
(3) 选择”Modules”右边的”Submodules”，在第一项内容中 “crawl-order ->scope->decide-rules->rules” 删除掉其
中的 “acceptIfTranscluded” (org.archive.crawler.deciderules.TransclusionDecideRule) 的这一项抓取作用域的
规则。否则当Http请求返回301或者302时Heritrix会去抓取其他域下的网页。
(4) 在WUI的第二行导航栏中选择”Settings”进入Job的配置页面，其中主要修改两项：http-headers 下的user-agent 和
from，他们的”PROJECT_URL_HERE” 和 “CONTACT_EMAIL_ADDRESS_HERE” 替换为自己的内容
（”PROJECT_URL_HERE” 要以 “http://” 开头）
(5) 在WUI的第二行导航栏中选择最右边的”Submit job”
(6) 在WUI的第一行导航栏中选择第一项的”Console”，点击”Start”，抓取任务正式开始，时间长短有网络状况和所抓取网站的
深度有关。
按照如上步骤应该可以正确的执行一次网站的抓取任务，抓取页面会存放在你的工作目录下的mirror文件夹内。关于Job的创建和执行过程中的各种设置可以在用户手册中查到，都有详细的说明。
Jan 04
网络ID：大森林（thebigforest）
性别：男性
现居地：江西 南昌
目前为计算机专业学生，对用户体验、网络营销、电子商务、个性化推荐、搜索引擎、Web2.0的发展等很感兴趣。并希望日后从事相关行业。
非常高兴认识你并成为朋友。
Email@GTalk：thebigforest#gmail.com
MSN：thebigforest#live.cn
其他所有ID几乎都为thebigforest，但很少上线。
RSS