惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

B
Blog
Know Your Adversary
Know Your Adversary
博客园 - 叶小钗
雷峰网
雷峰网
大猫的无限游戏
大猫的无限游戏
M
MIT News - Artificial intelligence
量子位
A
About on SuperTechFans
The Register - Security
The Register - Security
F
Fortinet All Blogs
Microsoft Azure Blog
Microsoft Azure Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
IT之家
IT之家
博客园 - 聂微东
Blog — PlanetScale
Blog — PlanetScale
Hugging Face - Blog
Hugging Face - Blog
J
Java Code Geeks
有赞技术团队
有赞技术团队
阮一峰的网络日志
阮一峰的网络日志
云风的 BLOG
云风的 BLOG
人人都是产品经理
人人都是产品经理
Hacker News: Ask HN
Hacker News: Ask HN
T
The Exploit Database - CXSecurity.com
Vercel News
Vercel News
Stack Overflow Blog
Stack Overflow Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
博客园 - 司徒正美
NISL@THU
NISL@THU
V2EX - 技术
V2EX - 技术
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Schneier on Security
Schneier on Security
博客园 - 三生石上(FineUI控件)
T
The Blog of Author Tim Ferriss
AWS News Blog
AWS News Blog
The GitHub Blog
The GitHub Blog
C
Cisco Blogs
T
Tenable Blog
酷 壳 – CoolShell
酷 壳 – CoolShell
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
Cyber Attacks, Cyber Crime and Cyber Security
V
Vulnerabilities – Threatpost
美团技术团队
L
LangChain Blog
Google DeepMind News
Google DeepMind News
腾讯CDC
P
Privacy International News Feed
Spread Privacy
Spread Privacy
D
DataBreaches.Net
Engineering at Meta
Engineering at Meta
S
Security @ Cisco Blogs

博客园 - AnewR

话说最近更新的好快 从三月到四月 无题 cmangarobot zxmh.net 的漫画下载 懒人的漫画下载工具[0.1] 懒人的漫画下载工具[基本能用版] 我要工作了 daily 9.29 八月 七月 ZOJ 200 超 我也酷他一把——EMACS + GDB 小试牛刀 自动登录DISCUZ,发帖的代码(部分) 最近一直在自己写的ChuanDaily上写东西 hello,idle 庆幸:软设考过了 关于那个快速启动的控制台小程序 无聊的练习编程
无题
AnewR · 2008-04-06 · via 博客园 - AnewR

趁着那个什么节的(反正不是我的节日)和周末,原本计划补充一下,把cmangarobot发布一下的。结果郁闷死了。
想想最开始的时候目标很简单,就是批量的下载,几天功夫就已经工作的很好了,但是 后来又想写的好看一点,又想添加功能多一点,又想添加多个site,结果就搞的!@#¥%¥#@!¥%

那个叫zxmh的站点几乎一周改动一次(强),我就得跟着改一下──话说最近这次改动还比较大的,把一个页面硬生生的塞入了好多个广告页面,又搞了个什么ajax动态载入评论和目录列表。而且由于他的代码中使用了不规范的js,使得在firefox下显示不出来目录列表了。
具体出问题的东西大概是在这个js上,但我也没有去仔细分析,不知道哪有问题:

function createXMLHttps()
{
    
var ret = null;
    
try {
        ret 
= new ActiveXObject('Msxml2.XMLHTTP');
    }
    
catch (e) {
        
try {
            ret 
= new ActiveXObject('Microsoft.XMLHTTP');
        }
        
catch (ee) {
            ret 
= null;
        }
    }
    
if (!ret && typeof XMLHttpRequest != 'undefined')
        ret 
= new XMLHttpRequest();
    
return ret;
}
function ajax(URL,DIVID)
{
var DIVID=document.getElementById(DIVID);
if(DIVID)
{
        jiazai 
= 'yes';
    DIVID.innerHTML 
= ''
        
var xmlhttp = createXMLHttps();
        xmlhttp.open(
"GET",URL,true);
        xmlhttp.onreadystatechange 
= function()
        {
                
//alert(xmlhttp.responseText);
                if (xmlhttp.readyState == 4 && xmlhttp.status == 200)
                {
                        DIVID.innerHTML 
= xmlhttp.responseText;
                }
        }
        xmlhttp.send(
null);
}
}
function window.onload() {

        ajax(

'/volume.asp','divvolumelist');
//ajax('/gg2/vodone.htm','table_top');
        }

他把漫画列表放到http://www.zxmh.net/volume.asp这儿去了,通过不同的referer返回不同的列表。
至于漫画页面的加密,还是老样子,只是某些页面获取会失败……不想调试……

另外,由于最近网速很慢,我频频发现有connection reset by peer的情况。
发现调用的下载wget很多的时候,就会出现这样的情况,似乎urllib2和wget都有这样的报错。
没办法,还是单线程把,给程序加了个列表导出的功能(顺便做了一个命令行参数解析):
cmr.py [-R] [-L] [-N name] url
-L的话会自动输出列表到当前目录。
然后写了一个单线程的下载程序Fetch.py:
Fetch.py [-p savepath] [-w wgetpath] PicList
可以指定wget和保存的目录。

本来准备整理一下发出来的,但是我在windows下面试了一下(程序是在ubuntu环境下写的),问题多多啊。原本想改改的,后来发现越改越多,算了,反正这个程序也是“玩票”的,就再等等吧。