テレワークならECナビ Yahoo 楽天 LINEがデータ消費ゼロで月額500円〜！
無料ホームページ 無料のクレジットカード 海外格安航空券　海外旅行保険が無料！ 海外ホテル

メモ３

100 ：ＤｉｎｏＳｗｉｆｔ：07/09/09 23:40:23 ID:hyFCUTig

質問なんですけど、いまこんな感じでクローラを巡回させてるんですが
http://wannabe.fam.cx/service/task.txt
http://wannabe.fam.cx/service/list.txt

専門カテゴリの巡回頻度が12時間とかになるとやっぱ取りこぼしが増えますかね？
あんまり他のカテゴリをうろつかないんで、どれくらいでdat落ちするのか感覚的によくわからんのですが。
本当は4時間毎、最悪でも6時間ごとに取得にしたかったんですが100カテゴリ巡回するのも1時間以上かかって
どうも無理っぽいんです。
この前の改造でパソの負荷そのものは抑えられたものの、やはりADSL回線でのDLの速度がネックになってるの。


(へ´ω｀)　他の過去ログ倉庫とかやっているひとってどういう風にクローラ動かしているかとか
　　　　　　知っている人いないですかね。