Gポイントポイ活 Amazon Yahoo 楽天
無料ホームページ 楽天モバイル[UNLIMITが今なら1円]
海外格安航空券 海外旅行保険が無料!
■掲示板に戻る■ 全部 1- 101- 201- 301- 401- 501- 601- 701- 最新50
雑談
- 1 :663:05/05/03 21:27:23 ID:4Z1XA2Xz
- 適当に
- 136 :名無しさん@勉強中 ★:05/09/23 11:18:27 ID:???
- メモ
かちゅ〜しゃスレ過去ログ
http://fm-x.netfirms.com/kage/katjulog.htm
なぜスレでリンクしないのだろう
不思議だ
サーバ(netfirms)の転送量上限があるからかな
よく覚えていないけど
- 137 : ◆/vmukiyuzw :05/09/24 02:59:30 ID:YQIfI33T
- http://2ch.dumper.jp についてですが、要望についてのレスが来ましたので
少し書いておきます。
まずdat形式での提供についてですが、
> 変換処理は簡単にできますが、今のところ提供していないです。
> HTTPリクエストが来たときにリアルタイムで変換処理をかますと
> ちょくちょくやって来るやんちゃな人がdat形式をありえないペース
> でDLしはじめて負荷をはね上げられるのが怖いので
> あまりやりたくないです。
とのことでした・・・でも
> この主の要望があるのは、はてなブックマーク
> http://b.hatena.ne.jp/entry/http://2ch.dumper.jp/
> を見て知っていたのですが、メールで問い合わせがあったのは初めてです。
> 今後、要望が多ければ検討します。
とのことでしたので期待はできるかなと思います。
- 138 : ◆/vmukiyuzw :05/09/24 03:05:51 ID:YQIfI33T
- 次にURLに関しての疑問・要望についてですが
> 公開しているURLの中には関連性は全くないです。
> 巡回して取得した順に順番に番号を振って10桁の数字で表しているだけです。
> 内部的にはMySQLでメタデータを管理しています。
> スレッド表示のときにはメタデータを利用して元URLにリンクしています。
とのことでした。
元スレッドのURLを含められないかという点も一応聞いておいたのですが
それに関しての回答はありませんでした。
- 139 : ◆/vmukiyuzw :05/09/24 03:28:58 ID:YQIfI33T
- ・・・と書いたところで何と次のメールが来てました。
(私)
> > スレッドキー(サーバ名・板名・スレッド番号)
> > を含むようにしていただけると、元スレッドのURLしかわからないような
> > スレッドを探す際に大変利便性が増すと思う次第です。
(回答)
> スレッド番号から保持しているスレッド一覧を表示する機能を
> 適当に作ってみました。
> 例)
> http://pc8.2ch.net/test/read.cgi/tech/1109933426/
> http://2ch.dumper.jp/key=1109933426
>
> サーバ名、板名の方は、それのみでは候補が一万を超え
> 探すのに現実的ではなく、またトップページから各板別に
> 過去ログへ行けるので意味としては同じになるので
> 用意していません。
とのことです。
- 140 :名無しさん@勉強中 ★:05/09/24 19:17:42 ID:???
- >>137-139
わざわざ御連絡頂きありがとうございます。
という訳で2ch.dumper.jpのスレも追加してみました。
「その11」です。
・・ただ、やはり私の環境(というかプロバイダ)だと
Unknown host になっていますが。
それにしても、最終更新が4/11のままみたいですが
更新はされないのでしょうか・・。
- 141 : ◆/vmukiyuzw :05/09/24 21:33:59 ID:YQIfI33T
- >>140
> という訳で2ch.dumper.jpのスレも追加してみました。
> 「その11」です。
スレッド番号だけってところが若干気になったんですが大丈夫ですかね。
まあ実用上はほぼ問題ないのかなという気もしますが。
ところで、ミラー変換スクリプトでの変換結果の最後に、 p2.chbox.jp を
htmltodatで変換する場合の正規表現を書いて頂いてますが、うちの環境で
見ると一部文字化けしてしまっています。
(m#<dt.*?>([0-9]+).+?()<b>(.*) </b>.*?。ァ(.*?)</dt>.*<dd> (.*)<br><br></dd>#mi
のようになっている。IEでもネスケでも同様)
おそらく、変換結果のHTMLでcharsetが明示されていないためかと思われます。
あと<HTML>タグとかもお作法としてはつけといたほうがいいと思います。
- 142 :名無しさん@勉強中 ★:05/09/25 11:33:45 ID:???
- >>141
>スレッド番号だけってところが若干気になったんですが大丈夫ですかね。
>まあ実用上はほぼ問題ないのかなという気もしますが。
スクリプトで 目指すミラーのURLに飛ばしているみたいで
htmltodatではそのURLだと「Move parmanently」と出て取得出来ないみたいですね
まあdat取得で無ければ実用上は問題無さそうです
文字化け・・直しましたです・・。
ずっと怠けてましたが、htmlタグもつけました。
それだけではつまらないので、 <title>部分で少し遊んでみました(という程でもないか(^^:)
- 143 :名無しさん@勉強中 ★:05/09/25 11:39:17 ID:???
- 書き忘れてましたが
今日は2ch.dumper.jpは何の苦もなく繋がります
不思議だ
- 144 : ◆/vmukiyuzw :05/09/25 21:58:31 ID:XEvIJpSI
- > 今日は2ch.dumper.jpは何の苦もなく繋がります
単に、お使いのプロバイダのDNSに浸透したってとこじゃないですかね。
> スクリプトで 目指すミラーのURLに飛ばしているみたいで
> htmltodatではそのURLだと「Move parmanently」と出て取得出来ないみたいですね
まあ取得できたところで今のところはUTF-8対応が出来てないので
意味は無いんですけどね。
今はHTTPステータス200以外はエラーにしてるんですが、301,302位には
対応しといたほうがいいのかなという気もしてきました。
ということでパラパラとやるべきことが出てきたような気もしますが・・・
なんかまだいまいちモチベーションがあがらない。単に怠け者だからですがw
- 145 :名無しさん@勉強中 ★:05/09/27 21:09:04 ID:???
- すごいやすごいや
私もモチベーションが下降気味なので
何だかすごい刺激になります
- 146 : ◆/vmukiyuzw :05/09/27 21:42:30 ID:RLe7TetM
- どっちのスレに書いたものか迷いましたが一応こちらで先に出た話なので。
>>132で
> 私のやり方は、ファイル名欄をダブルクリックすると全選択状態になるので、
などと書きましたが、ファイル名に「-」を含むような場合は全選択にならない
ことに気づきました。
なので、他の欄と同様の操作になるようにという意図も含め、cntl+aで全選択
になるようにしました。マウス派の方には「面倒くせー」と思われるかもしれませんが
ご容赦ください。
# ちなみに私はコテコテのキーボード派です。MS-DOS世代だからでしょうかw
あとステータス301,302等のリダイレクトですが、使ってるコンポ(Indy)に
そのものズバリのプロパティ HandleRedirects ってのが存在してました。
なんか名前だけ見て、「これかな?」とヘルプも見ずに適当に設定したら
できてしまいました。なんか道端で拾った宝くじが当たってたような気分でしたw
- 147 :659 ◆7a659dmV7s :05/09/27 21:54:37 ID:hOG2LOXO
- 空気嫁といわれないか((;゚Д゚)ガクガクブルブルしながら書いてみるテスト
>>141
違う板で同じスレッドキーのスレの場合どうなるのかと憂慮していたのですが
http://qa.2ch.net/test/read.cgi/argue/1105039340/をかけてみたら
http://2ch.dumper.jp/key=1105039340と出てきました
とりあえずこの点は(素人目には)問題ないものと思われ
- 148 : ◆/vmukiyuzw :05/09/27 22:24:45 ID:RLe7TetM
- >>147
私も>>141ではそれが気になっていたのですが、やっぱそういうことになりますよね・・・
いっそ直接要望してみられてはいかがですか?
私程度の一通のメールでも少しだけど進歩があったわけですし。
- 149 :名無しさん@勉強中:05/09/27 23:36:25 ID:g99clHOy
- >>145
「モチベーションが下痢気味」に見えてしまい、
何を言ってるんだこの人は?と思ってしまった俺に何か一言。
- 150 :名無しさん@勉強中 ★:05/09/28 20:03:10 ID:???
- >>146
cntl+a ありがとうございます。
私もキーボード派なので、全然問題ないです。
#ちなみに情報機器実習という講義で修得したのですが(キー配列)
#タイプライター(!)とにらめっこの一年間だったなぁ
Indyという言葉で思い出しましたが、
「印出井」という名字の人が居たっけなぁ
(・・・ああ何と低レベルのレスである事か)
それはそうと
あちこちのサイトの講座を見てやっているのですが
delphi、難しいです・・・。
- 151 :名無しさん@勉強中 ★:05/09/28 20:09:12 ID:???
- >>147-148
「違う板で同じスレッドキーのスレ」
そんなのあるんですか・・。
- 152 :名無しさん@勉強中 ★:05/09/28 20:13:22 ID:???
- >>149
多忙リナックスで疲労コンパイルしてる時に見た
このレスは
すごい爆発力がありました。
テンパっていると楽しい事もあるもんですね。
慢性疲労マンセー!
(・・まだ回復してないみたいですな)
- 153 : ◆/vmukiyuzw :05/09/28 20:29:35 ID:5+alcFpu
- >>151
スレッド番号はスレが立った時刻なので、同じ板内なら重複しないよう
考慮されているようですが、違う板ならレアケースとはいえ充分可能性は
あるなと思ってました。
それより659さんはよくそのレアケースを見つけたなあと思いました。
どんな技使ったんですか?それに興味あります。
- 154 :659 ◆7a659dmV7s :05/09/28 21:11:56 ID:xXMaJpv8
- >>153
偶然の産物です
技なんてあったら私のほうが知りたいくらいですよw
- 155 :名無しさん@勉強中 ★:05/09/30 20:29:50 ID:???
- >>153-154
やっと2ch.dumper.jpに繋がりました
そういう事だったのか・・。
さてと
やる気が出ない時は 調子にでものってみようか
懐かし映画板より
http://that3.2ch.net/test/read.cgi/rmovie/1120483258/23-26n
そうか、ミラー変換スクリプトを使えば神になれるのか。
という事は・・・それをこしらえた自分はもしかしてもしかすると(略)
・・いえ、もちろん 各保存サイト様がすごいだけの話です。
- 156 :名無しさん@勉強中 ★:05/10/02 15:29:10 ID:???
- 少女漫画板
http://comic6.2ch.net/test/read.cgi/gcomic/1125137981/652-656n
--------------------------------------------------------------
653 :花と名無しさん :2005/09/21(水) 21:35:44 ID:???0
DAT落ちスレを読むことを「強要」されるのはいやだな。
(ま、強要するやつは、珍しいだろうけど)
読みたかったら、読めるよというスタンスがいいな。
だって、できる限り怪しげなソフト(といったら失礼だが)を
入れたくないんだよね・・・
まだ2ch専用ブラウザすら使ってない人間から言わせてもらいました
--------------------------------------------------------------
私もそう思いますが
ミラー変換スクリプトは単なるjavascriptなので
特に何もインストールする必要は無いのですが・・。
更に言えば
dat2html-1から3までも
dat2katjudatも
htmltodat by javascriptも。
どこかのサイトで見たのですが
javascriptでPCがクラッシュする事はありえないそうですし。
(ブラウザが固まる事はあるかもしれませんが)
ActiveXとかVBSとかWSHとかならともかく。。
それにしても「ミラー変換機」とはまあ大層な名前をつけたものだ・・。
でも、htmltodatと同じようにgoogle検索等でノイズが少ないので
これで良かったのでしょう。
(上の人みたいに「ソフト」「アプリ」と誤解される事もありますが)
同様に、最初geocitiesに「mirror」で登録しようとしたら
既に使われていたので「mirrorhenkan」にしたのですが
これまたノイズが少ないので 怪我の功名で 結果的に良かったです。
という訳で(って 上と繋がってませんが)
上のスレで話されている今市子「百鬼夜行抄」を本屋で見てみたら
朝日ソノラマから文庫本で出ていました。なかなか面白そう。
- 157 :名無しさん@勉強中 ★:05/10/03 17:04:51 ID:???
- <見えないレス>
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21256/1116159529/238
(´-`).。oO(いえ、同一キーのスレはこう表示されるんだなと思っただけです…)
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21256/1116159529/241
(´-`).。oO(別に対した事ではないです…)
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21256/1116159529/242-244n
(´-`).。oO(面白そうなスレですね…)
</見えないレス>
- 158 :名無しさん@勉強中 ★:05/10/03 17:38:12 ID:???
- さて
>>156での「怪しげなソフトをインストール」云々 と
>>157での 659さんが出されていたニュー速vip板のスレの話題 と
自分が適当に巡回して見たスレの件 と
これらを合わせた三題噺でも何となく書いてみようか
−−−
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21000/1122303467/76-77n
何が書かれていたのか判りかねますが
繁体字中国文字フォントと簡体字中国文字フォントは
インストールされておかれた方が良いと思いますよ
あと出来れば韓国語フォントも。
「怪しげ」かもしれませんが。
それらをインストールすれば
例えば↓のスレも読めますし(って別に読まなくてもいいけど)
日本人は台湾を応援しています
http://www.comic.com.tw/mini02/test/read.cgi/japantai/1112333566/
そうではないにしても
ブラウザで繁体字or簡体字中国語にエンコードすれば
日本語だったかもしれないな、と。
そういうのを見た事がありますし。
(↑その時は韓国語にエンコードしたら日本文字でしたが)
つまり「文字化け」といっても、↓と同じように、正しくエンコードすれば
読み込み可能だったかもなー、と。
http://pc8.2ch.net/test/read.cgi/unix/1093879892/l100
もう消されたので今では何が書いてあったのかわかりませんが。
あと
http://ex11.2ch.net/test/read.cgi/news4vip/1127997742/340
−−−−−−−
340 :以下、名無しにかわりましてモナーを取り返します :2005/10/03(月) 15:28:28 ID:U/k1jRuJ0
>>338
janeの事ばかりで申し訳無いが、utf-8だと読みこめるけど文字化けしてだめぽ
非doeならIEコンポなんで大丈夫かも
−−−−−−−
上の台湾2chも読み書き出来るJaneがありますよ
http://members.at.infoseek.co.jp/koreawatcher/janenida.htm
と書こうと思いましたが
これUNICODEであって UTF-8とは 無関係でした・・
あー書かないでよかった。
- 159 :名無しさん@勉強中 ★:05/10/03 17:55:47 ID:???
- (´-`).。oO(>>158はレス不要という事で…)
- 160 :名無しさん@勉強中:05/10/03 17:58:00 ID:LG6kLaRT
- Nida040228
・Nidaの多言語機能を若干強化し、試験的に World2ch http://world2ch.net/world2ch.html
(UTF-8) と Taiwan2ch http://www.comic.com.tw/mini02/ (Big5=繁体中国語)
に対応してみた。
という訳で表示できたのです。
ただ、今のNidaには多言語対応ロジックは削除されてた希ガス。
- 161 :名無しさん@勉強中:05/10/03 17:58:35 ID:LG6kLaRT
- >>159
・・・。
タイミングわるっ!!
- 162 :名無しさん@勉強中 ★:05/10/03 18:04:35 ID:???
- >>160-161
ドンマイです
・・・。
レスはやっ!!
- 163 :名無しさん@勉強中:05/10/03 18:07:08 ID:LG6kLaRT
- さてと…。
(´-`).。oO(>>161はレス不要という事で…)
- 164 :名無しさん@勉強中:05/10/03 18:07:48 ID:LG6kLaRT
- 。・゚・(ノД`)・゚・。
- 165 :名無しさん@勉強中 ★:05/10/03 18:18:16 ID:???
- 普通に笑いました。
もう一つ
レス不要の独り言
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21000/1122303467/76-77n
の件ですが
IDで検索すると
「ID:CS9yIkPs(10)」 と10件ヒットします。
レス番は
18・22・38・39・40・46・51・54・58・76
で、全てあぼーんされています。
今度「ID:CS9yIkPs」の方が投稿された時は
中国語フォントをインストールして
エンコードしてみたら、漢字の羅列でも意味がとれるかもしれません。
フォントのインストール方法ですが
たとえば「台湾2ch」http://www.comic.com.tw/mini02/
を開けば出てくると思います。
台湾から10回も書き込んでいるんですから、何か意見があるんだと思いますよ。
- 166 :名無しさん@勉強中 ★:05/10/03 22:47:20 ID:???
- 自分メモ
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/205
対象URL
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog2.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog3.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog4.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog5.html
ここで力尽きました
↓レス1と本文内容が取得出来ません
m#(?:<A id=.*?></A> <DT.*>|<DT.*>).*<B>([0-9]+)</B>.+?(?:<A HREF="mailto:(.+?)">)?
<B>(.*?)</B>.*?:(.*?) <DD id=.*>(.*)( <A id=.*></A> <DT.*>|<BR></DL>)#mi
- 167 : ◆/vmukiyuzw :05/10/04 01:00:48 ID:8P+4P15L
- 私も申し訳ないですがちょっと私的メモを。
まず、文字化けするのはHTMLがgzip圧縮されているためです。
参考:http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/43
次に、http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog2.html 等にマッチする
正規表現が難しいのは、名前欄・メール欄のあたりのバリエーションがさまざまで、
一発でマッチするパターンがなかなか見つからないのです。
(特に、名前欄がトリップのみのケースでは<B>タグすらなかったりするので
どうやって名前欄を識別するのか途方にくれました)
でも結局のところ、ありうるパターンとしては
1.トリップなしの普通の名前欄
2.トリップのみの名前欄
3.名前+トリップの名前欄
A.メール欄あり
B.メール欄なし
この組み合わせ(6通り)なのでこれに全部マッチするようなものが書ければ
いいのかなと。
今日はちょっと疲れているので考えられそうにないですが時間のあるときに
じっくり取り組んでみようかなと。
- 168 :名無しさん@勉強中 ★:05/10/04 20:03:12 ID:???
- UTF-8というのはUnicodeの日本語文字セットの事でした
http://www.spencernetwork.org/memo/regex.txt
それにしても台湾の人たち 親近感が湧いてきてしょうがありません
板が板だからって事も当然あるでしょうけど、親日的なスレばかりだし。
という事で、台湾版(?)ふたばちゃんねるも
http://www.asian-image.info/
Nidaを入れてみようかと思いましたが、
自分のJane 外部コマンドがいくつかあるもんで
それを移植出来るのかどうかとか考えると
何だか億劫で・・・。
- 169 :名無しさん@勉強中 ★:05/10/04 20:07:05 ID:???
- >>167
何だか申し訳ありませんです。。
ニュー速vipのスレという事もあって
他のミラーサイトには全く残っていないもので・・。
何だか>>166の正規表現
今やってみたら「一行が長すぎるか・・・」となります。
いじっちゃったんだなー、うわー。
- 170 :名無しさん@勉強中:05/10/04 21:28:43 ID:kjVB5sep
- >>168
Nida、Janeで使えるコマンドなら
command.datを移植すればそのまま使えますよ。
一部View専用コマンドとかは使えませんが。
- 171 :名無しさん@勉強中:05/10/04 21:29:17 ID:kjVB5sep
- 最近タイプミスがお約束になってきた・・・。
- 172 : ◆/vmukiyuzw :05/10/05 23:46:03 ID:7SkEOPKc
- http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/206
の正規表現についてですが、一点問題があることに気づきました。
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog2.html
の23,24のような「メール欄なし」「名前欄がトリップのみ」のケースで
名前欄の頭に</B>タグがつかないので、2ch用ブラウザで見たときに
おそらく太字で表示されてしまうと思います。
(トリップかどうか見分けがつかない)
普通はこういうケースでは「<B></B>トリップ〜」と来るので<B>タグで
識別でき、名前欄の頭に</B>タグがつくのでこういうことは起こりえない
のですが・・・
かといってhtmltodatで存在しないタグを補うなんて技は出来ないので
どうしようもないんですが。
# ちなみにこれが発生しているのはprojectlog2.htmlだけみたいです。
# これだけ
# <META content="IBM WebSphere Studio Homepage Builder Version 9.0.0.0 for Windows" name="GENERATOR">
# となっているので、ホームページビルダーには<B></B>の連鎖をを勝手に
# 省略する機能でもついているんでしょうか・・・
# 私としては「変に加工したHTMLをアップすんなよゴルア!」とゆいたいですw
- 173 :名無しさん@勉強中 ★:05/10/06 18:29:38 ID:???
- >>172
ありがとうございます。
考えて頂いた正規表現とhtmlを見比べてみたのですが、見れば見るほど
めまいがしてくる感じです。駄目だこりゃ
トリップの前後の「</b>」「<b>」ですが、トリップ前につく「</b>」は全部ある
感じですが、トリップ後の「<b>」は全て欠落しているみたいで、その場しのぎに
正規表現置換で直すしかありませんでした(150くらいあったみたいで、とても
人力では無理で いやーツールってほんとにすごいもんですね)
- 174 :名無しさん@勉強中 ★:05/10/06 18:30:54 ID:???
- ところで、以下 雑談という範疇で宜しいでしょうか。(htmltodatサポ板でも
構わないのですが)
http://ex13.2ch.net/test/read.cgi/gline/1118753283/441
・・というのを見かけたので、makimo.toのhtmlをdat化する正規表現を考えて
みたのですが、今一つ解決出来ません。
対象htmlは
http://makimo.to/2ch/pc_pcqa/1002/1002458845.html
で、
考えた正規表現は
m#<a name=".*"> </a><dt>([0-9]+) 名前:<span class=nanasi>
(?:<span title="(.*?)" .*>)? (.*) </span>(?:</span>|) (.*) <br>
<dd>(.*)(<br> *<a name=".*"> </a><dt>|<br> *</tl>)#mi
なのですが、
メール欄「sage」の場合は「<span title="sage" class=sage>」となり
メール欄に「sage」以外だと「<a href="mailto:(メール内容)" class=mailto>」となります。
この場合、どのように正規表現を書けばいいのでしょうか。
- 175 :名無しさん@勉強中 ★:05/10/06 18:31:22 ID:???
- m#<a name=".*"> </a><dt>([0-9]+) 名前:<span class=nanasi>
(?:<span title="(.*?)" .*>|<a href="mailto:(.*)" class=mailto>)? (.*) </span>
(?:</span>|) (.*) <br><dd>(.*)(<br> *<a name=".*"> </a><dt>|<br> *</tl>)#mi
とやってみても駄目なようですし。
(上二つとも「一行が長すぎます」と出たので改行してあります)
あ、gzip圧縮の件、気付きませんでした・・。そうか、そういう事だったのか。
makimo.toもgzipなんですね。
- 176 :名無しさん@勉強中 ★:05/10/06 18:34:00 ID:???
- >>170
うーん
まずはHDD領域を空けないといかんのです
残り50メガ切っている・・・駄目だこりゃ
- 177 :名無しさん@勉強中 ★:05/10/06 20:10:35 ID:???
- またはsageを無視して
m#<a name=".*"> </a><dt>([0-9]+) 名前:<span class=nanasi>
(?:<span title="sage" .*>|<a href="mailto:(.*?)" class=mailto>)? (.*) (?:</span>|</a>)
(?:</span>|) (.*) <br><dd>(.*)(<br> *<a name=".*"> </a><dt>|<br> *</tl>)#mi
とするかでしょうか。
(これだと全レス変換出来ますが)
- 178 : ◆/vmukiyuzw :05/10/06 21:32:06 ID:NARUGygf
- makimo.toの正規表現については私も考えてみたことはあるのですが、
メール欄の表現がsageとそれ以外で異なっているため、一発の正規表現では
どうしてもマッチさせることができないので、あきらめました。
(正規表現の仕様上、マッチする()には順番に$1,$2...と番号が振られてしまうので
形式の異なるメール欄が$2になるのか$3になるのか確定できない)
>>177みたいにsageを無視するくらいしかないと思います。
# http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/136
# みたいなことが実現できれば可能なのかもしれないですが・・・
# これはこれで大変ですし
まあ、dat形式で取得できることがわかった時点で「これで充分じゃん」と思って
考えるのをやめてしまった、てのもあります。
- 179 : ◆/vmukiyuzw :05/10/06 21:38:09 ID:NARUGygf
- それはともかくとして、htmltodatをバージョンアップしましたのでご報告しておきます。
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038588508/208
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038409548/30
最近のバージョンアップに関しては、663さんのインスパイヤ(いや、例のavexの
アレじゃなくて本来の意味でですw)によるところが大きいと思っているので、
本当に感謝しています。
- 180 : ◆/vmukiyuzw :05/10/06 21:51:28 ID:NARUGygf
- >>178について今思いつきましたが、javascript版htmltodatだと変換式が指定できるので
$4<>$2$3<>$5<>$6
とかすれば出来るかもしれませんね。
($2と$3が同時に出現することはなさそうなので)
- 181 :名無しさん@勉強中 ★:05/10/07 22:58:06 ID:???
- 今帰ってきました
メロメロです
>mukiyuさん
身に余るお言葉です・・・
御紹介頂いたので
javascript版htmltodatについて
暇を見て考えてみようと思いますです・・・
とりあえずmakimo.toのhtmltodatが簡単そうなので
そこからやってみようかな(ヘッダとフッタを決め打ちで除けるので)
他スレのリンクの箇所が少し面倒な感じですが。
それにしても、htmltodatをググってみると
javascript版のが3番目になっています
ノイズを一つ増やしてしまってごめんなさい
うわー
おやすみなさい
- 182 : ◆/vmukiyuzw :05/10/09 01:11:50 ID:47udZe4F
- メール欄と名前欄が逆転してるケースですが、とりあえずオプション指定方式に
改造したのですが、やはり変換式を指定できるような方式にしたいなあと思っています。
(>>180みたいなことも可能になるので)
javascript版のパクリになっちゃいますがよろしいでしょうか?
- 183 :名無しさん@勉強中 ★:05/10/09 15:37:12 ID:???
- FDの作者の出射厚さん お亡くなりになってたんですね
http://www.maruo.co.jp/STARSEED/1/x01749_.html
御冥福をお祈りします
>>182
良いです良いです
むしろこっちがパクっていますし。。
パクリとインスパイアの境界線って
考えてみると難しいなー、とavexの問題を見てて思います。
まあでもあっちの場合はもう誰が見(以下略)
#この件については↓のまとめサイトで見たのですが
#http://perape.sakura.ne.jp/
#今見たら・・はてなダイアリーを読むと10/8に削除されたんですね
以前ラジオで サザンオールスターズの桑田佳祐さんが
「自分の曲が誰それのパクリだったという夢を見たことあるけど今までで一番怖かった」
と言ってたのを思い出しました。
(「どのラジオで言ってたの」「ソースは」と言われそうな発言ですが)
- 184 :名無しさん@勉強中 ★:05/10/11 18:17:33 ID:???
- 季節の変わり目は反省の連続です
日々反省しております
まあ色々ありますが ここに限って言えば
ここともう一つのスレを>>1からずーっと読んでみたら
何だか 穴があったら入りたい(見なきゃいいだけの話です)
勢いに任せて全部あぼーんしてしまいたい(早まるな 一時の気の迷いだ)
あーんもー
アホな事ばっか書いてしまってた自分に
Oノトゥ!
ノ\_・'ヽO.
└ _ノヽ
〉
- 185 :名無しさん@勉強中 ★:05/10/16 16:19:29 ID:???
- 各dat2htmlでレスアンカーのポップアップのjavascriptを実装する為には
その ポップアップするスクリプトのコードを全部エスケープして
埋め込まないといけないのですが
(例えば、改行→\n・「;」→「\;」・「<」→「\<」・「"」→「\"」とか)
それが んもう大変だったもんで やって無かったのです。
(偽モナメントなんかは外部jsと外部cssにしてごまかしてるんですが)
スクリプトのコード化とかすればいいかなとか思っていろいろやってはみたんですが
(これみたいに→http://www.graviness.com/virgo/javascript/d010909.html)
まあ自分のテルエルアマルナ と。
で、htmltodatのjavascript版をこねくりまわしているうちに
上で書いたようなエスケープするコンバータ作りゃラクだな、そうすりゃ
ポップアップも実装出来るな、と思ったのですが
まあ そう思っただけです はい。
で、ここまでは長い前置きでした。(ここまでだけなら私的メモのスレに書いたけど)
本題は以下。(たった2行なんですけど)
なので、ポップアップのjavascriptをありがたく使わせて頂いた
ピタハハさんのサイトへ行ってみたんですが(http://pita.paffy.ac/)
・・・私の使っているプロバイダ、アク禁されてるみたいです。
Apatchの403Forbiddenが出ていますが、プロキシ通したら表示されましたし。
私が悪いのか、同じプロバイダを使っている誰かがやんちゃしたのか。。
- 186 :名無しさん@勉強中 ★:05/10/17 12:34:28 ID:???
- VB・なでしこ・C++・C・DelphiなどでVIPブラウザを作るスレ
http://ex11.2ch.net/test/read.cgi/news4vip/1129208969/l50
まあ
ぼーっと見ているだけなのですが 面白そうなスレです
1時間半毎に自動保守するツールも出来たみたいで 落ちる心配も無さそうですし。
それにしても単発なのか続いているのか。
という訳で
>>166があるサイトのリンクにもあった
http://vipvbbrowser.hp.infoseek.co.jp/#link
にある 5つのスレッド
読んでみたいなー。
ミラーは無さそうなので 依頼するしかないのだろうなー。
- 187 :名無しさん@勉強中 ★:05/10/19 19:58:39 ID:???
- 今トップを見たら
カウンタが「50001」でした。
ちなみにこのカウンタ、同一ホストはカウントしないみたいで
実際はその5〜6倍、場合によっては10倍はいってるのかもです。
一日のアクセス数は・・・当初 すんごくのけぞりました。。
<見えないレス>
http://jbbs.livedoor.jp/bbs/read.cgi/computer/21256/1116159529/290-291n
そうか、ミラー検索したのは2ch.dumper.jpを追加する前だったもんな
それにしても 頼りになるミラーです
管理人さんお元気そうですし、また更新して欲しいな
</見えないレス>
- 188 :名無しさん@勉強中 ★:05/10/20 19:11:07 ID:???
- かちゅ〜しゃの作者さんが一番最初に立てたログを読んでいたのですが
何だか読んでてもんのすんごく興奮しました。
使用者のフィードバックによる作者さんの度重なるバージョンアップ。
いや、すごいなー。
http://user.freespace.jp/mirrorhenkan/test/read.php?key=976975265&st=1&to=1001
それにしても、Delphiで作られていたんですね。
よしいっちょ私も勉強してやってみるか。(←流石に無理だと思いますよ)
- 189 :名無しさん@勉強中:05/10/25 18:43:35 ID:GoNqRRMs
- すみません
「偽モナメント〜datアップローダ〜」に関する質問はこちらでよかったでしょうか
- 190 :名無しさん@勉強中 ★:05/10/26 08:29:35 ID:???
- えーと・・ここでいいです。
何かありますですか?(サポートなんてとてもとても)
- 191 :名無しさん@勉強中:05/10/26 10:02:09 ID:Ubrmb+lA
- 壷+IEで2ちゃん見てるんですけど、壷のフォルダの中にあるdatファイルを
アップロードしたらうまくいかなかったんです
削除しようと思ったけど削除できないみたいなんでどうしたらいいかと思いまして
ちょうどいま一覧のトップで恥じ晒してます orz
1.(463) ←スレのタイトルが出てない Σ(゚д゚lll)ガーン
壷が取り込んでるdatはダメなんすかね?
- 192 :659 ◆7a659dmV7s :05/10/26 11:20:12 ID:AoJ0nlJW
- 横レス失礼します
>>191
datの一番上にある
LIVE20Mon, 24 Oct 2005 23:59:53 GMT Mon, 24 Oct 2005 17:17:04 GMT
てとこを消して再うpすれば読める…かもしれません
- 193 :名無しさん@勉強中 ★:05/10/26 11:23:43 ID:???
- 更に横レス失礼します
>>192ありがとです
という事で、直しました。。
壺のdatファイルって
一行目にみんなそういうのがついてるのかな
- 194 :名無しさん@勉強中:05/10/26 11:23:57 ID:Ubrmb+lA
- レス蟻です
それ試してもいいすかね
またヘンな残骸を残してしまうとか (((( ;゚Д゚)))ガクガクブルブル
- 195 :名無しさん@勉強中:05/10/26 11:24:59 ID:Ubrmb+lA
- と思ったらレスが
ありがとうございます
ちょっと壷のdatファイル見てみますね
- 196 :名無しさん@勉強中:05/10/26 11:31:15 ID:Ubrmb+lA
- 今見てみたけどどのdatにも入ってました
- 197 :名無しさん@勉強中 ★:05/10/26 16:37:14 ID:???
- ふむふむ
しょうがないので
スレッドのタイトルを取得出来ないものはアップ出来ないようにしました
試してみて下さいな
もう少し賢かったら、そういうdatがアップされた時
一行目を削除して保存するようにするんだけど・・・。
もっと賢く もっと忍耐強くなりたいなぁー
- 198 :名無しさん@勉強中:05/10/26 19:38:05 ID:Wg8ReY2i
- ということは1行目を自分で削ってからうpすればいいわけですね
いろいろとお手数かけました
ありがとうございました
- 199 :名無しさん@勉強中 ★:05/10/26 19:43:46 ID:???
- いえいえ
こちらも勉強になりましたです
- 200 :名無しさん@勉強中 ★:05/10/30 17:16:17 ID:???
- htmltodatの不具合を書いてからの言い訳も何だか失礼な話ですが
htmltodatサポート板のほうでは
今までそういった不具合書き込みがほぼ皆無だったので
ここで書いてしまっただけなのです
他意はありませんです
- 201 : ◆/vmukiyuzw :05/10/30 20:27:12 ID:bgViGlVb
- >>200
本来そういうことを書いてもらうためのスレなので(なんか今のところ正規表現相談みたいに
なってますが)書いていただいて結構ですよ。
というか調べる必要があると思うのでお手数ですがぜひ書いていただきたいです。
(現状:(1)はわかりました。(2)は再現しません。できれば使った正規表現および再現方法も
書いていただけると・・・。(3)はDLL内部でのエラーなので根が深そうです)
- 202 :名無しさん@勉強中 ★:05/10/31 19:53:20 ID:???
- >>201
レスすみませんです
すごく眠いので後日に。。
- 203 : ◆/vmukiyuzw :05/11/03 15:22:05 ID:4QP9VghD
- >>201
訂正
(2)もわかりました。
(正規表現欄と勘違いしていました。HTMLソース欄でしたね)
- 204 :名無しさん@勉強中 ★:05/11/03 19:17:45 ID:???
- >>203
ああ・・・ごめんなさいです。。
すみませんです
そのままコピペでは何だかな と思ったので
もうちょっと確かめてからにしよ と思っていて
そのままになってました・・。
バージョンアップされたもので(1)(2)は直りましたですが
(3)はやはりそのままなんです・・。
今までのバージョンのものも確かめてみたのですが
どうやらどれも同じエラーが出るみたいで
もしかしたら9x系特有だったらどうしようもないです。
または自分のPCがおかしいのかも。
(・・・ごめんなさい次からサポスレに書きますです)
- 205 : ◆/vmukiyuzw :05/11/03 19:56:51 ID:4QP9VghD
- >>204
(3)はうちの9x機でも出ます。
DLL内部でのエラー、しかも9x系のみとなるとプログラムレベルでは直し
ようがないです。
試しに、
http://mukiyu.hp.infoseek.co.jp/htmltodat/test.zip
これを解凍して出てきたものをWindowsシステムフォルダの同名のものと
置き換えてみてください(もちろんバックアップを忘れずに!)。
一応うちの環境ではこれで動きました。
※但し、他のアプリで問題が発生する可能性があります。
そのときはバックアップから戻して、あきらめて前処理のwコマンドで
代替してください。
- 206 :名無しさん@勉強中 ★:05/11/04 19:06:07 ID:???
- >>205
バックアップをとって上げて頂いたものと差し替えたら
エラーが出なくなりました!
再起動とか色々やってみても、今の所問題無いみたいです。
ありがとうございました。
それにしても、バックアップをとったDLLは200kbくらいあるのに
上げて頂いたものはたった4kbしかないというのは・・
技術の進歩の結果なのでしょうか。
- 207 : ◆/vmukiyuzw :05/11/04 23:37:45 ID:cNMS3+HA
- >>206
> それにしても、バックアップをとったDLLは200kbくらいあるのに
> 上げて頂いたものはたった4kbしかないというのは・・
なんかドキュメントとかを読むと、次のDLLを呼び出すためのラッパーとしての
働きしかしていないみたいです。(じゃあ200kbくらいあるバージョンではいったい
何の動作をしてるんだという気になりますが・・・)
ところで、MSのサイトとか調べてみたのですが、このバージョンのDLLが
配布可能なものかどうかどうしてもわからなかったので、とりあえず
自分のサイトからは消しました。
(別のバージョンではVBのランタイムに同封されていたりもするので
配布可能みたいなのですが・・・今後調査は継続していきます)
ということでこの話はとりあえずここだけでのことということにしてください^^;
- 208 :名無しさん@勉強中 ★:05/11/06 13:29:07 ID:???
- はい、ありがとうございます。
あんまり良くない使い方でしょうが、文字コードがeuc-jpやUTF-8のサイトの
ソースを見たい時などにhtmltodatを使わせて頂いておりますです。
ところで、ジオシティーズ等で多いのですが
metaタグで指定しているcharsetと実際の文字コードが違う場合
読み込み出来ませんので
出来れば文字コード変換ボタンは使えるようにして頂けたら有り難いのですが・・。
例えば
http://www.geocities.jp/mirrorhenkan/dumper/test1-2.html
http://www.geocities.jp/mirrorhenkan/dumper/test2-2.html
とかだと、metaタグではUTF-8ですが 実際はShift-Jisです
この場合、読み込めないのです・・。
- 209 :名無しさん@勉強中 ★:05/11/06 14:14:49 ID:???
- http://jbbs.shitaraba.com/bbs/read.cgi/computer/1929/1038588508/221n
試しにやってみたらすごい時間かかるるかかるる
$4<>$2$3<>$5<>$6<>
m#<dt>([0-9]+) 名前:<span .*?>(?:<span title="(.*?)" class=sage>|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|</span>)?</span> ?(.*?) <br>
<dd> *?(.*?) <br> *?<br> *?(<a name.*?>|</tl>|</dl>)#mi
・・・ごめんなさい、横から偉そうにサポスレに書くのはためらわれました。
- 210 : ◆/vmukiyuzw :05/11/06 15:16:26 ID:D/6iNdYn
- 書いて下さっていいのに・・・
私しか回答しちゃいけないなんてルールはないですし。
- 211 : ◆/vmukiyuzw :05/11/06 16:43:39 ID:D/6iNdYn
- >>208
ちょっと見てみましたがMIMEヘッダでcharsetが指定されているわけでもないし
これはRFC違反ですねw ブラウザで見ても文字化けしますし。
まあ、「文字コード自動判別をしない」オプションでもつけますかね。
- 212 : ◆/vmukiyuzw :05/11/06 22:54:15 ID:D/6iNdYn
- 結局、「文字コード自動判別」オプションをつけてデフォルトはONにしました。
>>208みたいなHTMLを読むときにはOFFにして下さい。
- 213 :名無しさん@勉強中 ★:05/11/07 02:52:37 ID:???
- >>212
ありがとうございます。。
http://jbbs.shitaraba.com/bbs/read.cgi/computer/1929/1038588508/226-227n
うわー解答しちゃったよー。うわーうわー
それにしても<a name〜>タグも無いし 全部の名前に<font>タグが付いているし
何とも不思議なHTMLです
- 214 : ◆/vmukiyuzw :05/11/07 03:03:47 ID:Zw399K9t
- >>213
リロード忘れてごめんなさいね
まさかこんなタイミングで割り込まれるとは思ってなかったんで><
でもこれからもどんどん書いていただいて結構ですよ。
- 215 :名無しさん@勉強中 ★:05/11/07 03:35:17 ID:???
- >>214
いやー、驚きました。
という訳で、レスだけでは何なので 要望も書かせて頂きましたです。
- 216 :名無しさん@勉強中 ★:05/11/10 01:00:50 ID:???
- 何かその
ごめんなさい
逃げ出したいよう
。 ∧_∧。゚
゚ (゚ ´Д`゚ )っ゚
(つ /
| (⌒)
し⌒
...ウワァァァァン
- 217 : ◆/vmukiyuzw :05/11/10 01:45:16 ID:XzLFvydI
- うあ、もしかして私の発言が傷つけてしまいましたか?
帰ってきてください^^;
- 218 :名無しさん@勉強中 ★:05/11/10 20:18:15 ID:???
- >>217
いえいえ全然そんな事ないです。
あえていえば
自分の不甲斐無さが目についた事くらいで、
誰も悪くないです
って 一言でいえば「自己嫌悪」という言葉に尽きます。
何というか、己を省みずに物を言っている自分が
何とも恥ずかしくなってしまっただけで
まあ季節の変わり目にかかる風邪みたいなものでしょうか。
・・・ぜんぜん説明になってないですね。
- 219 :名無しさん@勉強中 ★:05/11/13 23:50:03 ID:???
- 自分以外にはどうでもいい話なんですが(なら書くなと)
mixi と 2ch.pne の中からリンクして頂いてるみたいなのですが
何方かに招待されないと入る事が出来ないみたいなので
どうしましょう・・・(どうもしないか)
mixiはともかく2ch.pneは知らなかったです↓
http://2ch.pne.jp/normal.php?p=login_do_login
http://pc8.2ch.net/test/read.cgi/sns/1131498483/l50
あとこちら↓も659さん同様気になったりします
http://pc8.2ch.net/test/read.cgi/sns/1129837720/l50
- 220 :名無しさん@勉強中:05/11/13 23:57:33 ID:FrMdpPtk
- 2chは無理ですがmixiなら招待できますよ。
- 221 :名無しさん@勉強中 ★:05/11/15 11:33:58 ID:???
- >>220
あうあう(意味ないです)
・・ではお願い出来ますか?
アドレスはこの板の最下部にあるです
それにしてもすごい早レスですね・・ここ見てる人多いんだなぁ
迂闊な事書けないや(という程のこともないか^^;)
- 222 :220:05/11/15 18:36:37 ID:xMewR6XT
- >>221
早レスはたまたまですよ、
663さんのレスと俺の巡回のタイミングが重なっただけです。
>ここ見てる人多いんだなぁ
人が見ている、いないに関わらず
人の目は意識した方がミスは少なくなるんではないかと。(俺は全く意識してないけど)
招待状贈りました、後で確認してみてくださいな。
- 223 :名無しさん@勉強中 ★:05/11/15 18:44:23 ID:???
- >>222
あ、どうもです。確認しました。
ありがとうございます。
- 224 :名無しさん@勉強中 ★:05/11/16 19:38:38 ID:???
- さて
さまよっていたら ↓こういうのがありました。
http://www.dennougedougakkai-ndd.org/temp/2chlog-moved.html
・・・同志よ。
ソースを見たら、2ch以外のURLが入力された際の注意アラートとかも
ちゃんとやってあって いいなあ。(自分とこはそういう処理してないもんで)
ただ、みみずんさんの所とarchive0.2ch.netだけしかやってないみたいですが
(って 後のほうはよくわからんのですが)
(でもみみずんさんのも1パターンだけで 404ばかりですし)
とはいえ、全部網羅したら すごい事になりそうです。
いつ出来たのだろう と更新履歴を見てみたら
http://www.dennougedougakkai-ndd.org/neu.html
−−−−−−−−−−−−−−−−−−−−−−−−−−−−
平成癸未卯月
仮設倉庫に http://archive0.2ch.net のミラーと移転した 2ch のログを読むが入荷しました。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−
ググれば平成何年なのかわかりそうですが、何だかめんどくさいや
で、ルートディレクトリを色々見てみたら
・・・東京大学の方々のサイトみたいですね。
http://www.dennougedougakkai-ndd.org/gyoumu1ka/
http://www.dennougedougakkai-ndd.org/
ごめんね、自分 同志になるほどの価値はないです。
勝手に同志呼ばわりしちゃって ごめんなさい。
だって私・・・どうしようもない人間だもの
- 225 :名無しさん@勉強中:05/11/16 19:51:30 ID:8jjVqdzR
- ひそかに駄洒落になっていて俺はツッコムべきか、どうしようか。
- 226 :名無しさん@勉強中 ★:05/11/17 21:21:44 ID:???
- ところで
http://www.dennougedougakkai-ndd.org/temp/2chlog-moved.html
で出ていた
http://2chlog.ddo.jp/ですが
webarchiveで見てみたら、200くらいしか残ってませんし
そもそも datしか置いてなかったみたいで
正直アーカイブされたものだけでは 使えない感じです。
で、archive0は・・まあいいや
>>225
あ、わかりました?
まあ別にどうしてもらってもいいんですが
- 227 :名無しさん@勉強中 ★:05/11/17 22:08:04 ID:???
- 自分語りになって申し訳ないですが
考えてみたら自分 東大卒の同年代の人と会った事 一回も無いです。
親戚のおじさんが東大卒ですが 年が離れていて
同じ土俵で考えられないですし。
ちなみにそのおじさん
どんな人とも どんな話題でも どんなレベルの事でも 文武両道どちらでも
何でもそつなくこなして 隙がない感じです。
かといって別に冷たい訳でもないですが、とにかく自分的には 話題がない。
あと ちょっとした家庭の事情で 疎遠になってますし
良くも悪くも このまま没交渉になる可能性大です。
負い目を感じたまま 慶弔時に表面上の付き合いをするだけの関係になる事でしょう。
(って ほんとに自分語りしてしまいましたが ここスルーですよ)
まあ東大卒といっても 他大と同じく 当然いろんな人が居るとは思いますが
どうしても 上で書いたおじさんのイメージが抜けない。
会った事ありませんがそのおじさんのお兄さんも東大出て大学教授だそうで
だから何だという訳でもないですが(・・支離滅裂になってきた)
という訳で、スレ紹介。
● まさかお前ら、『東京六大学』とか卒なのか?
http://human2.2ch.net/test/read.cgi/male/1076266348
http://user.ftth100.net/mirrorhenkan/test/read.php?key=1076266348&st=1&to=1001
多分ほんとに3さんは官僚なんだろうなー。
ほんとに出来る人ってのは
レベルが低い自分達にもわかるような事をしてくれる人なんろうだなー
とか 思うですよ。
何考えてるかわかんないような人より遙かに偉いのではないかと。
(これ自分がそう思ってるだけですが)
で、自分にそういう事が出来るかとか考えたら 鬱になるだけです はい。。
- 228 :名無しさん@勉強中 ★:05/11/21 00:56:20 ID:???
- 現実生活で やらなければならない事が山積みなのですが
fun.kzの管理人さんのブログ(tDiaryかな)をずっと読んでました。
http://devlog.moonwolf.com/
専門的な事はほとんどわかりませんが、身辺雑記的な事が面白い。
・・そうか、辻加護さんたちは2004年1月にモーニング娘。を脱退したのか。
時間の流れが速い。速すぎる。
そして、fun.kzの設計から誕生・運用まで。
http://devlog.moonwolf.com/200402.html
http://devlog.moonwolf.com/200404.html
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-02-04
_ [Ruby] にちゃんねる風掲示板
開発着手した。
_ DB設計は完了。
_ *.datをインポートするプログラムを作ってテストしてみよう。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-02
_ [Ruby][Net] 2ちゃんねるミラー計画
のWeb::Agentを使って2ちゃんねるの.datを根こそぎ引っこ抜くプログラムを組んだ。
SmartFilterで引っかかってテスト出来ないけど、多分動くはず(^^;
_ If-Modified-SinceとかRangeとかAccept-Encoding: gzipを使って転送量を抑えるようにしてみた。
今3Mbpsくらいの回線を使ってるけど、2ちゃんねる全体の取得ってどれぐらい時間がかかるんだろう?
4時間以内で終わるなら、毎日cronで処理したいなぁ。
_ 前に作ったWebクローラーを流用してRindaによる分散処理に対応させてみた。
1プロセスで1つの板を処理するようになっている。8並列くらいにすれば帯域をフルに使えるだろう。
_ 初回は全部GETだから時間がかかるだろうな。でも2回目以降は差分取得で早く終わるだろう。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
- 229 :名無しさん@勉強中 ★:05/11/21 01:04:05 ID:???
- −−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-04
_ [Ruby][Net] 2ちゃんねるミラー化計画
全部で15GBくらいでした。スレッド数は25万スレッド。
2度目の巡回だと、1板あたり5〜10分で巡回できている。8並列だから10分で8板というところです。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-05
_ [Ruby][Net] 2ちゃんねるミラー計画
レス数が変わってないスレッドまでIf-Modified-Sinceでアクセスしにいくのは無駄なので、GDBMにレス数を持っておいてレス数が変わってない場合はアクセスしないように変更した。
_ subject.txtもgzip転送するよう変更。
_ 板一覧の順番でアクセスすると、同一サーバに複数接続が多発することがわかったので順番をシャッフルするようにした。
_ 取得した.datをどう使うかが問題だな。
サーチエンジンだとありがちだから、MeCab使って流行ってる単語ランキングでも表示してみようか?
_ まずAAを削除する処理を書いてみよう。スペースと全角空白を削除して複数行のAAパターンでマッチングかけてみるかな。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-06
_ [Ruby][Net] 2ちゃんねるミラー計画
レス数でアクセスを抑えるようにしたら、すごく速くなった。
1つの板を3分以内で読み込めている。
毎日、cronで処理しても大丈夫そうだな。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-12
_ [Ruby][Net] 2ちゃんねるミラー計画
subject.txtをファイルとPostgreSQLに保管するようにしよう。
あと*.datを板ID/dat/*.datに移動して2ちゃんねるブラウザから見えるようにしよう。
_ read.cgiは気が向いたら作る。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
いやー、すごく面白いです。
- 230 :名無しさん@勉強中 ★:05/11/21 01:25:25 ID:???
- で、ここ↓が尻切れdatが少ない所以なのでしょうか。
2時間おきにクロールするのなら、そりゃ取りこぼしも少なそうです。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-22
_ [Net] 2ちゃんねるを会社から読もう。
fun.kzサーバでsubject.txtおよび*.datを公開しました。
板一覧の*.2ch.netをfun.kzに書き換えるだけで2ちゃんねるブラウザからアクセス可能です。
ただし、日中の更新は2時間おきで50レス以上増えたスレだけが更新されます。夜間に手動で1度だけ全スレッドの更新をしているので1日古い情報が表示されるかもしれません。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-23
_ [Ruby][Net] 2ちゃんねるミラー計画
Monazilla MLで書いたら「メリットは?」というひろゆきさんからのツッコミが(^^;
会社から2ちゃんねる見れたり、dat落ちしたスレもHTML化待たずに見れるし便利だと思うんだけどなぁ。
自分だけじゃなくfun.kzという形でみんなで使えるようにしてるし、これでも文句あるかな?
巡回頻度が問題なら考え直すし、並列アクセス数も調整する。あとはなにが問題だろう?
_ dat落ちしたスレが●無しでもみれるのがヤバいのかも?
●は2ちゃんねるの収入源だもんな。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-04-26
_ [Ruby][Net] 2ちゃんねるスレッド検索
まぁ、いちおう動きます。
_ read.cgiも実装途中だけど使えるのです(^^;
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
バーボン行きになられたそうですが、どう回避されたのか。
何も書かれてないです。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-05-26
_ [Net] 2ちゃんねる規制
*.datを取得していたら、.htaccessで規制されてしまった。
過去ログをきちんと検索、読み込みしたいだけなんだが…
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
携帯向けのミラーサイトをつくられた方も居たんですね。
今みたら繋がらないですし、アーカイブにも残ってません。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-07-16
_ [Net][Ruby] 2ちゃんねる過去ログ倉庫@fun.kz
この辺のCGIはFastCGIにしているとはいえ、大量のアクセスに耐えられそうにない。
Cache::FileCacheあたりにレンダリング済みのHTMLをキャッシュするようにしてみようか?
_ まぁ大量のアクセスの前にADSLの上り方向の帯域不足で止まるだろうが。いいちおうFTTHが来たときのために準備だけはしておく。
_ [Net] 2ちゃんねるアーカイブhttp://2ch.ktai.cc/
うちと同じく2ちゃんねるからdatをかっさらってるらしい(笑)
_ 携帯向けらしくPCのブラウザからは使いづらい。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
検索したらスレッドが立っていました。
2ちゃんねる アーカイブ β
http://pc8.2ch.net/test/read.cgi/software/1089885793/l50
http://smile.poosan.net/mirrorhenkan/test/read.php?key=1089885793&st=1&to=1001
・・ひどいなぁ。。
- 231 :名無しさん@勉強中 ★:05/11/21 01:36:06 ID:???
-
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004-09-08
_ [Net] Google AdSense申し込み
fun.kzのほうは、一日5万ヒットとか行ってるので小遣い稼ぎにAdSenseを申し込んで見た。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004009-09
2004-09-09
_ [Net] fun.kzにGoogle AdSense追加
アカウントが承認されたのでAdSenseの広告をテンプレートに仕込んだ。
_ まだクロール始まったばかりだから、まともな広告は表示されないようだ。
httpdのログを見るとUser-Agentが"Mediapartners-Google/2.1"というのがクロールしているみたい。
_ 100万スレッド以上あるからなぁ。いつまでかかるのだろう(^^;
_ それにしても何でURL末尾の"/"を削ってアクセスしてくるんだろうか?
謎だ。
_ 小切手は換金が面倒くさいので、日本円での支払いが始まるまで留保することにしました。
さて、どれぐらいクリックされるかな〜?
_ 邪魔だしクリックされないと思うのでトップページのAdSenseをはずした。
_ もっと、ばんばん"Mediapartners-Google/2.1"からのアクセスがあるといいんだけど。
早く適切な広告が出るようになるといいなぁ。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
・・コピペするのに罪悪感を感じてきたので、この辺で。。
- 232 :名無しさん@勉強中 ★:05/11/21 01:49:35 ID:???
- ただ、蛇足でも。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
2004.10.04
_ [Net] たいへんなこと? http://pc5.2ch.net/test/read.cgi/tech/1095004337/628-
628 名前:デフォルトの名無しさん[sage] 投稿日:04/10/03 23:27:15
MoonWolfさん、たいへんなことになってるな。
631 名前:デフォルトの名無しさん[sage] 投稿日:04/10/03 23:56:00
相変わらず何かをはじめる行動力はすごいな。 持続力の方は(検閲削除)
そうですね。持続力はないです。
色々な方面に手を出して、行き詰まったら別の方向に行って、また行き詰まったら
別の方向……というのを繰り返しています。ぐるぐる回って、気がついたら前と同
じ方向を向いていたと言うことも良くあります。でも、過去に行き詰まったところ
でも、色々な方面に手を出して経験を積んだ後なので、スイスイ進んだりすることもあってなかなか楽しいです。
サポートはいまのところ全然たいへんじゃないです。ひまー。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
何だか もしかしたら、気まぐれに
突発的にfun.kzが復活するかもしれないな、と思いました。
それにしても、「日本Rubyの会」というのに関わっていたりするのに
「Perlはさっぱりわからないので」とか・・・萌え。(ポッ)
まあ流石に韜晦なんだろうけど。
- 233 :名無しさん@勉強中 ★:05/11/21 02:53:47 ID:???
- メモ
エロゲ板全過去ログindex
http://obs.muw.jp/hgame/
「全 12187 スレッド」ですか。。
- 234 :名無しさん@勉強中 ★:05/11/22 02:05:35 ID:???
- ルクダルさん、お元気そうで何よりです
http://ruku.jfast1.net/
http://d.hatena.ne.jp/ruku/
http://ruku.jfast1.net/yomiware/
というか バリバリ活躍しているじゃないですか。
- 235 :名無しさん@勉強中 ★:05/11/22 04:16:15 ID:???
- こんな時間にひたすらデータを打ち込んでます
実生活の厳しさよ
ところで
変換スクリプトの宣伝とか別にしないのですが
数少ない宣伝した先でのお話
http://pc8.2ch.net/test/read.cgi/hp/1112367773/67-72n
69が私です(ってもう半年前なのか)
なのになのに。
http://pc8.2ch.net/test/read.cgi/hp/1112367773/360
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
360 :Name_Not_Found:2005/10/30(日) 23:04:02 ID:???
>>280
>みんなテンプレなんて見てないのかなぁ…とちょっと寂しくなった。
各板にある質問スレなんか見ればわかるけど、>>2以降どころか>>1のテンプレでさえ、
まともに見ない香具師が多いよ。
長文&携帯で2chを見に来てる場合が特に。
2ch関連サイトを持ってて、かつ、自分がスレを立てる場合は、自分のサイトのURLは、
>>1のテンプレの始めのほうに入れるのが(・∀・)イイ!!
前スレ以前の、dat落ちしてる過去スレへのリンクなんか、>>2以降で充分。
dat落ちスレなんざ、リンクを貼っても●持ち以外見れないんだし。
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
# ↑お書きになられたその言葉、そっくり360さんにお返しします・・・。
http://pc8.2ch.net/test/read.cgi/hp/1112367773/389
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
389 :Name_Not_Found:2005/11/22(火) 03:58:31 ID:???
javascriptの時代はもう去ったのにね、ハハハ
管理人のスキルのほどがよくわかる、ハハハ
−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−
# ・・・orz
- 236 :名無しさん@勉強中 ★:05/11/23 22:44:08 ID:???
- >>235は冗談ですよー
別にどうでもいいんです。
さて
意外な分野でひょっこりと知っているサイトを見つけると
その意外性に 楽しくなってしまいますが
株式板の住人の方のサイトからリンクして頂いたみたいです
http://www.ne.jp/asahi/jazz/nomad/link_2ch.html
サイトのトップを見ると、何ともすごい本格的だ・・。
そこでふと思い出したのですが
アトピー板倉庫のサイトですが、色々見ていたら
全く別個に 株式・相場関係の板を設置しておられました。
http://hinan.ekd.ne.jp/local/
http://www.ekd.ne.jp/kaba/motonari/imgboard.htm
結構盛況だし、もしかしらアトピー板のように株板のログ収集もしているのかと
探してみたのですが、わかりませんでした。
それにしても・・株とアトピー・・・どう繋がるんだろう。。
500KB
続きを読む
掲示板に戻る 全部 前100 次100 最新50