探検


Fiddler 2chプロクシ専用 Part1 [転載禁止]©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
 要.NET Framework (webスクレイピング)
 ttp://mukiyu.g.ribbon.to/ 【v1.05   v2.02 (v2系は差分取得対応)】
 ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
(要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
 ttp://www.telerik.com/download/fiddler
2015/04/27(月) 19:11:57.77ID:55WcUO/I0
htmltodatByFiddlerでCustomRules.jsを書き換えただけでおとといぐらいまで
使えてたんですがまた新たに何か入れないと使えないでしょうか
2015/04/27(月) 20:03:47.99ID:iV5r4fhv0
>>155
どのスレを拾いたいのか知らんが、コメントアウトされてるUAのところを解除してみたら?
2015/04/27(月) 23:00:22.97ID:55WcUO/I0
CustomRules.jsを以前トラブルあって書き換えた時コピー取っておいた物に入れ替えたら
見れるようになりました
アドバイスありがとうございましたお騒がせしてすいません
2015/04/28(火) 01:31:03.23ID:gxTBdBe60
Fiddler 4.5.1.0 Up!!
2015/06/08(月) 23:54:27.99ID:Vk8QjK/U0
html2datとapi混ぜてGUIで変える記述が分からない人ように
Fiddlerのextension作ってJScript呼ぶ形にしたけど需要あんのかいね

本当は全部C#で移植したかったけど、jscriptや正規表現がよく分からんから
C#dllからJScript呼ぶ形にしたんだわ・・・・
右のところに新しい2ch proxyタブが追加されてGUIから変えれる

api側のjscriptは作成してあるけど
html2datの中身はhtmltodatByFiddlerから同じようにコピペしないといけないけどね

http://www.age2.tv/rd05/src/up9285.jpg
160名無しさん@お腹いっぱい。
垢版 |
2015/06/12(金) 05:45:49.83ID:yP59LKXy0
>>159
あるんじゃない

まとめサイトにあげとけばいいと思うよ
http://prokusi.wiki.fc2.com/
2015/06/12(金) 07:55:36.49ID:YhP1/DUr0
>>159
なにそれすごい
2015/06/13(土) 00:01:24.83ID:eoZpqSO70
結構wikiの編集は面倒くさいな
まとめサイトhttp://prokusi.wiki.fc2.com/ のFiddler+CustomRuleの中に追加しといたよ
ファイルは書いてあるけどhttp://www1.axfc.net/u/3484569
一応トリップつけとくかな・・・

2chproxyのfiddler extension版の様なもんだなぁ・・・
2015/06/13(土) 00:03:10.75ID:eoZpqSO70
使い方はまとめサイト参照ね
2015/06/13(土) 03:29:06.06ID:/Hwmoa2H0
同じことしてる人がいたとは
http://i.imgur.com/hGspR8M.png
2015/06/13(土) 13:48:19.47ID:cnmwJ9ZW0
Fiddler 4.5.1.2 Up!!
166名無しさん@お腹いっぱい。
垢版 |
2015/06/14(日) 01:20:59.09ID:0371Zos/0
>>162
乙でした
2015/06/15(月) 03:10:49.68ID:O19/u1AJ0
>>162
乙です
2015/06/15(月) 18:22:36.96ID:cB7wQM0D0
>>162
サンクス
2015/06/15(月) 21:03:05.26ID:evwsB/Dg0
>>162
dllは認識されているけど2chプロキシタブが出ないよ
Tools,Fiddler Options,Extensionsで確認

Fiddlerが古いからかな
v4.5.0.0
2015/06/15(月) 21:53:38.90ID:x52HXhm00
>>169
バージョンの違いではないようだ。
v4.4.9.9あるから、やってみたけど動いた。
extensionの初期化で例外が発生しても、Fiddlerは握りつぶすみたいでエラーダイアログはでないということが分かった。
きっとなにかエラーになってんだと思う(Fiddler2chExtension.jsが見つからないとか)
エラーチェック飛ばしすぎたな。
ちゃんとチェックしてエラーダイアログ出すようにする。
2015/06/15(月) 23:55:30.19ID:RT5CpPxu0
ver2.5 style3.75 xp sp3
上記の環境で、今日からHTML経由で現行ログ、過去ログ共に取得できなくなってしまったので

v4.125 に環境更新して
>>162さんの設定ファイル移植したら、html経由の現行、過去ログは共に取得できず。
api経由は現行ログなら問題なく取得できますが、
過去ログは、ID抽出やレスアンカの表示ができない、中途半端なデータしか取得できない。
俺の環境限定なのか、旧janestyle限定なのか分からない
style 3.7* でdat取得できなくなった人いますか?
2015/06/15(月) 23:57:41.57ID:RT5CpPxu0
訂正
X 4.125
O 4.512
2015/06/16(火) 00:02:52.14ID:oihkj4Ye0
すいません自己解決しました
以下の行を有効にしたら読み込めるようになりました

//oSession.oRequest["USER-AGENT"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";

お騒がせしました
2015/06/16(火) 15:56:04.61ID:IJ4t6eXR0
>>173
同じことで悩んでましたが有効にしたら読み込めました
ありがとうございます
ただ、書き込めなくなりました;;
2015/06/16(火) 15:57:37.25ID:IJ4t6eXR0
書き込みもFiddler経由したら書き込めるようになりました
2015/06/16(火) 20:05:07.60ID:ouC9IB7V0
>>162 更新
初期化のときにエラーチェック追加してダイアログ出すようにした。
Fiddlerが起動してもTabが出てない人の原因が分かると思う。
今動いてる人は更新する意味は無いね。
jsは変えてないので間違えて上書きしないように。

http://www1.axfc.net/u/3486911
2015/06/17(水) 20:49:45.12ID:D6ldG4f50
「パス'PATH_TO_FIDDLER2\Fiddler2\Scripts\Fiddler2chExtension.js'
の一部が見つかりませんでした。」

と出たよ
結論から言うと俺環だった
申し訳無い

俺はこのキーをいじってるんだよ
HKCU/Software/Microsoft/Fiddler2/UserPath

ここに情報があるよ
ttps://groups.google.com/forum/#!topic/httpfiddler/Dk7_rKmLM_M
2015/06/19(金) 16:22:13.59ID:NSbznRQk0
今から導入しようかと思っているのですがv1.05とv2.02どっちがおすすめなんですか?
2015/06/19(金) 20:42:52.44ID:BKtBUvqk0
>>177
ほほー。
レジストリにUserPathを作れば、マイドキュメント\Fiddler2から変えれるのねー。
んじゃ、レジストリにUserPathがあればそっちを取りに行くようにしますわ−。
180名無しさん@お腹いっぱい。
垢版 |
2015/06/20(土) 00:55:10.10ID:2P/aDYPx0
>>178
2.02に決まってるじゃん
2015/06/21(日) 21:17:02.31ID:+E4S78Q+0
>>176 更新
HKEY_CURRENT_USER/Software/Microsoft/Fiddler2/UserPathで
Fiddlerのパスを変えている場合に対応

http://www1.axfc.net/u/3489971
2015/06/21(日) 21:19:35.28ID:+E4S78Q+0

上書きはdllだけでOK
2015/06/21(日) 21:38:39.30ID:uQ9DuzAN0
おちゅであります(`・ω・´)ゞ
184名無しさん@お腹いっぱい。
垢版 |
2015/06/26(金) 18:16:55.78ID:jDYtuyfI0
h
2015/06/26(金) 20:24:15.32ID:iEYMOLnE0
>>181
2chプロキシタブが出たよ

対応乙でした
これで使わせてもらいます
2015/06/29(月) 20:44:13.68ID:A2M/EOGF0
http://hayabusa6.2ch.net/test/read.cgi/linux/1429072845/146
html変換してる人向けなんだけども
BEは決めうちで様子見するか広く指定するか
アンカーは本文のみ抽出して削除か、否定で含まないようにするか
2015/07/26(日) 02:59:35.39ID:0PEgAJpH0
Fiddler 4.5.1.5 Up!!
2015/07/26(日) 03:29:22.94ID:0PEgAJpH0
FiddlerオリジナルのCustomRules.jsも若干修正されてる様だ。
なんで、最新のCustomRules.jsを再カスタマイズして使用中。
2015/08/23(日) 23:41:05.51ID:NK7ssQKU0
Fiddler 4.6.0.2 Up!!
2015/09/12(土) 01:49:13.46ID:ap2LATDX0
Fiddler Extension導入しました
作ってくれた人ありがとう
2015/09/12(土) 11:59:12.27ID:0V2o3+A50
専ブラからだとエラーになってこのスレが見れない
2015/09/12(土) 17:16:53.31ID:zXjN4wBR0
えふてーぴーの書き込まれてるから
次スレにいかないかぎりAPIじゃないと読めないよ
2015/09/15(火) 06:23:07.39ID:smhvi1U/0
WIN10(クリーンインストール)でFiddler.vbsが読み込めなくなったんだが、どうしたらいいの教えて
2015/09/16(水) 19:04:32.69ID:H7l0kzV+0
>>193自己レスです
Fiddlerのインスト−ルフォルダ名を変更したのを忘れていました。御免なさい。
195名無しさん@お腹いっぱい。
垢版 |
2015/11/14(土) 10:22:59.54ID:d5Bw9OAM0
potato鯖が見れない
あと>>188の通りオリジナルのcustomerules.jsが変更されててwikiにあるAPIの追加文突っ込む項目が消えてる
2015/11/15(日) 08:38:20.62ID:JtqhdkIt0
>>195
一応、htmltodatByFiddler 2.03が出たけど、一部バグってるので、
作者さんに指摘しておいたは。
2015/11/16(月) 21:27:45.03ID:6VaOC33T0
2.04でてるな
指摘したとこころかえ
2015/11/17(火) 16:10:23.43ID:0GCHatTX0
Fiddler Web Debugger (v2.5.1.0)
Built: 2015年4月23日
使用
お絵描き機能の画像を表示したいのですがxenoのスレで変換出来てないと教えてもらいました
こちら対応出来ますでしょうか?
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/411
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/412
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/413
2015/11/17(火) 17:34:00.05ID:++XVXyju0
>>198
>>1 の v2.04 は対応してるはず
2015/11/17(火) 18:03:58.15ID:0GCHatTX0
ありがとうございます。後でv2.04入れてみます
2015/11/17(火) 23:40:29.25ID:0GCHatTX0
ありがとうございました。無事お絵描き画像見れました
2015/11/20(金) 23:46:18.73ID:o58Di/UF0
バグ対版 htmltodatByFiddler 2.05 が出たお。
2015/11/21(土) 03:18:42.24ID:Q+DutyLK0
と思ったら、バグ対版 htmltodatByFiddler 2.06 がもう出たお。
204名無しさん@お腹いっぱい。
垢版 |
2015/11/22(日) 00:32:38.92ID:g4qSDCLZ0
XPHome32bitSP3でXeno。potatoのために最新のFiddlerと2.06初導入。
potato読めるようになったけどそれ以外の板のレスがほぼ全部ここ壊れてますになったんだけど。
2015/11/22(日) 09:04:15.01ID:ElC/PCQW0
それは html 変換の宿命
サポート掲示板 274 にも書かれているとおり再取得が必要
ただし以前に取得したログが失われることがあるので自己責任で
206名無しさん@お腹いっぱい。
垢版 |
2015/11/22(日) 23:52:16.54ID:g4qSDCLZ0
>>205
再取得も初取得もみんな壊れて取得されるんだよ。
2015/11/23(月) 08:53:31.49ID:7G0jbD8B0
FiddlerそのものでXenoに渡ってる変換済datを見ることができる
左で選んで右のInspectors→Raw あたり
ちゃんと変換できてるかどか確認してみたら?
2015/12/02(水) 15:22:45.55ID:2N43a07x0
めんどくさいことになってんなー
それ狙って弄ったのかも知れないが
2015/12/02(水) 19:12:13.04ID:2N43a07x0
2.06にあげようと思ったが、相変わらず構文エラーだのなんだの言われてまともに動かん
最後に挿入っていいながら一体どこにいれろってんだよ
なんでこんな不親切なんだあそこの説明は
210名無しさん@お腹いっぱい。
垢版 |
2015/12/02(水) 22:16:54.81ID:0gOJI6ub0
>>210
>>2-3に書いてあるぞ
とくに行数はFiddlerのバージョンでずれてるかもしれない>>3を読め
211名無しさん@お腹いっぱい。
垢版 |
2015/12/02(水) 22:37:02.90ID:0gOJI6ub0
★★★15/12/02最新版 htmltodat2+fiddlerの設定方法★★★

全2chブラウザ対応(WIN)
やはり一番簡単安全な方法はhtmltodat2+fiddlerだな、3分で設定終わる
安心安全のFildderとソースコピペだけでEXEファイル踏まなくていいからウイルス・スパイウェアなしだぞ
しかも、htmltodatByFiddlerのアップデートが少ないから一回入れればほとんど放置でおkだぞ


net、BBSPINKとも読み書き可能
HTML取ってくるからNET以外のSCとかも串刺したまま読み書きできる


1、http://www.telerik.com/download/fiddlerからFillderをダウンロードしてインストール
  Win7ならFiddler4だな(Netframeのバージョンはコントロールパネルの”プログラムと機能”見れば分かる)

2、http://mukiyu.g.ribbon.to/から”htmltodatByFiddler2(.06)”をダウンロード解凍

3、htmltodatByFiddlerのreadme.txt読んで、ソースをコピペ

4、Xenoのプロキシ設定を127.0.0.1:8888に設定

以上、設定完了

*Fildderの設定で、オプションの Act as system proxy on startup のチェック外さないと
  2chブラウザ以外もプロキシ通るようになっちゃうからそれだけ外せばおk

*俺もだが、プログラミング知らんとコピペする場所が分かりづらいかもな
  OnBeforeRequestの方は、219行と220行の間にそのままコピペだな(Fiddlerのバージョンが4.6.1.5、htmltodatByFiddler2.06の場合)
  OnBeforeResponseの方は、271行と272行の間にそのままコピペ(Fiddlerのバージョンが4.6.1.5、htmltodatByFiddler2.06の場合)
OnBeforeRequestの方から貼っていかないとOnBeforeResponseの行数がずれるから注意な。

行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで)
2015/12/02(水) 22:42:30.40ID:c6MUiDsj0
こいつ実はFiddlerのアンチなんじゃないかと思ってきたわ
213名無しさん@お腹いっぱい。
垢版 |
2015/12/02(水) 22:44:04.12ID:0gOJI6ub0
↑(>>212で分からない奴はこれ)
(コピペする場所の行数は、htmltodatのバージョンとFiddlerのバージョンで変わってしまうから注意な。)

■全バージョン共通の貼り方■
まずは、メモ帳の編集→検索でOnBeforeRequestとOnBeforeResponseを検索。
見つけたらその下の" }"を探す。これがいっぱいあって分かりづらい。(最後の”}”はstaticと同じ文字列にある)
*行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで)


検索すると↓のようにひっかかる

  static function OnBeforeRequest(oSession: Session) {
    文字列
   }
    文字列
   }
    ←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeRequest.txtのソースをコピペ。■
  } ←これが最後の”}”(上のstatic functionの"sの文字"と同じ列にある” }”)
  //
  //
  //

  static function OnBeforeResponse(oSession: Session) {
    文字列 {
   }
    ←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeResponse.txtのソースをコピペ。■
  } ←これが最後の”}”(上のstatic functionの"sの文字"と同じ列にある” }”)
/*
  //
214名無しさん@お腹いっぱい。
垢版 |
2015/12/02(水) 22:49:12.13ID:0gOJI6ub0
★★★htmltodat2+fiddlerでAPIモードでdat取得したいとHTMLモード両方使いたい人はこっち参照ね。★★★

APIモードでdat取得したい
Fddler Extensionを利用してHTML2DAT / APIモードを切り替えたい

http://prokusi.wiki.fc2.com/wiki/Fiddler%2BCustomRule
215名無しさん@お腹いっぱい。
垢版 |
2015/12/02(水) 23:01:05.05ID:0gOJI6ub0
>>210
ぶっちゃけ、Fiddler最新にして1回Customrules.js破棄

Customrules.jsは C:\Users\ユーザー名\My Documents\Fiddler2\Scriptsの中にあるから1回これを削除。

そして、Fiddler再起動してメニューからRules→Customize Rulesで
CustomRules.js開いて下の箇所にhtmltodatByFiddler2.06の
OnBeforeRequestとOnBeforeResponseの内容をコピペ。

OnBeforeRequestの方は、219行と220行の間にそのままコピペ
OnBeforeResponseの方は、271行と272行の間にそのままコピペ
2015/12/03(木) 00:49:34.58ID:7KCDMUwF0
>>209
既に以前のバージョンで導入済みなら、コピペするテキストを新しいのに差し替えるだけの筈だよ

http://prokusi.wiki.fc2.com/wiki/Fiddler%2BCustomRule
2015/12/03(木) 05:21:27.71ID:5vT9cGvk0
>>210
何故か普通のブラウザでこのスレ「全部」表示するとエラー出てたんで>>3が見られなかった…でも直リンしてくれたおかげでやっと見られたわ
何故か2系統だけは挿入場所がわからなくて、ずっと1で動かしてたからこのスレも見られずだったが、やっと全部見られるようになった…

ぼやいてみるもんだ、他の人もありがとう
すまんかった
218名無しさん@お腹いっぱい。
垢版 |
2015/12/04(金) 23:18:21.04ID:0HvtZ23F0
なんか新着レスのとこで「ここ壊れてます」にならない?

新スレ取得でもなぜかレスの2が壊れる
219名無しさん@お腹いっぱい。
垢版 |
2015/12/04(金) 23:48:12.31ID:1HdbDFQn0
>>218
自分は2chapixy + Jnne View だけど30分ほど前から急にそうなった
2015/12/05(土) 00:00:35.20ID:PQLnR46a0
>>1の下に広告が入ったからな
htmlモードだと表示が崩れる
datは知らん
2015/12/05(土) 00:03:02.33ID:7sx3blK70
>>218
全鯖か一部だけなのかは知らんがレス内広告が入った
前処理でclass="banner"関係を除去すればいいんでないか?
2015/12/05(土) 00:05:26.85ID:WGsqRywK0
そんなこんなで久々に普通のブラウザで2ch見たらバナー多くて笑った
223名無しさん@お腹いっぱい。
垢版 |
2015/12/05(土) 00:13:23.26ID:Y/GSM0GN0
>>220>>221
スレチでしたがどもども
2015/12/05(土) 00:17:44.39ID:f696rb9L0
proxy2chだとなんともないな
さすが最強のプロクシ
2015/12/05(土) 04:19:48.48ID:n0KmfnuH0
バグ対版 htmltodatByFiddler 2.07 が出たお。
2015/12/05(土) 04:39:26.44ID:dSlGWsZE0
やった
2015/12/05(土) 09:56:59.47ID:vcXVgxCA0
>>223
えっスレチになるんか
2015/12/05(土) 13:25:56.13ID:JImwXLqx0
お、できた。
229名無しさん@お腹いっぱい。
垢版 |
2015/12/05(土) 15:43:20.13ID:U1X8npHk0
2.07って既得スレ取得する時の「ここ壊れてます」は直らないの?
2015/12/05(土) 16:27:05.00ID:4evmTglL0
2.07に上げて再読み込みしたら>>2が壊れてるのは直ったよ
2015/12/06(日) 01:45:20.48ID:SAf7armq0
>>207
2.07でRawやTextviewでは正しく表示されているようなんだがpotato以外はやはりXenoではだめだ。
なぜかDetour2chが動くようになったからそっちを使って書いてる。
Fiddler使用はまたDetourトラブル時にするよ。
2015/12/06(日) 23:38:00.56ID:H8ONTBaZ0
なぜかXenoでこのスレ見れるようになってた
2015/12/07(月) 01:21:35.35ID:6rH146lJ0
Webブラウザで全レスを見られるようになってる
cloudflare側が何か変わったのかもしれない
2015/12/07(月) 01:42:08.88ID:fjhFB0cW0
>>232-233
potato鯖に移転して新read.cgiになったから、ftp://問題が無くなっただけ。
他鯖の旧read.cgiでは、ftp://問題はまだ残ってる。
2015/12/07(月) 18:08:10.37ID:LCboKwmT0
>>233
どう考えても2chの糞運営側に決まってるだろ
2015/12/07(月) 19:30:05.06ID:U6XG1FpL0
なんかpink系が一気にまた壊れ出した
2015/12/07(月) 22:12:44.43ID:elGBm4GG0
oBody = oBody.replace(/<div class="banner"[\s\S]*?<\/div><br><br>/,"");
2015/12/07(月) 22:44:52.54ID:vg7LMEgj0
>>237
thx
壊れなくなったよ
2015/12/08(火) 02:15:01.15ID:vQ8L96ys0
>>237
まじサンクス
2015/12/08(火) 08:17:23.33ID:RMsi042t0
2.07で追加された部分なんだが
2015/12/08(火) 08:28:03.90ID:+CEm77S30
>>237
ありがたや
2015/12/08(火) 13:29:26.86ID:Wj42Mfgb0
>>240
pink は広告が複数行の HTML で入ってるから、
改行文字にもヒットするように *? の前の . を [\s\S] に変更しないと削除できないのよ。
2015/12/08(火) 13:58:31.67ID:wfV1OOwS0
元々、余分な部分を除去しながら成形してるから、正規表現に
マッチしないとゴミが残るんだよね。
必要な部分を正規表現で抽出して成形する形だったら、今回の
ようなread.cgiの仕様変更にも影響されないのに。
2015/12/08(火) 16:57:39.97ID:wfV1OOwS0
Fiddler 4.6.1.5 Up!!
自動生成のCustomRules.jsが10/1付けだったので、念の為ソースを再移植したは。
2015/12/08(火) 17:50:59.59ID:b1pAYIVB0
必要な部分だと面倒だからだろうね
2015/12/08(火) 22:07:57.37ID:wfV1OOwS0
バグ対版 htmltodatByFiddler 2.08 が出たお。
247名無しさん@お腹いっぱい。
垢版 |
2015/12/08(火) 22:40:11.99ID:JOoYkmef0
>>237対応のhtmltodatByFiddler 2.07 出たよ
2015/12/09(水) 15:00:27.77ID:lgWS2sf90
「Fiddler2chExtension」作者の◆7nuuPIs6jAさんへ。

今更ですが、APIモード対応の「apitodatByFiddler」をVer.2.00にアップしましたので、
お手数ですが「Fiddler2chExtension」への反映をお願いします。
今回のは、
・新API仕様対応
・浪人対応
・認証エラー時の自動リトライ
など、大幅に改良してます。

なお、Ver.2.00のダウンロード先ですが、↓の串wikiのTipsにリンクを張ってます。

http://prokusi.wiki.fc2.com/wiki/Fiddler%252BCustomRule#na34fedc
2015/12/10(木) 08:01:19.84ID:ttQDahYG0
>>248
でけた!ちゅっちゅ
2015/12/10(木) 21:58:57.08ID:bjcvWUS30
>>248
お知らせありがとうございます。
取り込ませていただきます。
251名無しさん@お腹いっぱい。
垢版 |
2015/12/11(金) 00:54:48.63ID:SvlOKBYZ0
>>249>>251
乙です
2015/12/11(金) 03:20:20.82ID:terO82Ey0
また運営からの嫌がらせ

http://hanabi.2ch.net/morningcoffee/

この板のスレを見ようとすると >>1のレスに広告のタグがついちゃう
2015/12/11(金) 12:47:22.44ID:tW2xIJAV0
>>252
仕様だろ
そのスレ落ちてるんじゃないの?
2015/12/11(金) 13:22:50.21ID:jSyK+J5O0
こんな感じで2のレスがずれてる
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況