探検

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler
184名無しさん＠お腹いっぱい。
垢版 |
2015/06/26(金) 18:16:55.78ID:jDYtuyfI0
h
2015/06/26(金) 20:24:15.32ID:iEYMOLnE0
>>181
2chプロキシタブが出たよ

対応乙でした
これで使わせてもらいます
2015/06/29(月) 20:44:13.68ID:A2M/EOGF0
http://hayabusa6.2ch.net/test/read.cgi/linux/1429072845/146
html変換してる人向けなんだけども
BEは決めうちで様子見するか広く指定するか
アンカーは本文のみ抽出して削除か、否定で含まないようにするか
2015/07/26(日) 02:59:35.39ID:0PEgAJpH0
Fiddler 4.5.1.5 Up!!
2015/07/26(日) 03:29:22.94ID:0PEgAJpH0
FiddlerオリジナルのCustomRules.jsも若干修正されてる様だ。
なんで、最新のCustomRules.jsを再カスタマイズして使用中。
2015/08/23(日) 23:41:05.51ID:NK7ssQKU0
Fiddler 4.6.0.2 Up!!
2015/09/12(土) 01:49:13.46ID:ap2LATDX0
Fiddler Extension導入しました
作ってくれた人ありがとう
2015/09/12(土) 11:59:12.27ID:0V2o3+A50
専ブラからだとエラーになってこのスレが見れない
2015/09/12(土) 17:16:53.31ID:zXjN4wBR0
えふてーぴーの書き込まれてるから
次スレにいかないかぎりAPIじゃないと読めないよ
2015/09/15(火) 06:23:07.39ID:smhvi1U/0
WIN10(クリーンインストール)でFiddler.vbsが読み込めなくなったんだが、どうしたらいいの教えて
2015/09/16(水) 19:04:32.69ID:H7l0kzV+0
>>193自己レスです
Fiddlerのインスト−ルフォルダ名を変更したのを忘れていました。御免なさい。
195名無しさん＠お腹いっぱい。
垢版 |
2015/11/14(土) 10:22:59.54ID:d5Bw9OAM0
potato鯖が見れない
あと>>188の通りオリジナルのcustomerules.jsが変更されててwikiにあるAPIの追加文突っ込む項目が消えてる
2015/11/15(日) 08:38:20.62ID:JtqhdkIt0
>>195
一応、htmltodatByFiddler 2.03が出たけど、一部バグってるので、
作者さんに指摘しておいたは。
2015/11/16(月) 21:27:45.03ID:6VaOC33T0
2.04でてるな
指摘したとこころかえ
2015/11/17(火) 16:10:23.43ID:0GCHatTX0
Fiddler Web Debugger (v2.5.1.0)
Built: 2015年4月23日
使用
お絵描き機能の画像を表示したいのですがxenoのスレで変換出来てないと教えてもらいました
こちら対応出来ますでしょうか？
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/411
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/412
http://mattari.plusvip.jp/test/read.cgi/jane2ch/1439052443/413
2015/11/17(火) 17:34:00.05ID:++XVXyju0
>>198
>>1 の v2.04 は対応してるはず
2015/11/17(火) 18:03:58.15ID:0GCHatTX0
ありがとうございます。後でv2.04入れてみます
2015/11/17(火) 23:40:29.25ID:0GCHatTX0
ありがとうございました。無事お絵描き画像見れました
2015/11/20(金) 23:46:18.73ID:o58Di/UF0
バグ対版 htmltodatByFiddler 2.05 が出たお。
2015/11/21(土) 03:18:42.24ID:Q+DutyLK0
と思ったら、バグ対版 htmltodatByFiddler 2.06 がもう出たお。
204名無しさん＠お腹いっぱい。
垢版 |
2015/11/22(日) 00:32:38.92ID:g4qSDCLZ0
XPHome32bitSP3でXeno。potatoのために最新のFiddlerと2.06初導入。
potato読めるようになったけどそれ以外の板のレスがほぼ全部ここ壊れてますになったんだけど。
2015/11/22(日) 09:04:15.01ID:ElC/PCQW0
それは html 変換の宿命
サポート掲示板　274 にも書かれているとおり再取得が必要
ただし以前に取得したログが失われることがあるので自己責任で
206名無しさん＠お腹いっぱい。
垢版 |
2015/11/22(日) 23:52:16.54ID:g4qSDCLZ0
>>205
再取得も初取得もみんな壊れて取得されるんだよ。
2015/11/23(月) 08:53:31.49ID:7G0jbD8B0
FiddlerそのものでXenoに渡ってる変換済datを見ることができる
左で選んで右のInspectors→Raw あたり
ちゃんと変換できてるかどか確認してみたら？
2015/12/02(水) 15:22:45.55ID:2N43a07x0
めんどくさいことになってんなー
それ狙って弄ったのかも知れないが
2015/12/02(水) 19:12:13.04ID:2N43a07x0
2.06にあげようと思ったが、相変わらず構文エラーだのなんだの言われてまともに動かん
最後に挿入っていいながら一体どこにいれろってんだよ
なんでこんな不親切なんだあそこの説明は
210名無しさん＠お腹いっぱい。
垢版 |
2015/12/02(水) 22:16:54.81ID:0gOJI6ub0
>>210
>>2-3に書いてあるぞ
とくに行数はFiddlerのバージョンでずれてるかもしれない>>3を読め
211名無しさん＠お腹いっぱい。
垢版 |
2015/12/02(水) 22:37:02.90ID:0gOJI6ub0
★★★15/12/02最新版 htmltodat2＋fiddlerの設定方法★★★

全2chブラウザ対応（WIN）
やはり一番簡単安全な方法はhtmltodat2＋fiddlerだな、3分で設定終わる
安心安全のFildderとソースコピペだけでEXEファイル踏まなくていいからウイルス・スパイウェアなしだぞ
しかも、htmltodatByFiddlerのアップデートが少ないから一回入れればほとんど放置でおｋだぞ


net、BBSPINKとも読み書き可能
HTML取ってくるからNET以外のSCとかも串刺したまま読み書きできる


1、http://www.telerik.com/download/fiddlerからFillderをダウンロードしてインストール
　　Win7ならFiddler4だな（Netframeのバージョンはコントロールパネルの”プログラムと機能”見れば分かる）

2、http://mukiyu.g.ribbon.to/から”htmltodatByFiddler2(.06)”をダウンロード解凍

3、htmltodatByFiddlerのreadme.txt読んで、ソースをコピペ

4、Xenoのプロキシ設定を127.0．0.1：8888に設定

以上、設定完了

＊Fildderの設定で、オプションの Act as system proxy on startup のチェック外さないと
　　2chブラウザ以外もプロキシ通るようになっちゃうからそれだけ外せばおｋ

＊俺もだが、プログラミング知らんとコピペする場所が分かりづらいかもな
　　OnBeforeRequestの方は、219行と220行の間にそのままコピペだな（Fiddlerのバージョンが4.6.1.5、htmltodatByFiddler2.06の場合）
　　OnBeforeResponseの方は、271行と272行の間にそのままコピペ（Fiddlerのバージョンが4.6.1.5、htmltodatByFiddler2.06の場合）
OnBeforeRequestの方から貼っていかないとOnBeforeResponseの行数がずれるから注意な。

行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで）
2015/12/02(水) 22:42:30.40ID:c6MUiDsj0
こいつ実はFiddlerのアンチなんじゃないかと思ってきたわ
213名無しさん＠お腹いっぱい。
垢版 |
2015/12/02(水) 22:44:04.12ID:0gOJI6ub0
↑（>>212で分からない奴はこれ）
（コピペする場所の行数は、htmltodatのバージョンとFiddlerのバージョンで変わってしまうから注意な。）

■全バージョン共通の貼り方■
まずは、メモ帳の編集→検索でOnBeforeRequestとOnBeforeResponseを検索。
見つけたらその下の" ｝"を探す。これがいっぱいあって分かりづらい。(最後の”｝”はstaticと同じ文字列にある）
＊行列はメモ帳の表示→ステータスバーで出る(書式→右端で折り返すはオフで）


検索すると↓のようにひっかかる

　　static function OnBeforeRequest(oSession: Session) {
　　　　文字列
　　　}
　　　　文字列
　　　}
　　　　←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeRequest.txtのソースをコピペ。■
　　}　←これが最後の”｝”(上のstatic functionの"sの文字"と同じ列にある” ｝”）
　　//
　　//
　　//

　　static function OnBeforeResponse(oSession: Session) {
　　　　文字列 {
　　　}
　　　　←←←■ここの行にhtmltodatByFiddlerについてるOnBeforeResponse.txtのソースをコピペ。■
　　}　←これが最後の”｝”(上のstatic functionの"sの文字"と同じ列にある” ｝”）
/*
　 //
214名無しさん＠お腹いっぱい。
垢版 |
2015/12/02(水) 22:49:12.13ID:0gOJI6ub0
★★★htmltodat2＋fiddlerでAPIモードでdat取得したいとHTMLモード両方使いたい人はこっち参照ね。★★★

APIモードでdat取得したい
Fddler Extensionを利用してHTML2DAT / APIモードを切り替えたい

http://prokusi.wiki.fc2.com/wiki/Fiddler%2BCustomRule
215名無しさん＠お腹いっぱい。
垢版 |
2015/12/02(水) 23:01:05.05ID:0gOJI6ub0
>>210
ぶっちゃけ、Fiddler最新にして1回Customrules.js破棄

Customrules.jsは C:\Users\ユーザー名\My Documents\Fiddler2\Scriptsの中にあるから1回これを削除。

そして、Fiddler再起動してメニューからRules→Customize Rulesで
CustomRules.js開いて下の箇所にhtmltodatByFiddler2.06の
OnBeforeRequestとOnBeforeResponseの内容をコピペ。

OnBeforeRequestの方は、219行と220行の間にそのままコピペ
OnBeforeResponseの方は、271行と272行の間にそのままコピペ
2015/12/03(木) 00:49:34.58ID:7KCDMUwF0
>>209
既に以前のバージョンで導入済みなら、コピペするテキストを新しいのに差し替えるだけの筈だよ

http://prokusi.wiki.fc2.com/wiki/Fiddler%2BCustomRule
2015/12/03(木) 05:21:27.71ID:5vT9cGvk0
>>210
何故か普通のブラウザでこのスレ「全部」表示するとエラー出てたんで>>3が見られなかった…でも直リンしてくれたおかげでやっと見られたわ
何故か2系統だけは挿入場所がわからなくて、ずっと1で動かしてたからこのスレも見られずだったが、やっと全部見られるようになった…

ぼやいてみるもんだ、他の人もありがとう
すまんかった
218名無しさん＠お腹いっぱい。
垢版 |
2015/12/04(金) 23:18:21.04ID:0HvtZ23F0
なんか新着レスのとこで「ここ壊れてます」にならない？

新スレ取得でもなぜかレスの2が壊れる
219名無しさん＠お腹いっぱい。
垢版 |
2015/12/04(金) 23:48:12.31ID:1HdbDFQn0
>>218
自分は2chapixy + Jnne View だけど30分ほど前から急にそうなった
2015/12/05(土) 00:00:35.20ID:PQLnR46a0
>>1の下に広告が入ったからな
htmlモードだと表示が崩れる
datは知らん
2015/12/05(土) 00:03:02.33ID:7sx3blK70
>>218
全鯖か一部だけなのかは知らんがレス内広告が入った
前処理でclass="banner"関係を除去すればいいんでないか？
2015/12/05(土) 00:05:26.85ID:WGsqRywK0
そんなこんなで久々に普通のブラウザで2ch見たらバナー多くて笑った
223名無しさん＠お腹いっぱい。
垢版 |
2015/12/05(土) 00:13:23.26ID:Y/GSM0GN0
>>220>>221
スレチでしたがどもども
2015/12/05(土) 00:17:44.39ID:f696rb9L0
proxy2chだとなんともないな
さすが最強のプロクシ
2015/12/05(土) 04:19:48.48ID:n0KmfnuH0
バグ対版 htmltodatByFiddler 2.07 が出たお。
2015/12/05(土) 04:39:26.44ID:dSlGWsZE0
やった
2015/12/05(土) 09:56:59.47ID:vcXVgxCA0
>>223
えっスレチになるんか
2015/12/05(土) 13:25:56.13ID:JImwXLqx0
お、できた。
229名無しさん＠お腹いっぱい。
垢版 |
2015/12/05(土) 15:43:20.13ID:U1X8npHk0
2.07って既得スレ取得する時の「ここ壊れてます」は直らないの？
2015/12/05(土) 16:27:05.00ID:4evmTglL0
2.07に上げて再読み込みしたら>>2が壊れてるのは直ったよ
2015/12/06(日) 01:45:20.48ID:SAf7armq0
>>207
2.07でRawやTextviewでは正しく表示されているようなんだがpotato以外はやはりXenoではだめだ。
なぜかDetour2chが動くようになったからそっちを使って書いてる。
Fiddler使用はまたDetourトラブル時にするよ。
2015/12/06(日) 23:38:00.56ID:H8ONTBaZ0
なぜかXenoでこのスレ見れるようになってた
2015/12/07(月) 01:21:35.35ID:6rH146lJ0
Webブラウザで全レスを見られるようになってる
cloudflare側が何か変わったのかもしれない
2015/12/07(月) 01:42:08.88ID:fjhFB0cW0
>>232-233
potato鯖に移転して新read.cgiになったから、ftp://問題が無くなっただけ。
他鯖の旧read.cgiでは、ftp://問題はまだ残ってる。
2015/12/07(月) 18:08:10.37ID:LCboKwmT0
>>233
どう考えても2chの糞運営側に決まってるだろ
2015/12/07(月) 19:30:05.06ID:U6XG1FpL0
なんかpink系が一気にまた壊れ出した
2015/12/07(月) 22:12:44.43ID:elGBm4GG0
oBody = oBody.replace(/<div class="banner"[\s\S]*?<\/div><br><br>/,"");
2015/12/07(月) 22:44:52.54ID:vg7LMEgj0
>>237
ｔｈｘ
壊れなくなったよ
2015/12/08(火) 02:15:01.15ID:vQ8L96ys0
>>237
まじサンクス
2015/12/08(火) 08:17:23.33ID:RMsi042t0
2.07で追加された部分なんだが
2015/12/08(火) 08:28:03.90ID:+CEm77S30
>>237
ありがたや
2015/12/08(火) 13:29:26.86ID:Wj42Mfgb0
>>240
pink は広告が複数行の HTML で入ってるから、
改行文字にもヒットするように *? の前の . を [\s\S] に変更しないと削除できないのよ。
2015/12/08(火) 13:58:31.67ID:wfV1OOwS0
元々、余分な部分を除去しながら成形してるから、正規表現に
マッチしないとゴミが残るんだよね。
必要な部分を正規表現で抽出して成形する形だったら、今回の
ようなread.cgiの仕様変更にも影響されないのに。
2015/12/08(火) 16:57:39.97ID:wfV1OOwS0
Fiddler 4.6.1.5 Up!!
自動生成のCustomRules.jsが10/1付けだったので、念の為ソースを再移植したは。
2015/12/08(火) 17:50:59.59ID:b1pAYIVB0
必要な部分だと面倒だからだろうね
2015/12/08(火) 22:07:57.37ID:wfV1OOwS0
バグ対版 htmltodatByFiddler 2.08 が出たお。
247名無しさん＠お腹いっぱい。
垢版 |
2015/12/08(火) 22:40:11.99ID:JOoYkmef0
>>237対応のhtmltodatByFiddler 2.07　出たよ
2015/12/09(水) 15:00:27.77ID:lgWS2sf90
「Fiddler2chExtension」作者の◆7nuuPIs6jAさんへ。

今更ですが、APIモード対応の「apitodatByFiddler」をVer.2.00にアップしましたので、
お手数ですが「Fiddler2chExtension」への反映をお願いします。
今回のは、
・新API仕様対応
・浪人対応
・認証エラー時の自動リトライ
など、大幅に改良してます。

なお、Ver.2.00のダウンロード先ですが、↓の串wikiのTipsにリンクを張ってます。

http://prokusi.wiki.fc2.com/wiki/Fiddler%252BCustomRule#na34fedc
2015/12/10(木) 08:01:19.84ID:ttQDahYG0
>>248
でけた！ちゅっちゅ
2015/12/10(木) 21:58:57.08ID:bjcvWUS30
>>248
お知らせありがとうございます。
取り込ませていただきます。
251名無しさん＠お腹いっぱい。
垢版 |
2015/12/11(金) 00:54:48.63ID:SvlOKBYZ0
>>249>>251
乙です
2015/12/11(金) 03:20:20.82ID:terO82Ey0
また運営からの嫌がらせ

http://hanabi.2ch.net/morningcoffee/

この板のスレを見ようとすると >>1のレスに広告のタグがついちゃう
2015/12/11(金) 12:47:22.44ID:tW2xIJAV0
>>252
仕様だろ
そのスレ落ちてるんじゃないの？
2015/12/11(金) 13:22:50.21ID:jSyK+J5O0
こんな感じで2のレスがずれてる
2015/12/11(金) 15:26:22.66ID:ld7DoytX0
今度はこんな感じ？もっとスマートにできるかも
つぎはぎだらけw
oBody = oBody.replace(/<div id="banner".*?<div class="push"><\/div><\/div><div class="push"><\/div><\/div>/,"");
2015/12/11(金) 16:49:50.46ID:g0Blmwj60
>>255
あっちのスレにも書いたけど

replace(/<div id="banner"[\s\S]*?<\/div><\/div>/,"")
2015/12/11(金) 17:13:27.37ID:g0Blmwj60
>>255
ごめんチェック甘すぎて間違えた
それで正しい
もう少しすっきりさせるなら

replace(/<div id="banner"[\s\S]*?(?:<div class="push"><\/div><\/div>)+/,"")
2015/12/11(金) 21:38:47.55ID:qzcayOnM0
バグ対版 htmltodatByFiddler 2.09 が出たお。
2015/12/11(金) 23:08:22.42ID:JzGl4PEx0
http://mukiyu.g.ribbon.to/　が何も表示されなくなってるんだけど鯖落ちてるんですかね
2015/12/11(金) 23:14:05.05ID:JzGl4PEx0
あ　直った
261名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 01:10:26.20ID:UCbL7kEw0
なんか今pink見たらまた2がおかしくなってるけど、
>>260で対応してるのか？
まさかその後じゃねだろうな

まあ、一応試してみる
262名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 01:17:58.18ID:UCbL7kEw0
直った

なんかJaneXeno＋htmltodatByFiddler 2.09だと
スレ開くときに重くなったのだが気のせいか？
俺だけ？
2015/12/12(土) 01:31:33.53ID:QTHA8qnL0
ん、俺の環境では別に重くなった感じはしないな
264名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 01:59:27.23ID:UCbL7kEw0
>>263
マジで？
Pink板のスレ開いてみて、若干重くなるわ

あと、また仕様変わった？
なんか書き込んだ後にまたスレ壊れる
試してみてくれ↓


【ふわわ】川鍋朱里ちゃん Part3【しゅり】
http://potato.2ch.net/test/read.cgi/geinoj/1435941763/
265名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 02:00:48.59ID:UCbL7kEw0
う〜ん、2ch自体がぶっ壊れてるんだろうか、仕様変更したんだろうか

しかし、こんだけ変更多いとhtmltodatの作者さんも大変だろうな
2015/12/12(土) 02:05:39.32ID:QTHA8qnL0
エロゲー板で何個かスレ開いたけど普通だな
267名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 02:07:07.45ID:UCbL7kEw0
>>266
そうか、ありがとう

一回、>>264のスレに書き込んでみて書き込み直後の読み込みでログ壊れるから
268名無しさん＠お腹いっぱい。
垢版 |
2015/12/12(土) 02:12:17.55ID:UCbL7kEw0
直りやがった
2ch側が仕様変更してる最中かなんかだったのかも
2015/12/12(土) 07:04:20.24ID:GZxCSBA10
自分でいじれるのも利点だね
270名無しさん＠お腹いっぱい。
垢版 |
2015/12/17(木) 23:33:13.81ID:k9uH5ReI0
また壊れるぞ
2015/12/18(金) 00:27:04.72ID:qV8dhkwV0
また仕様変更したのか
2015/12/18(金) 01:03:00.70ID:1ggY/tpp0
あーやっぱり壊れるんだ
2015/12/18(金) 01:13:17.09ID:Z8UXtyCG0
更新来てたぞ
2015/12/22(火) 02:23:22.66ID:oRRmxTvN0
バグ対版 htmltodatByFiddler 2.11 が出たお。
275名無しさん＠お腹いっぱい。
垢版 |
2015/12/23(水) 08:53:38.17ID:zAEpgw1S0
pロxy伝説
2015/12/27(日) 02:59:01.38ID:gIpyAOSR0
バグ対版 htmltodatByFiddler 2.12 が出てたお。
2015/12/27(日) 06:51:34.21ID:ykwzmxjQ0
ここすぐ落ちるネ
2016/01/04(月) 05:09:04.89ID:myxSWJHz0
助かった。ギコナビが復活した
2016/01/04(月) 10:10:13.26ID:3s+WOxvJ0
Fiddler 4.6.2.0 Up!!

アップデートチェックだと、4.6.1.5のままだったので、インストーラよりアプデート実施。
自動生成のCustomRules.jsが12/31付けだったので、念の為ソースを再移植したは。
2016/01/04(月) 17:56:13.29ID:wZ0xPDAj0
>>279
Fiddlerが使うHTTPSの証明書とツールバー周りの変更があったようだな
What’s New in Fiddler 4.6.2
http://textslashplain.com/2015/12/30/whats-new-in-fiddler-4-6-2/
2016/01/04(月) 18:29:03.75ID:3s+WOxvJ0
>>280
JScriptエディタ等のAdd-onツールもアプデされてたから、一緒に更新したは。

VisualStudio2015 Update1インスト済みだから、.NET Framework 4.6.1含め
全て最新の環境だは。
2016/01/06(水) 08:35:17.76ID:/2bx8mk80
>>279-280
アップデートチェックからでも 4.6.2.0 が入るようになっていた。
CustomRules.js の変更はユーザエージェントの文字列が最新バージョンに更新されているだけ。
ユーザエージェント偽装をして実験や試験などする人でなければ影響ない。
2016/01/06(水) 10:13:35.04ID:3TIAGLtU0
>>282
自分の環境（Win7&IE11）のUAが無いから、何時も追加してる。
そんで、UA偽装の設定を、UA一覧から選択出来る様にしてるよ。
2016/01/12(火) 02:42:59.29ID:5PpwfyTl0
新read.cgiバグ対策版 htmltodatByFiddler 2.13 が出たお。
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況