Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler

>>218
自分は2chapixy + Jnne View だけど30分ほど前から急にそうなった

>>1の下に広告が入ったからな
htmlモードだと表示が崩れる
datは知らん

>>218
全鯖か一部だけなのかは知らんがレス内広告が入った
前処理でclass="banner"関係を除去すればいいんでないか？

そんなこんなで久々に普通のブラウザで2ch見たらバナー多くて笑った

>>220>>221
スレチでしたがどもども

proxy2chだとなんともないな
さすが最強のプロクシ

バグ対版 htmltodatByFiddler 2.07 が出たお。

やった

>>223
えっスレチになるんか

お、できた。

2.07って既得スレ取得する時の「ここ壊れてます」は直らないの？

2.07に上げて再読み込みしたら>>2が壊れてるのは直ったよ

>>207
2.07でRawやTextviewでは正しく表示されているようなんだがpotato以外はやはりXenoではだめだ。
なぜかDetour2chが動くようになったからそっちを使って書いてる。
Fiddler使用はまたDetourトラブル時にするよ。

なぜかXenoでこのスレ見れるようになってた

Webブラウザで全レスを見られるようになってる
cloudflare側が何か変わったのかもしれない

>>232-233
potato鯖に移転して新read.cgiになったから、ftp://問題が無くなっただけ。
他鯖の旧read.cgiでは、ftp://問題はまだ残ってる。

>>233
どう考えても2chの糞運営側に決まってるだろ

なんかpink系が一気にまた壊れ出した

oBody = oBody.replace(/<div class="banner"[\s\S]*?<\/div><br><br>/,"");

>>237
ｔｈｘ
壊れなくなったよ

>>237
まじサンクス

2.07で追加された部分なんだが

>>237
ありがたや

>>240
pink は広告が複数行の HTML で入ってるから、
改行文字にもヒットするように *? の前の . を [\s\S] に変更しないと削除できないのよ。

元々、余分な部分を除去しながら成形してるから、正規表現に
マッチしないとゴミが残るんだよね。
必要な部分を正規表現で抽出して成形する形だったら、今回の
ようなread.cgiの仕様変更にも影響されないのに。

Fiddler 4.6.1.5 Up!!
自動生成のCustomRules.jsが10/1付けだったので、念の為ソースを再移植したは。

必要な部分だと面倒だからだろうね

バグ対版 htmltodatByFiddler 2.08 が出たお。

>>237対応のhtmltodatByFiddler 2.07　出たよ

「Fiddler2chExtension」作者の◆7nuuPIs6jAさんへ。

今更ですが、APIモード対応の「apitodatByFiddler」をVer.2.00にアップしましたので、
お手数ですが「Fiddler2chExtension」への反映をお願いします。
今回のは、
・新API仕様対応
・浪人対応
・認証エラー時の自動リトライ
など、大幅に改良してます。

なお、Ver.2.00のダウンロード先ですが、↓の串wikiのTipsにリンクを張ってます。

http://prokusi.wiki.fc2.com/wiki/Fiddler%252BCustomRule#na34fedc

>>248
でけた！ちゅっちゅ

>>248
お知らせありがとうございます。
取り込ませていただきます。

>>249>>251
乙です

また運営からの嫌がらせ

http://hanabi.2ch.net/morningcoffee/

この板のスレを見ようとすると >>1のレスに広告のタグがついちゃう

>>252
仕様だろ
そのスレ落ちてるんじゃないの？

こんな感じで2のレスがずれてる

今度はこんな感じ？もっとスマートにできるかも
つぎはぎだらけw
oBody = oBody.replace(/<div id="banner".*?<div class="push"><\/div><\/div><div class="push"><\/div><\/div>/,"");

>>255
あっちのスレにも書いたけど

replace(/<div id="banner"[\s\S]*?<\/div><\/div>/,"")

>>255
ごめんチェック甘すぎて間違えた
それで正しい
もう少しすっきりさせるなら

replace(/<div id="banner"[\s\S]*?(?:<div class="push"><\/div><\/div>)+/,"")

バグ対版 htmltodatByFiddler 2.09 が出たお。

http://mukiyu.g.ribbon.to/　が何も表示されなくなってるんだけど鯖落ちてるんですかね

あ　直った

なんか今pink見たらまた2がおかしくなってるけど、
>>260で対応してるのか？
まさかその後じゃねだろうな

まあ、一応試してみる

直った

なんかJaneXeno＋htmltodatByFiddler 2.09だと
スレ開くときに重くなったのだが気のせいか？
俺だけ？

ん、俺の環境では別に重くなった感じはしないな

>>263
マジで？
Pink板のスレ開いてみて、若干重くなるわ

あと、また仕様変わった？
なんか書き込んだ後にまたスレ壊れる
試してみてくれ↓


【ふわわ】川鍋朱里ちゃん Part3【しゅり】
http://potato.2ch.net/test/read.cgi/geinoj/1435941763/

う〜ん、2ch自体がぶっ壊れてるんだろうか、仕様変更したんだろうか

しかし、こんだけ変更多いとhtmltodatの作者さんも大変だろうな

エロゲー板で何個かスレ開いたけど普通だな

>>266
そうか、ありがとう

一回、>>264のスレに書き込んでみて書き込み直後の読み込みでログ壊れるから

直りやがった
2ch側が仕様変更してる最中かなんかだったのかも

自分でいじれるのも利点だね

また壊れるぞ

また仕様変更したのか

あーやっぱり壊れるんだ

更新来てたぞ

バグ対版 htmltodatByFiddler 2.11 が出たお。

pロxy伝説

バグ対版 htmltodatByFiddler 2.12 が出てたお。

ここすぐ落ちるネ

助かった。ギコナビが復活した

Fiddler 4.6.2.0 Up!!

アップデートチェックだと、4.6.1.5のままだったので、インストーラよりアプデート実施。
自動生成のCustomRules.jsが12/31付けだったので、念の為ソースを再移植したは。

>>279
Fiddlerが使うHTTPSの証明書とツールバー周りの変更があったようだな
What’s New in Fiddler 4.6.2
http://textslashplain.com/2015/12/30/whats-new-in-fiddler-4-6-2/

>>280
JScriptエディタ等のAdd-onツールもアプデされてたから、一緒に更新したは。

VisualStudio2015 Update1インスト済みだから、.NET Framework 4.6.1含め
全て最新の環境だは。

>>279-280
アップデートチェックからでも 4.6.2.0 が入るようになっていた。
CustomRules.js の変更はユーザエージェントの文字列が最新バージョンに更新されているだけ。
ユーザエージェント偽装をして実験や試験などする人でなければ影響ない。

>>282
自分の環境（Win7&IE11）のUAが無いから、何時も追加してる。
そんで、UA偽装の設定を、UA一覧から選択出来る様にしてるよ。

新read.cgiバグ対策版 htmltodatByFiddler 2.13 が出たお。

1ヶ月以上過ぎてしまったけど
apitodatByFiddlerさんのV2.00（>>248）を反映させたFiddler2chExtension2.0.0.0をアップしました。
浪人ID PASSを入れられるようにはしたのですが、アカウント持っていないので未検証です。

ダウンロードはこちら
http://www1.axfc.net/u/3601946.zip

詳しくはwikiのFiddler Extensionを利用してHTML2DAT / APIモードを切り替えたいを見てください。

>>285
おつかれさまです
win7 64bit Fidder v4.6.2.0
で問題なく動作しております
なお当方も浪人は未検証

Fiddlerアンインストールしたのにブラウザで

[Fiddler] DNS Lookup for "＊＊＊＊.net" failed. System.Net.Sockets.SocketException 要求した名前は有効ですが、要求された種類のデータは見つかりませんでした。

って出てくるんだが？

レジストリ/ファイル/フォルダ/ブラウザの設定などはチェックした？

2chApiProxyのせいだった

age

なんかまた既得スレ取得するとスレ壊れないか？

最新版入れてるけど正常だぞ

>>291
以前のバージョンで取得したスレだと変換の仕方が多少違うのでサイズが違ってしまって壊れることがある。
これは仕方がない。素直に再取得。

>>293
>>291でないけど今日急になったぞ
もちろんFiddlerもルールもしばらく変更無しで

ともあれ再取得で直ったみたいだthx

…と思ったけどダメだった
新レスが来る度にずれる
スレを切り替える度に前回正常だった場所からになる

板は半角二次元、まあPINK全部だろうけど
ブラウザで開いても不審な場所はないような…

nasu鯖、mercury鯖に移転したんだな

>>295
最終レス末尾に広告枠が追加されたようだ
バナー広告削除の前後何れかに以下を追加で

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>\n");

>>295
もう一つ
ブラウザで見るとレス番0があるスレ
どうやらこれはあぼーん(あは〜ん・うふ〜ん)されたレスはhtml上では省略表示されてることを示してるようだ
dat化する時あぼーんレスの補完が必要になる……気分が乗らないので誰かに任せる
とりあえずレス番0を除去だけ

oBody = oBody.replace(/<div class="post" id="0"[\s\S]+?(?=<div class="post")/,"");

51行目の｢後ろの不要な部分をカット｣より前に追記すること

>>296
外出してたのと不具合があったのを調べてたのでレス遅れた
でもおかげでFiddlerの使い方が少しわかったぞ！
inspectorのrawを見ればどうなったか見えるのか

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>");
これなら大丈夫だった(末尾の\n削除)、でもこれで大丈夫になった

>>297
なんか厄介な仕様だなあ

バグ対版 htmltodatByFiddler 2.14 が出たお。

>>299
�d

乙です！

fiddler最新のv4.6.2.3にしたら、毎回起動時に
telerik.com/UpdateCheck.aspxへ繋ぎにいくんだけど何とかならないのかな？
もちろんアプデのチェックははずしてるし
レジストリHKEY_CURRENT_USER\Software\Microsoft\Fiddler2をいじっても効果がなかった

>>302
ほんとこれ
ネットつながってないとエラー吐いてうるさい
古いバージョンに戻したわ

>>302
その URL に繋ぎにいくのを止めるフィルタを書けばいいんじゃね?
ログに出てるってことは通常経路で通信していると見ていいっぽいから OnBeforeRequest で握り潰せばいいと思う。

ただこの手のソフトの更新チェックは入れておいた方がいいとは思うけどな。

>>303
うちだけかと思ったら皆さんそうでしたかw

>>304
戻り値も見てるようなのでそれだとうまくいかないかな
結局別OSのv4.6.2.2を上書きしたら止まりました

JaneXenoが更新されたぞ

【専ブラ】 Janeがまさかの更新ｷﾀｰ
http://hitomi.2ch.net/test/read.cgi/poverty/1466045082/


1 ：番組の途中ですがアフィサイトへの転載は禁止です (ﾜｯﾁｮｲ a64c-TmMJ)：2016/06/16(木) 11:44:42.41 ID:XkbItdUd0
JaneXeno
http://janexeno.client.jp/

319 名前：koreawatcher ◆XenoM10nSg [sage] 投稿日：2016/06/15(水) 20:33:18.55 ID:1pfwoAuz
Xeno160615 試作品
http://janexeno.client.jp/janexenobeta.htm
・スレ取得関連のロジックをXeno151212以前の状態に戻した。
　浪人の認証も以前の状態に戻ったためOpenSSLがなくても認証可能。

もしかして公式からダウンロード出来るのって.NET4版のみ？

7/6付けの v4.6.2.29442 にしてみたが、特に変わらず。

>>307
6月17日の 2.6.2.26757 で統一されたみたいだ
Introduced single installer for .NET framework 2 and .NET framework 4

テスト

たまに再起動しないとあかんのね
ブラウザが異常にもっさりしたり繋がらなくなるのはこいつのせいだった

>>311
それが専ブラなのかWebブラウザなのかは分からんが俺はなったことないな
もっとも常駐しっぱなしはあまりないからかもだが
ただ起動中はほとんどメモリを解放してくれないからそれが原因の可能性もある

とりあえず起動時は｢/noversioncheck /quiet｣のコマンドオプション付けてる
前者は最近のバージョンでの起動時の強制更新チェックするのを防いでる
後者は起動時のスプラッシュやウィンドウ表示をカットする最少化起動みたいなもの
ウィンドウ等が表示されない分若干メモリを抑えて起動できるな

通信ログを貯めっ放しだと、メモリ喰いまくるからな。
特定の通信以外のログを表示しないようにスクリプトを改造するか、
定期的にログを消去しないと。

サーバーの調子がおかしいのかなんか重いなぁ…と思ってたらFiddlerがCPUを滅茶苦茶食っててプチフリーズ発生(´・ω・`)こんなの初めて

>>314 たまにあるよ
常駐チェッカー画面に貼り付けておくのもありかも

>>315
そうなんですか！初めてだったのでオロオロしてここ来てみた(´・ω・`)
常駐チェッカーというのを探してみます！
ありがとうございまさいた

なんか再読み込みが発生しまくってるから2chのread.cgiの仕様が変わったのかも？

bbspink

>>318
pinkのスレ読めないな
Fiddlerがビジーになってタイムアウトする