探検

Fiddler　2chプロクシ専用　Part１ [転載禁止]©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
　要.NET Framework (webスクレイピング)
　ttp://mukiyu.g.ribbon.to/　【v1.05 　 v2.02 (v2系は差分取得対応)】
　ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
（要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
　ttp://www.telerik.com/download/fiddler
2018/07/19(木) 14:41:42.25ID:7E3c8O880
ブラウザの通信にはfiddlerを通さないようにしてた気がするので開けるけど…それがどこの設定だったかは忘れちゃった
2018/07/19(木) 14:46:05.35ID:kcV3DYeK0
fiddlerの有無に関係なくgoneになるので特定ユーザーだけぽいなあ
2018/07/19(木) 16:25:08.85ID:tvYB3LO60
>>653
端からHTML環境だけだよ
API専ブラは関係ない
2018/07/19(木) 17:29:42.38ID:J6nHM5nY0
一括更新するとダメだね
実況用のオートリロードとかだとセーフ
662名無しさん＠お腹いっぱい。
垢版 |
2018/09/27(木) 04:47:35.43ID:p+8hMS6T0
てすと
2018/10/30(火) 22:16:32.83ID:HPwEnddC0
ほ
2018/10/31(水) 17:45:20.57ID:2EM8elxT0
も
2018/11/01(木) 00:26:51.77ID:Ct/l86Im0
ｱ
2018/11/02(金) 12:52:15.90ID:wjMCHURJ0
DCLXVI
2018/12/01(土) 15:18:04.15ID:JW1BbstP0
xeno＋apitodatByFiddlerつかってるけど
スレが破損と判断されるようになった・・・
668名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 15:27:09.12ID:7rDZjt+v0
>>667
俺もそうなった
あと番号がズレて増えてる
2018/12/01(土) 16:00:41.84ID:4H6Zotpj0
Viewだが俺も
2018/12/01(土) 16:43:06.15ID:Tgn7muiZ0
styleは今んとこ大丈夫かな・・・さっきこのスレを開いたときは破損になってたから怪しいけど
2018/12/01(土) 16:45:17.50ID:Tgn7muiZ0
と思ったらstyleもダメだ・・・破損になってまう＞＜
2018/12/01(土) 17:11:50.89ID:43s6JBSt0
かちゅで使ってるけど一定の間隔？で[ここ壊れてます]になるな
他ではどう？
673名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 17:47:00.54ID:AsHm+Hgm0
XENOだけど
どのスレ開いてもスレ番201から216までが壊れるわ
2018/12/01(土) 17:47:48.09ID:AsHm+Hgm0
スレ番じゃねぇ
レス番だｗ
2018/12/01(土) 17:53:18.48ID:43s6JBSt0
<div><div id="horizontalbanners*99"〜
<!-- Insert user GDPR consent string here for GDPR compliant inventory -->
で広告が5つぐらい挟まってるな
2018/12/01(土) 17:55:36.70ID:mUkO0d1h0
read.cgiのverが上がってるね
またどこか弄ったんだろう
677名無しさん＠お腹いっぱい。
垢版 |
2018/12/01(土) 18:00:03.50ID:7rDZjt+v0
515まであるところ見たら
673さんの報告の所が壊れてた
あと417〜432も壊れてた
2018/12/01(土) 20:04:32.40ID:mUkO0d1h0
>>675以外にAAとレスポップアップ用のclassも入ってるんだな、と言ってもこれについては以前のverからあったようだが
あと少し前からpinkにも広告がレス間に追加されてる
2018/12/01(土) 22:56:11.08ID:AsHm+Hgm0
いつの間にか直ってた
680名無しさん＠お腹いっぱい。
垢版 |
2018/12/02(日) 00:15:04.83ID:dIU1V9t90
アンカーがずれまくるな
2018/12/02(日) 03:58:30.19ID:SvAhmpnK0
201-216
417-432
632-647
848-863

この4範囲が壊れるな
レス番号ずれてアンカーが役立たずになる
2018/12/02(日) 04:14:24.53ID:TapPir8h0
C#版だと問題ない（もともと対応済み）みたいだけど、導入しようとしても
janeに「(;ﾟДﾟ)datｼﾞｬﾅｲ…」って言われて取得できん（´・ω・｀）
2018/12/02(日) 04:45:10.35ID:Sw9FMFOR0
俺もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね
JScript版に戻した
2018/12/02(日) 04:58:37.93ID:TapPir8h0
＞　・メソッド
＞　　public static void OnBeforeResponse(Session oSession)
＞　　の最後（次の public static 〜 に直近の } の上）に OnBeforeResponse.cs.txt を挿入

readmeにはこう書いてあるけど、OnBeforeResponse.cs.txtを挿入する場所を
「// This function executes just before Fiddler returns an error that it has 」のある行の
１つ上の「}」の上にしたらC#でも行けた

一応、他に俺はいつも「//2chへの読み込みリクエストを〜」と
「//5chへの書き込みリクエストを〜」の下のコメントアウトを外して使ってるけど、
関係あるのかな？分からん（´・ω・｀）
2018/12/02(日) 13:23:33.49ID:dDjMAYXn0
xenoでC#版に移行したけど
//5chへの書き込みリクエストを2chへの書き込みリクエストに変換
//oSession.url = oSession.url.replace(@".5ch\.(net)/,".2ch.$1");
のコメント外すとエラー出てダメだったけど読み込みは問題なくなった
2018/12/02(日) 14:03:51.00ID:WbRSFpjC0
Fiddler2はC#無理か？
2018/12/02(日) 14:39:50.14ID:TapPir8h0
>>685
自分の環境でもそうなるからコメントアウトしたままだな
コメントアウトしないと「文字 '$' は予期されていません」って言われるわ（´・ω・｀）
2018/12/02(日) 14:58:40.32ID:TapPir8h0
説明不足だったので追記。
↓こうすればコメント外してもいける。（「(net)」の後ろの「/」を「"」（半角ダブルクォーテーション）に書き換え）

oSession.url = oSession.url.replace(@".5ch\.(net)",".2ch.$1");
2018/12/02(日) 16:40:17.45ID:Ar2zR2nW0
使ってたfiddler v4.5.1.2ではC#版を使えないようだったのでv5.0.20182.28034にアップデート後、Customize RulesでhtmltodatByFiddler(C#版)を導入すると
「コンパイラが必要とする型 'System.Runtime.CompilerServices.ExtensionAttribute' が見つからないため、新しい拡張メソッドを定義できません。System.Core.dll への参照は指定されていますか?」
というエラーが出たので以下を追加してみたら使えるようになったので、同じエラーが出た人用に参考までに
2018/12/02(日) 16:41:43.83ID:Ar2zR2nW0
using System.IO;

namespace System.Runtime.CompilerServices {
// 拡張メソッドをコンパイルするのに必要となるExtensionAttributeの宣言
[AttributeUsage(AttributeTargets.Assembly | AttributeTargets.Class | AttributeTargets.Method)]
public sealed class ExtensionAttribute : Attribute {}
}

namespace MyExtensions {
// 拡張メソッドを含むクラス
public static class StringExtensions {
public static void WriteTo(this string str, TextWriter writer)
{
writer.Write(str);
}
}
}

namespace Test {
// 拡張メソッドを使用するコード
using MyExtensions;

class MainClass {
static void Main()
{
"Hello, world!\n".WriteTo(Console.Out);
}
}
}
//ここまで追加
2018/12/02(日) 20:38:47.27ID:dDjMAYXn0
>>688
これでいけたわ
ありがとー
2018/12/03(月) 08:03:54.48ID:nU598JM90
C版移行するしかないのか…
693名無しさん＠お腹いっぱい。
垢版 |
2018/12/03(月) 14:00:34.87ID:MyobQRau0
コピペする箇所が２つ増えるだけやぞ
それも数行、さっさと移行しよう
fiddlerのバージョン上げる作業の方がめんどいくらい
2018/12/03(月) 18:56:21.04ID:nU598JM90
駄目だった
俺もこれ

> もC#版入れたけど，何度も302で飛ばされた挙句dat落ちになるね
2018/12/03(月) 19:53:27.41ID:JE4SPOS60
>>694
自分の環境向けに直し忘れてるんじゃないかな？例えばこれ
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換 5ch対応の板一覧を使っていれば多分不要
//oSession.url = oSession.url.replace(@".2ch\.(net)",".5ch.$1");
2018/12/04(火) 02:01:03.44ID:NXgo4Qol0
ありがとー！完全復活
2018/12/04(火) 02:12:54.42ID:NXgo4Qol0
完全復活と思ったのに
上手くログを取得できない時があってresult 416が出てた＞＜
2018/12/04(火) 19:44:37.52ID:FmODKUp20
今までviewでjscript版使ってたんだが差分取得がずっと上手くいってなかった
今回のトラブルをきっかけにC#版に乗り換えたらその不具合も消えたんだけど何が良くなかったんだろう
2018/12/04(火) 19:49:08.01ID:K2dt7nJC0
>>695
うん、それだった
あrがとう

無事移行完了
2018/12/05(水) 01:30:44.94ID:81UWrxs60
したらばとここでいけるようになったわ
大感謝
2018/12/05(水) 03:12:46.43ID:r1/fanwE0
>>689
GJ
ありがとう
2018/12/05(水) 08:01:26.08ID:TSGmzx9X0
なんか途中で間違って編集してバグったからcsファイル削除して
一からやり直したら上手く導入できたわ

C#最高！
2018/12/11(火) 21:06:58.10ID:MCMac4yo0
これならもう外に食べに行くよなｗｗｗ
704名無しさん＠お腹いっぱい。
垢版 |
2018/12/19(水) 15:34:35.48ID:9ea3BA3x0
jane xeno + fiddler + htmltodat(C#)
使ってるんだけど、302出まくって
まともにスレ表示されないぞ

xenoで動いてる奴いる？
2018/12/19(水) 18:34:28.26ID:xg3xH1cN0
>>704
> jane xeno + fiddler + htmltodat(C#)
全く同じだけど
問題無く動いてるよ
706704
垢版 |
2018/12/19(水) 22:16:21.87ID:xWFYCjbo0
>>705
うちは、
JaneXeno 170110

Fiddler
v5.0.20181.13826 for .NET 4.6.1
Built: 2018年3月12日

で説明通りに書き換えたのですが、302エラー連発です。
XenoのバージョンとFiddlerのバージョン教えてください。
出来れば、CustomRules.csうｐお願いします。
2018/12/19(水) 22:44:18.73ID:SCATIQC10
>>706
わからんけど可能性が高いのは>>695
2018/12/20(木) 11:31:07.98ID:xf1Cix9u0
>>706
JaneXeno 170110

v5.0.20182.28034 for .NET 4.6.1
Built: 2018年6月27日

https://dotup.org/uploda/dotup.org1722456.zip.html
709名無しさん＠お腹いっぱい。
垢版 |
2018/12/22(土) 01:10:07.44ID:E8qwdjKT0
>>707
いや、違うっぽい

>>708
ありがとう
やっぱ、それと全く同じだわ
それでも302で見れません

Fiddlerが最新じゃないからかな
まあ、後でFiddler更新してみます
710名無しさん＠お腹いっぱい。
垢版 |
2018/12/26(水) 03:35:14.59ID:xGyAmQWs0
どっかのアホのLinux使いのせいで本体更新とC#移行を余儀なくされたわ
余計なこと言いやがってアホが！
2018/12/26(水) 10:59:40.11ID:zqNscRs10
>>710
何それ？
2018/12/26(水) 12:15:50.15ID:ghxTVbD00
これまでのJSを修正して使っても問題ないけどな
C#版は抽出生成を行なうように変更したようだからネイティブアプリ版での様々なサイト用を移植しやすくなったんじゃないか？
713名無しさん＠お腹いっぱい。
垢版 |
2019/01/20(日) 04:53:57.82ID:RQHBcaet0
fiddlerがここ最近毎日一回、起動時に更新チェックするようになってしまった
うっとうしいので再インスコしたが直ってなさそう
設定が見つからなかったんだけど対処法ありますか？
2019/01/20(日) 21:38:12.87ID:8rSE+7W30
http://toki.5ch.net/test/read.cgi/utu/1235037797/
http://toro.5ch.net/test/read.cgi/utu/1303907977/
http://toro.5ch.net/test/read.cgi/utu/1360587077/
http://peace.5ch.net/test/read.cgi/utu/1392139978/
http://peace.5ch.net/test/read.cgi/utu/1428006895/
http://echo.5ch.net/test/read.cgi/utu/1449288300/

上のスレdat変換してくれないんだけど理由わかるかな
htmlでは表示出来てるんだけど
2019/01/20(日) 23:59:12.25ID:nrooYOYq0
>>713
Optionsの一番最初に「Notify me for update on startup」てまんまの項目あるけど
以前「設定しても効いてない」って報告あったな
起動オプションで何とかなると思う このスレを「更新チェック」で検索
2019/01/21(月) 00:24:56.60ID:ZifT5Xvr0
>>714
それは専ブラ側の問題かも
XenoとかのJane系だと、その板があった昔の鯖（tokiとかtoroとか）ではなく
現在の鯖（mevius）を見に行って「そんなスレないです」て返されることがある
Xenoの場合だと、正しい対処法は知らないけど経験的には
該当板のスレをすべて閉じてから専ブラを再起動すれば元の鯖のURLで
アクセスできるようになると思う
2019/01/22(火) 21:48:00.17ID:llLlZhBP0
>>716
ありがとう
どうにも上手くいかなかったのでhtmltodat使って原始的にdat保存してみたよ
こっちも便利だね助かる
2019/01/27(日) 13:44:02.01ID:hcVWVo620
>>715
情報ありがとう
何日か検証したが自分の環境では/noversioncheckは無意味だったが
/quietをつけたら更新チェックされなくなった
2019/06/22(土) 04:37:51.48ID:wkixON2R0
アップデートしろしろ言うの止められないもんかな
毎度邪魔で仕方ない
2019/06/22(土) 05:05:51.78ID:5bTL1A7R0
>>719
ver5.0.20182.28034を使ってるけど起動オプション｢/noversioncheck /quiet｣で俺は問題ないな
2019/06/22(土) 06:14:30.51ID:wkixON2R0
>>720
ありがとうできたわ
スレ内でも過去に話題になってたんだな
ちゃんと検索すべきだったすまぬ

しかしquietオプションは存在消えるから驚くな
あれ、ショートカットダブルクリックしてるのに全然起動しないと数分悩んだ（´・ω・｀）
2019/08/25(日) 12:50:01.95ID:EybA2k1D0
実況系のスレを開くとHTTP/1.1 410 Gone
と表示されて開けないんだが俺だけかな
2019/08/25(日) 21:23:15.84ID:4v6AUzhk0
問題無し
724722
垢版 |
2019/08/25(日) 21:59:05.94ID:EybA2k1D0
正確に言うと実況headlineとなんJヘッドラインとなんでも実況Jが開けない
スレ一覧は更新できる
実況headlineとなんJヘッドラインはHTTP/1.1302 Found
なんでも実況JがHTTP/1.1 410 Goneとエラーを吐く症状です
2019/08/25(日) 22:47:12.53ID:4v6AUzhk0
今確認したら駄目でした
2019/08/26(月) 02:45:21.08ID:qp6oI6UA0
なんかそこらへんの板だけ末尾に「/」が入ってないとエラー吐くみたいね
応急処置だけど「oSession.url = v.g(1) + "/test/read.cgi/" + v.g(2) + "/" + v.g(3)」の後に「 + "/"」を追加して
リクエスト用のURL末尾に「/」が付加されるようにすればとりあえず読みこめる
2019/08/27(火) 20:51:21.92ID:UtNNsypc0
>>726
ありがとうございました
超助かります
2019/08/28(水) 02:19:08.66ID:RYRF8aHF0
>>726
thx
410でスレ開けないってそういうわけだったのか
2019/08/30(金) 04:35:56.62ID:tFyXWvvo0
>>726
助かった
2019/10/11(金) 14:17:15.30ID:IJCfKIsX0
代々木
731名無しさん＠お腹いっぱい。
垢版 |
2020/01/11(土) 00:22:33.18ID:YhWngSrM0
egg.5ch.net
が410出るようになったな
2020/01/11(土) 02:52:23.57ID:ib5OUOnA0
見れねーと思ってここ来たらここも見れなくて草
どうも一般的なブラウザ以外のUAだと410になるみたい
とりあえず「読み込み時のUAを変更したい場合は以下を変更」の下のoSession.oRequest["User-Agent"]......の前のコメントアウトを外す(//を消す)と読み込める
2020/01/11(土) 05:10:56.81ID:A3Og3wZR0
>>732
さんきゅうー
俺も困ってて今ここ来た
2020/01/11(土) 05:57:42.99ID:YhWngSrM0
>>732
ありがとう
2020/01/11(土) 13:36:19.59ID:xinjUW4E0
>>732
ありがとう！
2020/01/12(日) 09:39:23.21ID:5oozHf+r0
うちはコメントアウトを外してもダメだったけどそのコメントアウトを外した状態のまま
FiddlerのUAをDefaultからChromeにしたらいけた
2020/01/12(日) 20:14:13.50ID:Q6sgaU7s0
>>732
サンキュー！
読めるようになったわ
2020/01/26(日) 09:15:42.73ID:tg2bBfvZ0
Xenoでは過去ログを取得できるものの、Styleではできない場合、どんな原因が考えられるでしょうか
両方共に Proxyを使用する 127.0.0.1 8888の設定はしています
Styleの方は、Fiddler側のログがHots:Tunnel to URL:鯖名.5ch.net:443 Body:0になっています
2020/01/26(日) 15:44:51.84ID:wYkVD5fF0
API対応版のJaneStyleじゃ、Fiddlerはスルーするだけで無駄。
浪人買ってJaneStyleに設定すれば過去ログも読めるようになるよ。
2020/01/26(日) 17:53:34.72ID:f2YUQnfb0
なるほど、色々と無知だったようです
ご教示ありがとうございました
741名無しさん＠お腹いっぱい。
垢版 |
2020/02/07(金) 20:35:36.25ID:9KPxsRDJ0
ribbon.toが見事にに死んどるな
2020/03/22(日) 01:02:46.40ID:JX4+ihAY0
imgタグのURLパラメータを全て削除したいんだけど
customルールにどう書けばいいですか？
2020/05/02(土) 21:30:50.29ID:llLs1KVn0
昨日からbeにも浪人にもログインできん
IEからならログインできるけど
2020/05/02(土) 21:39:05.57ID:0mBqvCNm0
2chnetのボード取得できなくしたみたいな
5chに直したら治ったけど
2020/05/09(土) 08:49:49.87ID:pn+8EEXB0
ニュース速報+板などで過去ログのHTMLが公開されていない（「Gone.」とのみ表示される）ようで
これとか他のプロクシとかで過去ログを取得できなくなってる
スマホ用のitestなら見れる
2020/05/12(火) 15:35:04.77ID:oNekQfOu0
https://forest.watch.impress.co.jp/docs/news/1251760.html
https://www.telerik.com/fiddler-everywhere
クロスプラットフォーム版がリリースされたな
従来版は今後クラシックと呼ばれ引き続き利用かつ併用できるというが
2020/05/19(火) 13:25:30.84ID:81ZgqDRb0
>>745だけどIPがブロックされていただけだったようでネット再接続してIP変えたら直った
2020/06/08(月) 20:04:43.15ID:+4EDnjSV0
ここは動きすらないな…
749名無しさん＠お腹いっぱい。
垢版 |
2020/06/08(月) 20:13:11.94ID:+hMneYmQ0
301で弾かれる
2020/06/08(月) 20:40:50.12ID:okx+IVy90
スレ一覧取得読み込み書き込みをhttpsで処理するってことかな
2020/06/08(月) 20:45:57.10ID:+4EDnjSV0
多分
2020/06/09(火) 01:01:15.21ID:5296BXvH0
何もしてないのに直ったようだ
2020/06/09(火) 01:05:16.20ID:avYvycxb0
ねらーにhttpsは早かったようだ
2020/06/09(火) 06:08:07.64ID:VtnuikZY0
5ch運営には、だろ…
2020/06/09(火) 06:55:16.04ID:VtnuikZY0
読んでると一旦戻しただけでまた修正する気みたいだな…
場合によってはfiddler捨てることになるのか
2020/06/09(火) 07:10:22.35ID:vlk+ShRS0
htmltodatByFiddlerの方は昨日更新してくれてるけど
2020/06/09(火) 07:14:49.41ID:VtnuikZY0
昨夜寝る前はなかったから言われなきゃ気づかないままだったかもしれない
奥ゆかしすぎる
2020/06/09(火) 09:00:57.72ID:5296BXvH0
ありがとー
修正完了！
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況