探検


Fiddler 2chプロクシ専用 Part1 [転載禁止]©2ch.net

■ このスレッドは過去ログ倉庫に格納されています
2015/03/26(木) 23:24:16.96ID:YucLrJ+j0
htmltodatByFiddler
 要.NET Framework (webスクレイピング)
 ttp://mukiyu.g.ribbon.to/ 【v1.05   v2.02 (v2系は差分取得対応)】
 ttp://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
(要参照 ttp://anago.2ch.net/test/read.cgi/software/1426589898/763
 ttp://www.telerik.com/download/fiddler
2017/10/02(月) 17:08:53.21ID:Wg+WTTnE0
読めるようにったけど書き込めねえ
2017/10/02(月) 17:59:44.71ID:sVbQJVVE0
これだけ大きな変更でも何も気づかず会話している他の掲示板/スレッドの住人の危機感のなさに怖さを感じるな…
2017/10/02(月) 18:16:00.22ID:R+/+rqgw0
>>441-442
ありがdd
2017/10/02(月) 18:40:43.66ID:4mXlV+qu0
>>441-442 thx
Viewだと書き込めるかなあ
2017/10/02(月) 20:49:38.90ID:7U9Dr8YT0
確かに読めるけど書き込めんな
2017/10/02(月) 20:50:16.19ID:A/wZwohm0
5chに書き換えると 読めるようになるけど書き込めない
2chのままだと読めないけど書き込める

なんだよこれ・・・
2017/10/02(月) 20:53:33.45ID:A/wZwohm0
oh・・・
ReplaceStr.txtのせいで更に訳わからんことにw

5ちゃんねるに書き換えると 読めるようになるけど書き込めない
2ちゃんねるのままだと読めないけど書き込める
2017/10/02(月) 20:54:47.78ID:AQ/UQeDr0
jane style だけど読み書き問題ないが
過去ログみれない
更新待つしかないのかな
5chに手打ちで直しても取得失敗する
457名無しさん@お腹いっぱい。
垢版 |
2017/10/02(月) 21:01:07.10ID:qgMCqJqe0
>>455
すまんね
ReplaceStr.txtは
2ch.net【TAB】5ch.net
のほうがましかもしれない
2017/10/02(月) 22:12:32.42ID:99kje5rc0
Chaika+FoxAge2ch+Feddler(2ch -> 5ch書き換え)+htmltodatByFiddlerでとりあえず使えている。
あとは旧URL開くときに手動で2chを5chに直したりhttpsのs抜いてから登録しなおす手間があるくらい。
読み込みも書き込みもできてる。
2017/10/02(月) 22:28:03.67ID:3+CdFTlE0
>>458
置換マネージャーかグリモンスクリプトで
グリモンならマウスオーバーで置換するように組むのがお勧め
2017/10/02(月) 22:30:43.50ID:jUOA4Yt80
Jane Styleで読み書きできている人もいるんですね。。。うちのはダメぽ(´;ω;`)
2017/10/02(月) 22:31:56.84ID:99kje5rc0
>>459
グリモン使ってるからやってみるわ。サンキュ。
2017/10/02(月) 23:17:12.45ID:qgMCqJqe0
5ch対応暫定版きたね
いつも迅速な対応ありがとうございます
ただ残念ながら、これで書き込みはできなかったけど

htmltodatByFiddler 2.24(8k byte)

[更新履歴]
2.24 (2017/10/02)
 ・5ch.net への暫定対応
2017/10/03(火) 00:01:20.75ID:b05WAaz90
htmltodatByFiddlerは読み込みだけで書き込みはタッチしてなかったんじゃなかったっけな
pinkには書けるんだけどなあXenoでも
2017/10/03(火) 00:08:45.32ID:dFThEh8T0
>>463
ソース見ればコメントアウトしてあるのがわかるかと
期待しすぎは駄目だけど
2017/10/03(火) 00:16:54.65ID:lCe2gZ1n0
ひゃほおおおJane Styleでも読み書きできるようになりましたー
//2chへの読み込みリクエストを5chへの読み込みリクエストに変換
ここのコメントを解除したらいけました
ありがとうございました
466名無しさん@お腹いっぱい。
垢版 |
2017/10/03(火) 01:36:35.14ID:Zy1SxpYB0
XenoでhtmltodatByFiddler v2.24試したが読み込みは可能だけど書き込みはできなかった。
Xeno folderのcookie.txtを削除してみても変わらず。
Xeno+htmltodatByFiddler2.24で書き込みもできている人いる?
下のエラーメッセージがでるだけ。

現在、荒らし対策でクッキーを設定していないと書きこみできないようにしています。
(cookieを設定するとこの画面はでなくなります。)
この画面が繰り返し出る場合はcookieを削除してみてください。
2017/10/03(火) 02:48:31.75ID:X7tja8IB0
>>465
いやぁ1時間更新に格闘してたわ
ホントにdクス
468名無しさん@お腹いっぱい。
垢版 |
2017/10/03(火) 05:13:13.59ID:N6gpdMZ20
>>462で読み込めるようになったけど、Xenoだと書き込めないぞ
あと、お気に入りに入れたリンクが全部機能しなくなってるな
URL変わったからだろうけど
2017/10/03(火) 06:29:56.45ID:NhiNmaB30
過去ログ開こうとするとブラウザに飛ばされる
2017/10/03(火) 07:19:35.02ID:ZTE9MGCX0
問題でてきてたのか
スマホアプリ板なら読み書き込みできてたから気づいてなかった
2017/10/03(火) 07:51:55.51ID:ig9wO/zg0
Viewだけど、>>442>>462>>465に加えてJane2ch.iniに下のを追記したら過去ログも開けた

[BBSMENU]
2chServers=.2ch.net,.5ch.net,.bbspink.com

参考 http://egg.5ch.net/test/read.cgi/software/1411872743/613
2017/10/03(火) 08:37:03.39ID:YDKuDk4S0
お気に入りはデータ開いてURL変換しても開かないな
全部張り直しか…
2017/10/03(火) 09:11:15.09ID:CHtiya9K0
Xeno+htmltodatByFiddler v2.24
ボード一覧を2ch.netに戻したら読み書きOKになった
dat落ちしたスレの過去ログも取得出来た
2017/10/03(火) 09:23:00.16ID:kuAxdq8f0
なんですと?
2017/10/03(火) 09:25:36.33ID:YDKuDk4S0
ほんとだ書けた
けど過去ログ行きになってしまった…はて
2017/10/03(火) 10:06:00.96ID:27V6NpDn0
>>466 だけど>>473と同様にボード一覧取得URLを
http://menu.2ch.net/bbsmenu.html
に戻したら書き込みもできるようになった。
Xenoならボード一覧取得URLはいじらないほうがいいってことだな

http://menu.5ch.net/bbsmenu.html
だとJane Xenoでは書き込みはできなくなる。cookieのエラーが出る

Xeno150312 + htmltodatByFiddler v2.24
2017/10/03(火) 10:24:49.77ID:YDKuDk4S0
駄目だ
ボード2chに戻すと302になってしまう
他の変更点が引っかかってんだろうけどもうどこ直したかごちゃごちゃ弄りすぎた
2017/10/03(火) 10:28:34.88ID:a7dErmv50
ボードそのまま
htmltodat更新
>>465やる

これで読み書き完璧っぽい感じか
2017/10/03(火) 10:38:58.60ID:kuAxdq8f0
>>478
そっちか…読み込み問題ないからそこは弄ってなかったわ
ついでに5chに変換したfavorite.datも2chに戻して、やっと読み書きお気に入りリンク全部落ち着いて以前の状況に戻った
480名無しさん@お腹いっぱい。
垢版 |
2017/10/03(火) 13:25:03.28ID:4EAlXvWl0
>>478
すげえ、ほんとだ
出来たわ、thx
2017/10/03(火) 14:16:26.86ID:NhiNmaB30
test
2017/10/03(火) 14:26:39.24ID:27V6NpDn0
>>465
ここのコメントアウトは解除必須だし初めから解除したほうがいいよね
なんでコメントアウトしてあるんだろ
2017/10/03(火) 16:00:01.90ID:ixUoZ1HI0
Fiddler2chExtensionとJaneStyle旧Ver の組み合わせだけど
暫定更新の2.24だと機能しないので、2.23のファイル内の2chを5chに置換
過去ログ用のurl置換のために、Replacestr.txt で .2ch【TAB】.5ch で書き込み過去ログ両立できるようになった。
置換する際に、2ch.net や 2ch だと、書き込み時にクッキー削除の警告が出てしまい無理だった。
ボード一覧取得はhttp://menu.5ch.net/bbsmenu.html
2017/10/03(火) 18:15:38.00ID:ZTE9MGCX0
何も変えてないけど自分がみる板は読み書きできるわ・・・
2017/10/03(火) 21:19:21.88ID:NBoX/r460
コメントアウトしてるのは書き込みをFiddlerで偽装するかか
読み込みをFiddlerで偽装するか選べるようになってるからかなぁ

何にしても素早い更新ありがとうございます
2017/10/04(水) 08:33:09.15ID:AC4qYCoX0
>>482
大人の事情、自己責任ってとこじゃねえかな
2017/10/04(水) 22:44:19.48ID:8wPBlUdk0
>>471+ReplaceStr.txtに下のを追加で取得済みログのポップアップ

<rx2>h?t?tps://([-a-zA-Z0-9]++\.)([25]ch\.net|bbspink\.com)/【TAB】<font color=gray>[S] </font>http://$1$2/【TAB】msg

参考
http://jane2ch.net/test/read.cgi/community/1491802479/863,865,867,873
2017/10/05(木) 02:05:23.60ID:I3RxYMo30
>>478やった後に過去ログ読みたいなら追加でjane2ch.iniにこれ追加が一番手軽な気がするわ

[BBSMENU]
2chServers=.2ch.net,.5ch.net,.bbspink.com
2017/10/08(日) 21:09:34.51ID:4Lvr27a40
できた
2017/10/09(月) 00:09:00.38ID:xcZhWsYA0
最新版fiddlerにしたらスタート時に毎回50.56.19.116へつなぎに行くんだけど止める方法ないかな?
2017/10/09(月) 01:20:19.74ID:W1IKiMnQ0
>>490
Options=>Connection tab
"Act as sytem proxy on startup" はdisableになってる?
Fiddler listens on port: は指定されてる?

これらの指定しておけば指定ポート以外、つまり専用ブラウザ以外の通信は
スルーしてくれると思ったけどな
動作も早くなる
2017/10/09(月) 02:55:01.79ID:xcZhWsYA0
>>491 ありがとう。でもそうじゃなくて、
起動時にfiddler自身が”50.56.19.116”へ通信してるんですよ
50.56.19.116はfiddlerのサーバーなんですがなんか気持ち悪くて
今使ってる古い4.17.2017は通信なんてしないんですがね
2017/10/09(月) 03:18:53.17ID:YQj/fig20
ボード一覧を5ch対応にしても書き込める方法らしい
http://jane2ch.net/test/read.cgi/community/1507355514/52
2017/10/09(月) 03:31:12.16ID:W1IKiMnQ0
>>492
Fiddlerのserverとわかってるなら気持ち悪くないだろうし
ただupdate checkしてるだけじゃないの?

Options => General tabの
Notify me for updates on startup
あたり変えたら変わらない?
2017/10/09(月) 05:21:16.83ID:m+BW/vwZ0
>>493
お、まじか
2017/10/09(月) 08:39:27.28ID:0l3xVUQG0
>>490
ver4.6.20171.9220だけど更新チェックだよ、起動時のログに書いてあると思う
そのログをマウスオーバーでツールチップにコマンドが記述されてる(スペル間違ってるけど)
ショートカットに/noversioncheckを追記すればいい
2017/10/09(月) 13:55:06.21ID:xcZhWsYA0
ver4.6.20173.38786最新版です
-noversioncheckはwww.fiddler2.com/UpdateCheck.aspxへの接続ですよね
それとは別に50.56.19.116、52.216.225.152へ繋ぎにいってますね
2017/10/09(月) 19:20:39.86ID:xcZhWsYA0
52.216.225.152もtelerik.comぽいので安全そうですが
結局止め方がわからなかったので
ver4.6.20171.26113をアーカイブで取ってきて使うことにしました
2017/10/10(火) 17:32:45.80ID:cGjTSOVZ0
恐ろしいくらい今更だが

>>448
>あとXenoのReplaceStr.txtの最後の行に
>2ch【TAB】5ch
>を入れておけば前スレとかのリンクがそのまま使えるようになるね

を行ったままの人、スレの文章の“2ch”が全部“5ch”になっているから気を付けてくれorz

ID:qgMCqJqe0氏が>>457で変えた方が良いと書き込んだのを無視してそのままにしたせいで大変な目にあった。
自業自得だな(苦笑)

ReplaceStr.txtの働きを十分理解してなかった自分への戒めついでに恥さらししておく(笑)
2017/10/10(火) 18:01:21.28ID:Fkp0cDvP0
Xenoで5ch.netのcookieを許可する方法

設定ファイルSimpleCookiePermission.txtをJane2ch.exeと同じフォルダに作成し、
クッキーを許可したいドメイン名を一行ごとに書く。外部板についても同様。
ドメイン名は後方一致。

例)5chと外部板のcookieを許可
-----------------
5ch.net
blogban.net
jbbs.livedoor.jp
-----------------

いずれ2ch.netへの書き込みが出来なくなった時用メモ
2017/10/10(火) 18:08:44.73ID:XUe8BGES0
そんな方法でできるのか
覚えておくわ
2017/10/10(火) 19:02:20.61ID:Z6BNeZ7d0
>>499
参考までに今は以下の記述にしてる
これでURLだけに限定できて、変換していることもわかるので

・ReplaceStr.txt
<rx2>http://([-a-zA-Z0-9]++).2ch.net/【TAB】<font color=gray>[S] </font>http://$1.5ch.net/【TAB】msg


>>500
この設定をしておくと、最新のhtmltodatByFiddlerをそのまま適用すればよくなる
(コメントアウトを外す必要がなくなる)
完全に5chに移行した場合、このコメントアウトを外したことが原因で書き込みできなくなるかもしれないので注意(?)
2017/10/12(木) 21:37:51.70ID:OHXIEllv0
JaneXeno150312 + Fiddler + htmltodatByFiddler 2.24
今日あたりから新着チェックをするとログが取れずに
ログ破損の赤いマークがよくでるようになった。

「全タブの新着チェック」やるとすぐにログ破損になる。
5chの仕様変更で差分でログとれなくなったのかなぁ

>>502
htmltodatByFiddler 2.24の
コメントアウト解除は5ch.netからの読み込みのために必ず必要だったよ

>>500は書き込みに関連したワザ。やっておくと2ch.netの
ドメインがなくなっても書き込みができる。
2017/10/13(金) 00:14:00.42ID:kyW0o5pW0
>>503
当面これでしのげるということらしい

//スレのタイトルを取得

このコメントを検索
その下の一行を

var title = oBody.match(/<title.*?>(.*?)\n?<\/title>/mi);

var title = oBody.match(/<title.*?>(.*?)\s*?<\/title>/mi);

に書き換える。
2017/10/14(土) 01:20:20.74ID:9SbdkwM70
>>504
ありがとう、ログ破損めったに出なくなった。

また仕様変更あるたびにログの読み込み直ししないと
いけないと思うとめんどうだな
みんなはやくopen2chとかに移住して欲しいわ
506名無しさん@お腹いっぱい。
垢版 |
2017/10/14(土) 08:10:11.51ID:3d31OduK0
自分もログ取れなくなった
view+fiddleの方はどんな設定でやってる?
あらためて確認したいので頼みます
507名無しさん@お腹いっぱい。
垢版 |
2017/10/14(土) 20:55:14.15ID:XrmR8h3D0
http://leia.2ch.net/poverty/

が読み込めなくなったぞ
最新版htmltodat入れてる
508名無しさん@お腹いっぱい。
垢版 |
2017/10/14(土) 21:01:54.55ID:62wz+k370
それがどうしたの?
509507
垢版 |
2017/10/16(月) 19:30:15.86ID:uW64Z/gn0
直ったわ
IP関係かな?
2017/10/22(日) 09:31:48.65ID:wgFzIjKW0
test
2017/10/22(日) 09:33:15.47ID:wgFzIjKW0
>>500をやったら書き込めるようになった
ありがとう
>>502も適用した
2017/10/25(水) 01:05:50.37ID:MC2BT0MD0
test
2017/10/26(木) 15:18:13.33ID:7coFWYi30
test
2017/11/02(木) 16:36:59.35ID:0M+1JuQR0
>>500
>>502

遅レスだが感謝
2018/02/08(木) 09:09:23.93ID:H4hdiSb10
てs
2018/02/13(火) 19:10:03.07ID:04TfZh460
☆ 私たち日本人の、日本国憲法を改正しましょう。現在、
衆議員と参議院の両院で、改憲議員が3分の2を超えております。
『憲法改正国民投票法』、でググってみてください。国会の発議は
すでに可能です。平和は勝ち取るものです。お願い致します。☆☆
2018/02/16(金) 15:23:37.98ID:+EPw0jun0
何時の間にか v2.26 が出てるな。
2018/02/16(金) 21:03:17.62ID:U+5reKWl0
ほんとだ
他の串スレでpinkのログが壊れるとか言ってたけどそれに対応したものか
2018/02/16(金) 21:35:50.70ID:JJISsCja0
ああ、確かにpink崩れてたな
あんま気にしてなかったけど
2018/02/16(金) 21:50:11.96ID:JJISsCja0
verupしたら301が出るようになった…
2018/02/16(金) 22:55:02.93ID:JJISsCja0
あ、そうかコメントアウト消さないと駄目だった…忘れてるなあ
2018/02/17(土) 17:05:47.24ID:XW5mW+Kk0
新しいの来てたんだ気づかんかった
アリです!
2018/02/18(日) 16:02:28.05ID:0evlf89C0
てst
2018/02/27(火) 11:22:21.08ID:I6eR2siM0
5chの一部板壊れた?更新できなくなったからwebブラウザでスレを開いても
白地の背景に「Gone.」としか表示されない
2018/02/27(火) 19:38:24.59ID:1rE2Nmbs0
なおた
2018/02/27(火) 23:03:37.89ID:cwZMKqiX0
なおたね
2018/02/28(水) 01:16:42.03ID:ftaYSl4l0
goneはどうもこれ一部板を串通して見てるだけでipアクセス禁止にされてるっぽいな
2018/02/28(水) 01:19:56.91ID:3X6hOm7A0
なるほど、牽制をかけてきてるわけか
今後安心できないな
2018/02/28(水) 08:59:35.37ID:KX+vP+Ip0
単にread.cgiのリロード過多で規制かけてるだけだよ
過多と言っても普通に使ってるだけで過多と判断されちゃうわけだけど
別に串だから規制されてるわけじゃない
2018/03/03(土) 19:33:24.24ID:ZVsP13D+0
そろそろAPIに乗り換える時か
>>248ってまだ使える?
2018/03/03(土) 22:58:44.37ID:lOkqT7Mi0
>>530
俺が作ったやつだけど、随分前にDropboxから消したんでスマソ。
もし消していなかったとしても、バグが有ったのとJaneStyleの設定が古いままなので
今じゃ直さないと使えない。
また、他の人よりFiddler用の外部DLLとして提供されているヤツも基本一緒ね。
2018/03/08(木) 16:46:42.50ID:RAqswwcZ0
あれいつのまにか過去ログがとれなくなってる
2018/03/09(金) 12:05:48.54ID:fR1Ds25G0
Gone規制は非公式専用ブラウザの締め出し目的もありそう。

API使わずFiddlerでがんばってきたけどGone多発する仕様に
なったしもう限界だな
10スレッドくらい同時に更新チェックかけただけでもGone規制に入ってしまう
2018/03/09(金) 14:59:02.07ID:9cXSQp2n0
> 10スレッドくらい同時に
こういうことするから規制するんだろ
2018/03/09(金) 15:51:10.66ID:fR1Ds25G0
>>534
専用ブラウザで10スレッドはかなり少ないだろう
実況もオートリロードも使ってない

サーバへの負担減らしたければ
広告なしでもAPI使えるようにすればいいだけの話
2018/03/09(金) 15:55:24.39ID:Zz3LtCQz0
>>533 並列だから怒られるんじゃねぇの?
2018/03/09(金) 16:06:07.94ID:VUM6MueJ0
>>535
>広告なしでもAPI使えるようにすればいいだけの話
何で自分の都合のいい方向で考えちゃうんだよ?
広告見せるためのAPIだし
広告無しにしたら意味ないでしょ運営的には

サーバにはアクセスすりゃ誰だって負荷かけてることになる訳だし
10スレッド同時にリロードすれば1スレッドの場合の10倍負荷がかかるのも事実だけど
こういうのはこれまでも皆普通にやってきたことだし
問題にされるような規模でもない筈

特定のターゲットがいるんじゃね?
アタック仕掛けてくる人とかscとか
538名無しさん@お腹いっぱい。
垢版 |
2018/03/09(金) 17:09:42.78ID:xcPIr/A10
読みもしないスレッドを複数読み込むって馬鹿じゃね?
それとも同時に複数スレッドを読めるとか特異効能者か?

要するに目的があってクローリングしてるんだろ
それを潰しに来てるんだからそりゃもっともな対応だわ
2018/03/09(金) 17:24:40.57ID:Zz3LtCQz0
まぁといっても、このスレは
・広告は悪、ゆえに、広告を消すのは正義
という趣旨のスレだからね

愚行であるのは確かだが、同じ穴の狢である自覚は持たないとね
2018/03/09(金) 17:32:09.51ID:yhLbLalS0
ごねなんて最初の時だけで以後一度も起こってないわ
2018/03/09(金) 17:33:16.80ID:VUM6MueJ0
>>538
>読みもしないスレッドを複数読み込むって馬鹿じゃね?
読むからリロードするんだろ?
リロードして新着の有無確認して読み進めるのは普通の行為だわな
一個一個やってたら手間過ぎる
2018/03/09(金) 19:12:09.87ID:q/iVDhmu0
同時にリクエストが来ても串の方でずらして取得できないの
2018/03/09(金) 20:38:35.90ID:fR1Ds25G0
>>536
同時更新とかいたのはJaneXenoのすべてのタブを更新機能だけど
これじゃなくても同じ板のスレッドを1個ずつすばやく読み込みすると
Goneになるはずだよ
手動ですばやく1個ずつチェックしても規制
2018/03/09(金) 20:47:48.32ID:fR1Ds25G0
>>537
通常のBrowserで使い物にならないほど醜いUIだからこそ
2ch専用ブラウザが使われてきた。
汎用ブラウザでもアプリのようなUIを実現する技術もある。
そういう努力をせずに、専用ブラウザ頼みにしているのが悪い。

例えばログイン制にすればよく見るスレッドの登録、ここまで読んだ機能など
専用ブラウザの基本機能は汎用ブラウザでも実現できる。
いつまでもIP address単位でアクセス管理をする20年以上前の発想から
抜け出せずにいる。
2018/03/09(金) 20:51:22.16ID:fR1Ds25G0
>>537
あと広告なくても掲示板は利益出るよ
掲示板のデータはひろゆき時代から外部の企業に売られてるしさらに
IP addressのように個人を特定しうるまで紐づけられてる可能性高い。

広告なし専用ブラウザでの利用が大半だった時代にも
ひろゆきは億単位の年収得ていたのはそういう仕組み
2018/03/09(金) 20:54:07.47ID:VUM6MueJ0
>>544
主語無いから意味が分からん
>>545
ひろゆきの時代はね
今は違うしそもそもの騒動の理由分かってる?
2018/03/09(金) 20:55:14.80ID:fR1Ds25G0
>>538
読みもしないスレッドを読み込むと解釈するほうがバカ。
定期チェックしてるスレッドは専用ブラウザのタブで残っているしそれの
新着レスを一括でチェックするだけ。
専用ブラウザのごく一般的な使い方だろう
API公開していれさえいれば最小限の負荷で差分だけ送信できる。
2018/03/09(金) 21:15:27.06ID:VUM6MueJ0
>>547
>API公開していれさえいれば最小限の負荷で差分だけ送信できる
それはお前の都合だ
この人思い込みだけで何も知らん人だな
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況