ニコニコ動画関連ツール総合スレ part14

ニコ動の仕様変更なら9/09以降配信のアニメ全部に
悪影響あると思うんだが多分そうじゃないよね？

報告しようかと思ったら直ってるな
ここ見てないと思うけど乙です

まだ改修中ですが、以下ドミノ倒しが発生した結果、意図しないコメント取りこぼしが発生してたみたいです。お騒がせしました…（疲弊）
調査は Astra に全部丸投げしましたが、人力で調査してたら発狂どころじゃ済まなかったと思う…

1. 7月中旬あたり？からニコニコのログイン API が完全廃止され、Cloudflare Turnstile (いわゆる「私はロボットではありません」）の認証が必須となり、メアドとパスワードを指定して機械的に Cookie を得ることができなくなった（不正アクセス対策と思われるのでやむを得ない部分はある）
2. JKCommentCrawler は一度収集した Cookie を期限が切れるまで保持する設計だが、とはいえ不意に Cookie が切れた時に静かに収集が止まってると怖いので、09/08 あたりから OAuth 認証でのコメント収集に対応させようと作業中だった
3. 同時に依存ライブラリを更新したところ、HTTP 通信ライブラリの curl-cffi が 0.16.x に更新された
4. curl-cffi は TLS 通信をブラウザに偽装するために curl に特殊なパッチを当てたものの Python バインディングだが、0.16.x への更新時に恐らく意図せず「HTTP/2 ハンドシェイク時のウインドウサイズの設定コマンドを2回送る」ように変わってしまった
5. 少なくとも2019年以降、Golang の HTTP/2 サーバライブラリには当該コマンドが2回送られた際の処理が適切に実装されていないバグがあり（そういう挙動をするクライアント自体がほぼないため放置されてきたっぽい）、NX-Jikkyo のロードバランサとして内部で使っている Caddy もその影響を受ける
6. これらの条件が積み重なった結果、curl-cffi 0.16.x + NX-Jikkyo へのリクエスト + HTTP/2 有効時のみ、1MiB を超える過去ログレスポンスが完了せず、レスポンス取得が場合によってはタイムアウトするようになった
7. さらにその結果「ニコ生側のコメントは正常取得できていたが、HTTP タイムアウトにより NX-Jikkyo 側のコメント取得が失敗した場合」に、ニコ生側のコメントは取得できていても保存処理がスキップされてしまう潜在的なバグが顕在化した
8. これらの組み合わせにより、正常に当該チャンネルのコメントを取得できた時刻以降を収集し切れないまま翌日0時を迎え、その後の1日分の再収集処理も失敗してフェイルセーフが機能していなかった

ネトフリやHuluに買われたアニメって他所の配信停止されたりするからウザい

ログ探してくるまではこれが最強だな。
自動CMスキップはあんまり使えないけど。

https://i.imgur.com/tZowmWK.png
https://i.imgur.com/OcDlabq.png

キュア🤓おぢぃぃぃ！！！😥
一応わいがやってる方法としてはAbemaの配信コメントをニコ動形式に変換して流すのもいいよ
youtubeのコメントと違いAbemaのコメントは基本的にvposが付いてたりするから
時系列順でコメントが既に整理されてる(´・ω・｀)

ここの住人はニコ動のコメントなどをローカルに保存した後はどういう保管してる？？
・assにする
・類似動画のコメントを結合 ※一部動画はURLだけ違うが同作品
・動画と結合させる

>>970
2番目が何言ってるかわからんけど
1と3はありえない
コメオンがあるからxmlに変換してそれで再生してる

っ 見たら消す

>類似動画のコメントを結合
に関しては例として遊戯王第1話のdアニメストアのコメントと
ニコ動が配信してた第1話のコメントの結合みたいな感じでしょ
後はAbemaやYoutubeのコメントもあるから実際にあるデータで考えれば結合元の数は膨大だよ😥

>>972
これは記憶(脳)には残るけど後から思い出として振り返りたい場合に欠陥が残る(´・ω・｀)
やはり大半の人はxmlなりJsonで保管して対応再生ソフト(Commeonなど)で再生がきほんなのかな？

1と3はありえないと書いてる人は多いけど普通にそういう機能があるソフトもあるな
.ass系への変換についてはGithubとかにある中国のエンジニアとかがかなり実践的なツールだしてる😥
動画結合に関しては日本人エンジニアで凄い人もいる(´・ω・｀)
ま～ただどちらも一々変換しないといけないし3に関しては時間がかかりすぎるから面倒くさいといえる(´・ω・｀)

氷菓をコメント付きで見たいな～とおもって探してみたらコメント無くなってるのな…あのシステム障害のせいか

>>976
abemaの見逃し配信とかのデータをJKとかで取ればそれっぽくできるよ～
コメントで困るアニメ系は第1期の鬼太郎とか1980年や90年代以前のアニメとかやな～
そこら辺はほぼどのプラットフォームにコメントないのもある

ただ2000年以降のアニメでも配信元のせいかほぼコメントがないアニメもあるんだよね～
こういうのは変数が多くてなぁぜ？なぁぜ？になるｗｗ

commeonは前方一致でひっかかるコメントファイルを全部流してくれるから
動画とコメント、もコメント同士、も何も結合せずバラバラのままだな

遊戯王を例にするなら
yugioh001.mp4を再生すると↓の４つのコメントが全部流れる

yugioh001danime.xml
yugioh001niconico.xml
yugioh001youtube.xml
yugioh001abema.xml

>>979
だから>>970が言いたいのはそれら複数あるファイルを統合するなり再構成するなりしないのか？という論点でしょ
ま～再構成はマクロとか組んでいないと面倒だからやらない人間がほとんどかな？？？😥

テレビ朝日とBS朝日って大抵CMの長さが違うんだよなー。
むしろ関係ない系列同士のほうが揃ってたりする。

そこら辺はなぁぜ？なぁぜ？かな
とりまCMの挿入部分問題は別にしろアニメの放送時間でみれば
地上波や深夜放送でも1回30分なのが基本やな
動画サイトの放送形式は1回約23～24分なのが基本だたりするーね

BS朝日は
山田様・通販・韓流番宣のコンボがなー

>>970
https://i.imgur.com/T1TyPlC.png
いつからかjsonになったから、全部sqliteに突っ込んでる。
でも単一のsqliteは怖いから、 1790xxxxxx みたいにthreadKeyごとに分けてる。
結局これが一番安心だよもう

>>984
こうやってプライバシーが漏れるんすよねw

氷菓のコメントが昔にさきゅばすで保存してたのが残ってたワ～1話あたり1000コメも無いが
ニコニコなんてコメントありきで観るんだからコメントが無いと今更、誰も観に来ないよな古いアニメは…
氷菓が古いアニメに入るのが悲しい～

一挙配信の時のコメントならある

5年以内でも古い認定されるんだから10年以上前はもうロートルですよ😇
インターネットが出てから情報の体感速度の加速化が進んだと思うから
平成アニメなんて古すぎると感じる人間が多いんだろうなと(´・ω・｀)

平成アニメ懐かしくて好き
そろそろ次スレか？？