秀丸エディタスレ Part48

こういうのは、いかに正規表現を使わないか
pythonも、極力正規表現を使わずに書けるようにできてる
使わないとどうしようもない局面もあるけど、最後の手段

オッス俺perl

>>586
そういう発想はなかったのでなんだか新鮮、しばりゲームみたい。

Delphiですがなにか？

現在、PC内にある多数のtxtファイルが日本語（Shift-JIS）で保存されています。
これらを、顔文字なども正しく扱えるUnicode（UTF-8）に一括で変換したいと考えていますが、
1つずつファイルを開いて変換するのは現実的ではありません。

秀丸で、複数のtxtファイルをまとめてUTF-8に変換する方法はありますでしょうか？
可能であれば、簡単で安全な方法を教えてください。

秀丸でやらない

秀丸マクロでやろうとするとちょっと面倒だけどrubyを使っていいなら簡単。
rubyをインストールして下のバッチファイルをダブルクリックすればバッチファイル以下のフォルダのテキストファイルをSJISからBOM付きUTF8に変換します。

REM UTF保存bat
REM UTF8で保存する
chcp 65001

ruby -x "%~f0"
pause
exit

#!ruby
#encoding: utf-8
Encoding.default_external = 'UTF-8'

Dir.glob('**/*.txt'){|f| #txtファイルを探す
s=open(f.encode(Encoding::UTF_8)).read
File.write(f+"~",s) #バックアップ
bom="\uFEFF" #BOM付き
File.write(f,bom+s.encode(Encoding::UTF_8,Encoding::SJIS))
}

随分と前にディレクトリ以下一括で文字コード変換してくれるフリーソフトでやった記憶がある。
ソフト名も覚えていないけど、文字コード変換ソフトは何種類もあったから探してみたら？

なんかデジャブって思ったら既に>>453で同じこと書いてた

>>590
秀丸じゃない方法がいいみたいですな～
iconvとかいうCLIのツールで一括処理いけるらしいですｂ

サクラエディタやNotepad++なんかのGUIエディタでも一括はいけるらしいです
とりま秀丸に拘らない方がいいかと

とりまとは

>>590
秀丸公式サイトのマクロライブラリにその手のマクロ登録されてるかもしれないけど、マクロでやりたくないのかな？

>>597
ねぎまは間に葱が挟まってるやつ
つまり、とりまは

面倒だから作らないけど秀丸マクロでもできると思う。
grepでテキストファイルを検索してファイル名取得、/hオプションで非表示で開いてsaveasでutfで保存。

99.9%は成功するんだけど、文字コードそのもののバグみたいなのでどうしても行き詰まる
元のSJISに"～"って書いてあったら何に変換するのが正解? とか

そういうのを細かく決めた個人用スクリプトを作らないと100%にはならない

>>597+599
とりまというのはとりあえずの省略形の単語だと思われる
というか今時は生成AIなどに聞くのもええよ？

>>601
これは本当に601さんが言う通りですね Sjisの場合はUTFにすると文字化けしてくる
文字が出てくる可能性がかなり高いと思いますｂ
なのでバックアップはかなり重要ですな

ちょっとよく分からない。sjisの文字はutf8ですべてカバーしてるのでは？

うちではむしろSJIS回帰している
ファイル名はSJISの方が何かと都合がいい
ファイルの中身は普通にutf8

青空文庫がsjisのテキストファイルで提供されててutfにはあるけどsjisにはない文字は［＃「插」でつくりの縦棒が下に突き抜けている、第4水準2-13-28］とかいう形式で表示される。sjisやめてutfにすれば便利なのにって思うけどutfのテキストをsjisにするのは全く意味が分からない。

なるほど

分かった気がする。ファイル名にutfにはあるけどsjisにない文字を使うとbatファイルが上手く動作しない場合があるってことか。そういう場合はバッチファイルの頭に「chcp 65001」って呪文を唱えておけばたぶん桶。

SJISしか想定してない古いツールはいっぱいある

まあ「ひとりwiki」もeucベースでutfにしかない文字を使おうとすると保存できなかったりするので、そういうものだと思えば理解できました。

epwingがSJISと規定されてるのが痛い
ただでさえ死んでるのに余計に誰も使わない

>>609
また海外勢がガラパとかいってきそうだけどまーしゃーないｗ
ただSJISに依存しすぎるのも問題かもねｂ

>>592
お返事ありがとうございます。
こちら、rubyというプログラミングのソフトをインストールして実行ですね
プログラミングについては全く分からないので私には難しそうです
一応、テキストファイルのバックアップは取っておこうと思うのですが、
こちら、実行した瞬間に、CドライブやDドライブのPC内の全てのtxtファイルが
書き換わるのでしょうか？

>>598
マクロは登録して何回か使ったものはありますが、マクロの内容自体については全く分かりません
開いてないファイルにまで影響を及ぼせるようなマクロってあるんですかね？
https://hide.maruo.co.jp/lib/macro/index.html
こちらググった感じ、それらしいのは見当たりませんでした

>>613
いちおう元のテキストファイルはhoge.txtをhoge.txt~にしてバックアップを取り、hoge.txtをsjisからbom付きutf8に変更するようにしています。動作確認用にフォルダを作って試してから実戦投入してみて下さい。

>>614
>>600のような方法でできないことはないと思うけど他のツールを使ったほうが簡単で動作も早いので、秀丸マクロで作った方はいないと思います。

>>615
二回連続でバッチファイルを実行すると元ファイルは壊れて、utf8のファイルがバックアップになってしまうので気をつけて。

>>617
bom無しのutf8ファイルが欲しいとかバックアップをhoge.bakにしたいとか、ちょっと改造したい場合はchatgptにバッチファイルを全文貼り付けて質問すれば答えてもらえます、多分。

>>614
探して見つけたのが、
秀まるおのホームページ(サイトー企画)－ファイル文字コード変換マクロ version 1.08
https://hide.maruo.co.jp/lib/macro/fcc108.html
とか
秀まるおのホームページ(サイトー企画)－ファイルエンコードバッチ変換
https://hide.maruo.co.jp/lib/macro/encode_change.html
だけど、やりたいのがこういうのじゃないのならあとは分からん

>>619
試してみました。
どちらも基準となるファイルを開いたり入力することで、そこを基準に再帰的にフォルダを探して変換してくれる。
高機能で入力元と出力先のファイル形式をいろいろ指定できる。
utf8に変換したい場合はbom付きが選べないのは残念。
二十年以上前のマクロでいろいろ苦心されてる様子が伺われました。

bomはバイトオーダーを示すために入れるんだけど、
utf8はバイトオーダーの概念が無いので、
そんなものを入れるのが間違い

本来は不要ですがutf8って明示したり文字化けを防ぐために入れておいた方が便利です。インターネットにテキストを置いてそのまま表示させる場合、bom付きでないと化けてしまう。逆にテキスト加工を行う場合などは邪魔になることがあるので除去してやらねばならず、ケースバイケースの使い分けが必要です。

っていうか癌なのはexcelだけで、
それ以外の世界はbom無しutf8で閉じていればいい
excelだけ特別ルール

>>622
なんというか1つの要素の評価の2面性ですなー
外せばまたシステムにエラーが起きるとｗ

>>623
そうなの？エビデンスほしいでしゅｂ

Visual StudioもBOM付きのUTF-8がデフォルトだけど

レアケースを探せば他にもあるだろう
何なら自作すれば言い張れる

でも普通の人でBOM付きがうざいのはexcelだけ

bom「私のために争わないで、もうこれ以上」

>>626
ま～そこは国際規格(ｗ)を推進したい層としてはUTF-8がいいんでしょ
’00年代以前の開発競争でUTF-8に自然淘汰されたのかも？ｼﾗﾝｹﾄﾞ

ちなみに豆知識だけど日本語の文字が多い場合はUTF-16の方が表示効率がいいらしい
英語や昔のASCIIなどがあるとUTF-8の方が効率がいいんだと

101971 1710406475-sjis.dat
132994 1710406475-utf8.dat
148400 1710406475-utf16.dat
このスレのdatデータのサイズ
sjisが正義

データ容量を考えて効率化されたsjisと世界中の文字を扱うなら容量が大きくなっても仕方ないよねって発想から生まれたutfを比較して容量が小さいからsjif勝利ってなにそれ、うける。sjisにない字を探すために連想配列作って取り込むとかいろいろ苦労してんだよ、ボケ、アホ、くたばれsjis。

sjisデータだけどunicodeも書ける♡

＆＃９８２５；
こんな感じになるのでunicode部分だけ7byteかかるけど、
必要な部分だけ使ってsjisで足りる部分はsjisというのも合理的

bomの有無なんてどうでもいい、必要ならつけて必要ないなら除去すればいいだけの話。sjisがutfに勝るなんて思ってるやつは全部敵、こいつらがいるからutf化が進まずに理不尽な苦しみを押し付けられるんだ。くたばれsjis。なんて思ったんだけど>>633はどういう意味？

>>634
ユニコードは諦めて脳内補完ってこと？宮城谷昌光の三国志とかsjis以外は画像データで置き換えられてて読み上げさせるのにどれだけ苦労したと思ってんだ。こんな苦労もsjisが幅を効かせててそれにないなら画像データでいいよねなんて甘やかしてたせい。sjisに対する恨みは深い、くたばれsjis。

過去の資産は変えられないので、いつまで待ってもsjisが消えることはない
これから新規で作るデータはutf8だけど、過去のsjisデータは永久につきまとう

んーそこまでSJISに嫌悪感ないけど現在の国際化(w)の為にはUTF-8(7や16じゃない方)だろうな
UTF-8はWebや開発や色んなローカルアプリなどで使用シーンが多いらしいなー
SJISは国内の一部アプリや書籍なんかだとそうなるのか？

永久につきまとわれるのは仕方ない、でもそんな方々にこそ言いたい、utfにすればいろいろ幸せになれるよって。自国の言語だけじゃなく全国の人と同一文字コードでコミュニケーションがとれるのって素敵じゃない？

☗7六歩 ☖8四歩 ☗6六歩 ☖6二銀

将棋の棋譜で△▲でお茶を濁さずにすむ

1. 7六歩 8四歩 2. 6六歩 6二銀
のように書けば先手と後手の区別不要

いってんななろくほ、はちじゅうよんほ

BOMなしのテキストファイルは、中身をすべて調べないと
Shift-JISとUTF-8の判別ができないという仕様が面倒だとは思う
だからVisual Studioもデフォルトで付けてるんだろうし

全て調べてasciiしか入ってなかった時の判定結果は

Shift-JIS

>>645
秀丸エディタの場合は「エンコード1」の「新規作成やASCIIのとき」で設定するだろ

JavaScriptで対応する()や{}を線引きする機能かプラグインあったら教えてください
強調表示やアウトラインは既に使ってます

//括弧確認.mac
#col[0] =0x6267F5;#col[1] =0x72F531;
#col[2] =0xFFCB1F;#col[3] =0x29FF77;
#col[4] =0xFF82E6;#col[5] =0x4080FF;
#col[6] =0xA8A8F9;#col[7] =0xFF80FF;
#col[8] =0xFF97B1;#col[9] =0x944DFF;
#col[10]=0xF9953E;#col[11]=0x957AFF;
#col[12]=0xFF9354;#col[13]=0x7AAFFF;
#col[14]=0xFFE645;#col[15]=0xC786F9;
#col[16]=0x71B33C;#col[17]=0x0045FF;
#col[18]=0xB48246;#col[19]=0xFF00FF;
#x0=x;#y0=y;#i=0;
disabledraw;escape;gofiletop;
while(1){
searchdown "[{(]",regular;#x1=x;#y1=y;
if(result==0){break};
beginsel;gokakko;right;
colormarker 0x000000, #col[#i%20], 11, 0;
escape;moveto #x1,#y1;#i=#i+1;
}
escape;moveto #x0,#y0;enabledraw;
endmacro;

>>619
こちらのマクロを試してみました
Shift-JISからUTF-8に変換しますが、一つ問題が発生しまして、
一括変換するフォルダの中に、既にいくつかUTF-8に手動で変換させていたものがあります
そのファイルに当たると、UTF-8→UTF-8で変化がないはずなのに、
画像のエラーが発生してしまいます
tps://tadaup.jp/6CEoZn2r.jpg

変換前のファイルは全て、Shift-JISの前提だからかと思いますが、
既に目的のユニコードに変化しているテキストファイルは、変換から除外するとか
っていうのは出来ませんでしょうか？

漢字コードは魔窟で、
それは時間が解決するようなものではない
最終的には個人の好みの問題に帰着する

>>650
これはちょっと無理筋な気がする。素直に元のsjisファイルを使うとかできないんでしょうか？

ごめん、遅ればせながら理解した。utfとsjisのファイルが混在してるフォルダでsjisファイルのみをutfに変換したいということか。それならいける、rubyでよければ。それほど難しくないんでChatgptにでも聞いてもらえれば教えてくれそう。

>>653
ありがとうございます。マクロは非常に便利だったのですが、ここらへんは融通が効かないようです
全部、sjisのファイルだったらよかったんですが、中途半端に手動でいくつか変えているものがありました。
それを分別するとなると時間がかかり、手作業でコードを替える作業とあまり変わらない労力になります

>>654
geminiにマクロ作ってもらったら？
バックアップ機能付きShift-JISのファイル「だけ」を狙い撃ちして UTF-8 に変換するマクロ作ってくれたよ(内容も動作確認もしてないけど)

・対象の.txtファイルをBackUp取りマクロ回す
・マクロじゃなくPythonでやる
どちらにしろバックアップ取れない程ストレージに空きがない訳じゃないでしょ？

1時間もかからず終わるはずですな～がんばｂ

rubyやpythonならChatgptに訊くとちゃんと動作するスクリプトを返してくれるけど秀丸マクロは嘘ばかりでオリジナル関数を使ってたりパラメータがでたらめだったりする。マクロを書くなら秀丸ホームページのサポートで試験的に運用されているAIチャットがお勧め。

geminiも試してみたけど秀丸マクロを書くには向いていない。ネット上に秀丸マクロのサンプルとか解説ページとか増えてAIが学習してくれればそのうち使い物になるかもしれないけど。

utfの頭にbomをつけておくと、bomがあるならutfと判別してsjisに変換しないなんてこともできて、こういう文字コードの判別が必要になる場面でも便利。

生成AIなら公式にあるよ。
https://notebooklm.google.com/notebook/f0d50d0b-e2dd-4209-befc-98ae35d8d0b0

>>658
秀丸マクロみたいなソフト独自言語？でも使ってそうな奴はまずMarkdown構文かなにかで
テンプレなりプリセット読み込ませてから欲しい情報書き込んでいけば学習するんじゃない？
有料版ならそのまま記憶させるのもいけそう？無料でもログインしてればいけるか？