5ちゃんねる⇒ソフトウェア@5ch掲示板
設定
ダークモード
広告表示
画像・外部リンク

UPLIFT会員は外部リンクへ直接移動します。確認は初期設定でオンです。

機能のオン・オフ

このブラウザ・このサーバーのみ。オフにしても保存済みデータは残ります。

UPLIFT

527コメント208KB

2ちゃんねるスレッド全文検索・・・ThreadSearch

■ このスレッドは過去ログ倉庫に格納されています
垢版
返信 [2]
ttp://www.geocities.jp/cen_hp
他の2chブラウザと連携できるといいな
垢版
返信 [1]
スレッド全文検索
http://www.geocities.jp/cen_hp/threadsearch.html

datファイル全文検索ソフト
http://www.geocities.jp/cen_hp/program2.html
垢版
返信 [1]
Googleデスクトップでdatが検索できればいいんだけどなぁ
垢版
>>20
>>1のトップ見ると、スレッド全文検索は
datファイル全文検索ソフトの次のバージョンだって
垢版
age
垢版
返信 [1]
板名の項目と正規表現が欲しい。
あと、スレタイ・日時を指定した場合、一致しないdatは検索しないようにして欲しい。
垢版
返信 [2]
>>21
使えるかは知らんが

Jane Log Indexer
ttp://www.geocities.jp/hiko_bae/janelogindexer.html
垢版
>>25
おおー、これはすばらしい!

ついでに質問したいんだけど・・・
見つかったdatを簡易ブラウズするいい方法ってあるかな?
dat2htmlを内部的にやってくれて、サクっと表示してくれればうれしいんだけど
垢版
バッチ書けばなんとかなりそう。
やってみるべさ。こういうのはあまり得意ではないけど。

思いっきりスレ違いだけど、このスレあまり活動してなさそうだから別にいいか。
垢版
あっ、バッチじゃダメか…(^^;
垢版
レジストリか…さじ投げする。
すまない。NGしてくれい。
垢版
返信 [1]
index作成型じゃないの?
すごくのろい。
垢版
>>24
板名で絞込みをどうしようかと思いましたが、ブラウザによって管理方法が
違うので迷いました。
今はどのフォルダでも同じように検索できるようになってます。

日時ではしてないですが、スレタイを指定して一致しない時は検索しない
ようになってます。
垢版
>>25
へえ。こういうのあるんですね。

>>30
なるほど。
index作れば速くなりそうですね。
あまり考えないで作ってました。
垢版
>32
最初のログ容量次第でindexの作成にバカ時間食いそうだけど、
その後がチマチマ増えたログのindex作成はたいして時間かからないだろうし
快適な気がしますです。
垢版
NamazuとかPerlとかkakasiとか判らないので
マジindex作成型もお願いします。
垢版
そんな数検索するなよって話なんだろうけど
約15000個あるdatから全文検索かけたら凄い時間かかったから消した。

この機能は凄いありがたいんでどうにか高速化して欲しい
垢版
これ結構便利だ
垢版
返信 [1]
cenさんありがとう、これ物凄い便利です

要望ってここで書いちゃっていいのかな?

追加を検討してほしい機能があります
検索後の結果でレスが読めますがやっぱり周辺のレスやら流れが読みたい事があります
そこで検索結果表示のスレタイをクリックしてそのスレ全部表示できたら良いなぁと

最近bbs2chreaderに乗り換えたのですが検索が無い、板フォルダ名がJaneと非互換なので
検索、後で読む、用にJaneにインポートさせるのも面倒だったりします
しかも現在bbs2chreaderは管理が変わり他専用ブラウザからのインポートもできません。。。

御一考頂ければなぁ、と思います
垢版
>>33-35
インデックス作るのには時間かかるかもしれないですが、
それがあると検索が速くなりそうですね。
考えてみます。
垢版
返信 [1]
>>37
なるほどです。
結果の前後のレスも気になるといえば、なる時もありますね。
そういうのがあれば便利かもしれないですね
垢版
>>39
レスありがとうございます
需要がありそうでしたら御一考くださいませ
垢版
期待age
垢版
返信 [1]
index作成型 期待

ついでに各ブラウザから板リスト持ってきて、ドロップダウンリストっていうのかな?
検索する板も指定出来るといいな。
現行だと検索板を指定したくてフォルダ指定しようとすると大量ログがあるせいで
なかなかフォルダが開かないです。

まあindex作成型なら板指定なんかする必要は無いとも思いますが。
垢版
返信 [1]
index作成には特別興味ないけど、スレやレスのurlが分からないのは困る。
せっかく結果をファイルで保存できるのもったいない。
垢版
>>42
インデックス方式は方法をぼちぼち考えて、テストのプログラム作っています。
板を選べるのもいいと最初思いましたが、ブラウザによってログの管理方法が
違うので対応をどうしようかと思い、結局はその機能はつけませんでした。

>>43
確かにそうですね。
後で見たときにその方がわかりやすいですね。
垢版
>インデックス方式
楽しみーに待ってるです
垢版
あげ
垢版
返信 [1]
インデックスは独自?
それともnamazuとか使うの?
垢版
>>47
独自の方法でする予定です。
垢版
おはようございます。

スレッド全文検索を更新しました。
Ver 1.50になりました。
http://www.geocities.jp/cen_hp

更新点は以下です。
・インデックス方式にしました。
・結果にログファイルのパスを表示しました。
垢版
返信 [2]
インデックスを使うことで高速に検索できるようになりました。
http://www.geocities.jp/cen_hp/threadsearch.html#7

HPに載せている結果の場合、約3倍・約34倍 高速になっています。
検索語句によって速度がかなり変わります。
ユニークな言葉だと速く検索できます。
垢版
それから、検索結果はVer1.00と同様の結果が出ます。
垢版
返信 [1]
あと、方法は独自と書きましたがほぼngram法です。
垢版
返信 [2]
Vista SP1(64bit)で動かしてみたんだけど、
ステータスバーに

「インデックス作成中・・・ファイルリスト作成中」

と表示されたまま、CPU使用率も上がらず、HDDアクセスも無いまま
インデックス作成が終わらない・・・
垢版
>>53
どうもです。
一度終了して、インデックスを削除しても同じですか?
それと、検索フォルダにログのフォルダを指定して、作成していますか?
それでも出来ないならフォルダのパスを変えてみてください。

一応、動作確認として、Vista SP1(32bit)と、XP SP2(32bit)でしています。
あと、正常にインデックスが出来たら、「index」の名前のフォルダに
以下のファイルができます。
・file_list.txt
・index_0.txt 〜 index_xx.txt(xxは数字)
・path.txt
垢版
返信 [3]
>>53
さっき調べてみましたら、dllを作成するコンパイラが64bitに
対応していませんでした。
ですので、すみませんが64bitの環境では動作しません。
垢版
返信 [1]
>>50
キタ━━━━━━(゚∀゚)━━━━━━ !!!!
とても乙です!

うちの非力2chノートでのレポ
CeleronM1.3G/Mem1.2G/XPSp2
DATフォルダサイズ 3.09G
DATファイル数 48902
INDEX作成時間 2時間
(↑他のそこそこ重い作業しながら、あんまり目安にもならないw)

検索はかなり速くなりました、ヌルヌルとヒットが出てくる感じ
検索結果からDATへのリンクですぐ該当DATにアクセスできるので相当便利です
垢版
>>55
.dat ファイルのパスをダブルクリックで「メモ帳」や>>nn 等の右クリックで 開く場合
「IE 」とキメウチされているようですが任意の(テキスト)ビュアーや
既定のブラウザーを使うか、各自指定できる様になると使いが手がより良いと思います。
垢版
返信 [1]
>>56
失礼「メモ帳」は Win の設定によるのでした...失礼しました。
ブラウザーに関しては「規定のブラウザー」を IE 以外にしていても
ヤハリ IE で開いてしまいます。
垢版
返信 [1]
>>55
あと、ウインドウ・サイズも覚えておいて欲しい。

.NET Framework ソフトとしては軽いので結構期待してる。
垢版
返信 [1]
うほっ
index版 キテタ-
なにやらまだ不完全ぽいですが、さっそく使わせてもらいます。

祭日中にとっても乙
垢版
>>60
>不完全ぽい
kwsk
垢版
返信 [1]
>>50
本文を含まない場合インデックスが利かないので一寸実用に耐えないなあl.
垢版
index作成開始2時間半後で45%
まだまだ先は長いな。
垢版
返信 [1]
使って頂いてありがとうです。

>>58
検索結果の部分はIEコンポーネントなので、そこから開くものはIEになります。
結果を保存したときのHTMLは任意のブラウザで見れます。

>>59
それもいいかもしれないですね。

>>62
本文でしかインデックスは考えてませんでした。
そういえば、本文以外で名前とかメール欄とかは、スレでほとんど
一緒で、それで何かできそうな気もします。
垢版
5万1千程のdatで4時間半かかった。
垢版
返信 [1]
初回indexを作ってからちゃんブラでログ取得して又indexを作らせて
みたら、初回と同じ位に時間が掛かっちゃいますね。

indexを作るってのはどのindex型でも、対象の追加があったらindexは
ゼロから作り直しになっちゃうのでしょうか?
垢版
>>66
他の方法はそこまで詳しく知らないのです。
今のバージョンは、indexの作成と読み込みが出来ることを目指してたので、
更新まで力が及びませんでした。
なので、更新=作成になります。
次は更新も考えて見ます。
垢版
返信 [2]
乙です
確かにそれはちょっと欲しい、ぜひご一考を
そうすれば常に専ブラのフォルダダイレクト読める。。。

もっとわがまま書かせて頂くと複数フォルダパス設定をiniに書く形でも良いので欲しいです
一つのthreadseaerchから退避フォルダと現行専ブラフォルダを読めると最高です
垢版
>67
今でもハングアップしてんじゃないか?ほんとに検索してんのかよ?
って他の検索と比べたらとってもありがたいです。(-人-)
垢版
返信 [1]
>>64
成る程、IE のメニューが出てるんですものね...
IE 側に別のブラウザでリンクを開くコンテクストメニューを追加する事で
>>XX を IE 以外で見れるようになりました。
垢版
返信 [1]
>>68
設定読み込みで、iniファイルを選べるからそれでしてみたら?
垢版
返信 [1]
どうもありがとうです

>>68
iniは任意の名前で保存できて、読み込めますが、そうではなくて、
一度の検索で2つのフォルダを設定したいということですか。

>>70
そういう方法もあるとは
垢版
返信 [1]
あと、窓の杜で記事が掲載されました。
http://www.forest.impress.co.jp/article/2008/05/08/threadzenbun150.html
垢版
返信 [1]
>>71
>>72
ありがとうございます、任意ini読み込みさえ気付いてなかった。。。
とりあえず、それで分けます

>一度の検索で2つのフォルダを設定
です、退避フォルダと現行専ブラのフォルダと記憶が曖昧だったりするときに
使いたいなと思いました、bbs2chreaderはgrepをかけるくらいしか全文検索が無いですんで。。。

>>73
窓の杜も細かく拾いますねw
垢版
返信 [1]
俺も3つの2chブラウザ使ってるから、順番に検索してくれたら助かるな
垢版
ああ、よく考えたらログフォルダ作って全部その下に移動させればいいのか
垢版
返信 [1]
.NETじゃなくVCじゃ無理なの?
起動時、糞重くてしょうがないんだが
垢版
返信 [1]
VCは.NETに比べて手間が10倍くらいに増えるからな。

起動速度だけのためにそんな手間はかけてられないって感じじゃね?
垢版
8.4ギガ程のログで3ギガ程のindexが出来ますた。
垢版
返信 [1]
DesktopHE
ttp://freemind.s57.xrea.com/desktophe/index.html
↑datはサポート外で、datファイルの表示は固まるかと思うほど遅いすが
探してくるのは速いしインデックスの作り方とか参考にならないでしょうか
垢版
>>74>>75
ログフォルダが複数あるときですか。
それは思いつきませんでした。

>>77
大体>>78さんの通り、重いですが作るのが割と楽なので.NETを使っています。

>>80
そういうのもあるんですか。
ちょっと見てみます。
垢版
age
垢版
+   +   ワクワクテカテカ
  ∧_∧  +
 (0゜・∀・)
 (0゜∪ ∪ +   index追加型、急かしてないよ?        
 と__)__) +
垢版
急がせてるwwwwwwwwwwww
垢版
+   +   ワクワクテカテカ
  ∧_∧  +
 (0゜・∀・)
 (0゜∪ ∪ +   急かしてないよ、ホントだよ?        
 と__)__) +
垢版
Janeログをインデックス化して高速検索する「dat検索」 :教えて君.net
ttp://www.oshiete-kun.net/archives/2008/05/janedat.html
Datファイル全文検索ソフト DatE
ttp://frozenlib.net/DatE/

こっちが2.0ならむこうは3.5か…
誰かユーザーの事考えたC++製の全文検索ソフト作れよ
垢版
Jane系に限定するならJaneViewでも使ってりゃいいじゃない
インデックスサーチなら他の100倍は早い
垢版
ずっとJane使ってたら、メモリ使用量が300Mになった…
V2Cくらいメモリ使用量決められたらいいんだけどなぁ
垢版
週末きたけどそろそろバージョンくる?
垢版
週末くるけどそろそろバージョンくる?
垢版
「バージョンくる」の意味が分からなかったのでグッてみた

ver・sion

━━ n. 翻訳, 訳書; (時にV-) (聖書の)…訳[版]; 解釈; 異説; (個人的な観点からの)説明; 翻案, 編曲.
垢版
たぶん「そろそろバージョン」っていう新しいバージョンが来るんじゃマイカ?
垢版
>86
バージョンこないから試してみようとしたけど起動しないや・・・
垢版
俺は白鴎院理人(はくおういんりひと)。 御茶ノ水に事務所を構える私立探偵だ。
俺は帝都を騒がす怪人物、蜘蛛男を追っている。 奴が目撃され始めたのは数週間前のこと。
はじめは酔客の間で交わされる噂話に過ぎなかった。 夜の帝都を飛び回る不気味な怪人物がいる。
路地裏で人を喰らっているところを見た。 こうした噂話は、帝都では珍しいものではない。
近代化を成し遂げ、震災から復興しても尚、 人々は夜の闇に怯え、怪しげな噂を作り出す。
だが、蜘蛛男の噂は一時に止まらず増え続けた。 それが低級雑誌で取り上げられるようになり、
最近では大新聞までもが蜘蛛男の記事を載せている。 こうなると警察も黙ってはいない。
多くの人員を割いて捜査に当たっているらしい。 しかし、今のところ蜘蛛男の逮捕には至っていない。
それどころか奴が何者で何の目的があるのかさえも、 未だ判明していないのだ。
奴が何者であったとしても、 帝都を騒がす怪人物を放っておくことはできまい。
そこで私立探偵である俺もまた、蜘蛛男を追っていた。 この俺が蜘蛛男を捕えてみせる。
\_____ _________________________________/
         ∨
           ___                _
       / ____ヽ           /  ̄   ̄ \
       |  | /, −、, -、l           /、          ヽ きみ頭だいじょうぶ?
       | _| -|○ | ○||         |・ |―-、       |
   , ―-、 (6  _ー っ-´、}         q -´ 二 ヽ      |
   | -⊂) \ ヽ_  ̄ ̄ノノ          ノ_ ー  |     |
    | ̄ ̄|/ (_ ∪ ̄ / 、 \        \. ̄`  |      /
    ヽ  ` ,.|     ̄  |  |         O===== |
      `− ´ |       | _|        /          |

【 南極堂...断罪アイアンメイデン 】  http://www42.atwiki.jp/ironmaiden/
垢版
どうもです。

ちょっと忙しくてできていないですが、
今はインデックスの方式を考え直しているところです。
垢版
待ってます
垢版
待っています。
垢版
返信 [3]
みみずん検索とかは一瞬に近い状態で検索結果が出るけど
これは意外と時間かかるよね?

これってハードウェア性能の違い?それともindexの方式違い?
どっちが原因として大きいんだろ。

indexをRAMディスクに置いて、DATをRAID0・5・6に置いても
とても一瞬じゃ表示出来なそうだけど。


あ、従来の検索と比べたら遥かに恩の字ですから
ケチ付けてるんじゃなく素朴な疑問です。
垢版
>>98
何言ってる
垢版
>>98
どうもです。

このソフトでは保存してる全てのログから、検索語を漏らすこと無く
検索するので他のものより遅いのではと思います。
ソフトの性能かもしれないです。
みみずん検索の仕組みがどういうものか知りませんが・・・
垢版
>100
あ、そっか。
みみずん検索は検索板を指定しましたね。
長期使ってないから全板検索だと勘違いしてました orz
垢版
>>98
一般的なWebサーチエンジンは単語単位の検索結果をあらかじめ作ってる。
新しく見つけたページに「2ch」「モナー」という単語があったときは、2ch.txtとモナー.txtにそのページのアドレスを追加する。
「2ch モナー」で検索されたときは2ch.txtとモナー.txt両方に載っているアドレス一覧を表示するといった感じ。
ただし、ここでいう「単語」とはあらかじめリスト化されたものと機械的に認識されたものなので
でたらめな文字列で検索した場合は表示されない可能性もある。
垢版
返信 [1]
>102
なるほど。
そうしちゃうと今より高速化はしてもindexが肥大しそうですね。

今は8.5Gのログに対しindexが3.2Gです。
垢版
返信 [1]
>>103
日本語対応の全文検索インデックスはでかいよー。
特に完全検索用のN-Gramインデックスは、たとえば「本日は晴天なり」って書いてあるテキストが
あったとすると
 本日
 日は
 は晴
 晴天
 天な
 なり
というそれぞれの文字列についてインデックスを作成する。
検索時には、たとえば「本日は」で検索されたら「本日」「日は」の両方にのっているファイルを
検索結果に表示する、という方式。
確実なんだけどでかい。
垢版
みみずん氏でこんなもんか。
ttp://mimizun.com/spec.html
垢版
「Windows Vista の検索において、語句が検索されない場合がある」
http://support.microsoft.com/kb/952003/ja

「アクセスコントロールリスト」 があるのに "コントロール"を検索できません。
これは仕様です。日本人はfindとかfindstrを使いなされ。
 
垢版
テキストのフィルタが駄目すぎだなあ
IMEの件といい、ほんとMSは日本語に弱くなったな
垢版
そんなんだからMS社員がATOK使いたいとか言い出すんだ。
垢版
中国優先だからな
垢版
優先というか、メイドインチャイナ
垢版
こんばんは

>>104
このソフトのインデックス方法もそういう方法使ってますね。
垢版
返信 [1]
屑HDにログ移行したんだけど、残り容量少なくてINDEX作りきれなかった orz
垢版
返信 [1]
今のところ、新しいindexの形式で、index作成と読み込みのテストが
できています。
更新部分を作る前に公開するかもしれません。
何時になるかは不明ですが。

>>112
実験では現在と比べて約40%のindex容量が削減できています。
今よりも多少はディスク容量を使わなくて済む予定です。
垢版
>>113
乙です
四割もすか、わくわくしながら待っています。
垢版
  ∧_∧ ttp://www.geocities.jp/cen_hp/
 ( ・∀・) ドキドキ
 ( ∪ ∪
 と__)__)
垢版
返信 [1]
禁断の壷のDATが検索できないようですが未対応ですか?
垢版
    ∧_∧
    ( ・∀・)ワクワク
  oノ∧つ⊂)
  ( ( ・∀・)ドキドキ
  ∪( ∪ ∪
    と__)__)
垢版
返信 [1]
    ∧_∧
    ( ・∀・) ドキドキ
  oノ∧つ⊂)
  ( ( ・∀・) ワクワク
  oノ∧つ⊂)
  ( ( ・∀・)
  ∪( ∪ ∪
    と__)__)
垢版
                        ,、ァ
                        ,、 '";ィ'
________              /::::::/l:l
─- 、::::;;;;;;;;;`゙゙''‐ 、    __,,,,......,,,,_/:::::::::/: !|
  . : : : : : : `゙'ヽ、:::゙ヾ´::::::::::::::::::::::`゙゙゙'''‐'、. l|
、、 . : : : : : : : : r'":::::::::::::::::::::::::,r':ぃ::::ヽ::::::::ヽ!
.ヽ:゙ヽ; : : : : : :ノ::::::::::::::::::::-=・=-、゙:::   -=・=-:'、
. \::゙、: : : :./::::::::::::::;、-''"::::::::::   ,...,:::,::., :::':、
   ヽ:ヽ、 /:::::::::::::::::::::::::     _  `゙''‐''"  __,,',,,,___
     `ヽ、:::::::::;;;、、--‐‐'''''',,iニ-    _|  、-l、,},,   ̄""'''¬-
   _,,,、-‐l'''"´:::::::'  ,、-'" ,.X,_,,、-v'"''゙''yr-ヽ / ゙゙'ヽ、, ゴリゴリゴリ・・・
,、-''"    .l:::::::::::;、-''"  ,.-'  ゙、"|    /  冫、     ヽ、
       l;、-'゙:   ,/      `| /| |   /. \
     ,、‐゙ ヽ:::::..,.r'゙       (( // | |  /    ヽ.  マズッ・・・
   ,、‐'゙     ン;"::::::.        U  .U  / >>118
  '     //:::::::::            {.
        / ./:::::::::::::            ',
.    /  /:::::::::::::::::.            ',.
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況