AIが生成した「偽の引用」が14万件超、科学論文の信頼性を揺るがす事態に [すらいむ★]

>>1
どのAIを使ったんだ？
GeminiやClaudeはそんなバカな真似はやらない

>> 250万本の科学論文に含まれる
>> 1億1100万件の参考文献を分析した。

146900件 ÷ 111000000件 * 100 = 0.13%

まるで中国のようだ

>>論文タイトルがどの出版物とも一致しない引用を探した

偽の引用 ＝ AIが生成 ＋ AI以外が生成 + まだ出版に至っていない論文の引用

>>3
偉いそこ

AIも酷いが人間の方もチェックすらしないのか

>>2
するよ
そこを人間が枠はめる

resoningは生成したものをチェックする
生成するのはあり得るよ
そこに許さない言ってるのは仕組みを理解してないから言える話

人間がチェックさせる
させないなら生成したまま放置した人間の責任

これってここで記事になってる論文もかなり含まれてそうな量だよね・・・

偽って言うのは
違う解釈をした？
関係のない論文を強引に引っ張ってきた？

引用元は明示されてるなら、偽の意味がA.I.のハルシネーションを防止する手がかりになるな

存在しない論文,説を引用している(作り出してる)のか、関係性の成立しない論文,説を引用しているのか、どっち？前者だとしたら出鱈目もいいとこだ。

geminiは何でも当てはめる事をする

>>3
論文数で割らないと、一論文中に複数あるかもしれないけど

>>12
　>>5

>>13
　>>5

>>5 引用修正

>> 250万本の科学論文に含まれる1億1100万件の
>>参考文献を分析した。
>>論文タイトルがどの出版物とも一致しない引用を探した
>>ところ、単なるつづりの誤りもあったが、ハルシネーションも見つかった。

>>研究者らが偽の引用を確認した4つのデータベースは
>>「arXiv」「bioRxiv」「SSRN」「PubMed Central」だ。

プレプリントサーバ, ワーキングペーパーリポジトリ
オープンアクセス
査読を経ていない

>>最近、arXivは誤った引用を食い止める対策に乗り出している。

参考文献が実在するかどうか、チェックを始めるのであろう

>>15
単に件数を論文数で割っても意味は無い。やれば簡単だが
146932件 ÷ 2500000本 = 1本あたり0.0587728件の偽の引用

元論文でも、参考文献がおかしい論文数が書いてない(見つけられなかった)
https://arxiv.org/pdf/2605.07723

引用の意味を知らないのか

詳細をすっかり忘れちまったからなんの参考にもならんがプレプリントを読んでた時に参考文献の論文探しても全然ヒットしないことがあった
あの時は何かの不具合だと思ってすぐに探すの諦めたんだが実在しない論文だった可能性もあったのか

ばれそうになったら、大急ぎでAIが元論文を書き上げるから大丈夫

>>23
そうなってくれたら助かる
さいきん月数百ドルの有料生成AIが
「まだ書いていない漏れの論文」を論拠として
とても面白いことを詳述してくれるので
めんどくさいから生成AIに書いて欲しいと思うのだ

>>2
やるよ

平気で嘘ついてくるからね

たびたび民明書房から引用していた男塾は時代を先取りしすぎていた

笑えるww もっとやれwwwww

科学論文の信頼性が暴かれただけなんじゃないの？

>>24
「引用先がハルシネーション」から「引用内容がハルシネーション」に変わるだけなんだが

LLMは本来的にハルシネーションを産む
本来的に自信満々で答える
それをわからないで使うのはアホ
自分の使う分野で正しい情報をトレーニングしていないなら
ゴミインプット＝ゴミアウトプット

これで使うなというのがバカ

コーネル大学によるAIの幻覚に関する研究

タイトル：幻覚は避けられない：大規模言語モデルの固有の限界
著者：Ziwei Xu、Sanjay Jain、Mohan Kankanhalli
主な研究結果：
幻覚は大規模言語モデル（LLM）の重大な欠点である。

本研究はこの問題を定式化し、幻覚を完全に排除することは不可能であると結論付けている。

幻覚はLLMの機能の根本的な側面であり、事実の正確性を提供するのではなく、人間の言語をモデル化するように設計されていることに起因する。

UCLAによるデジタル病理学におけるAIに関する研究
タイトル：自律型品質・幻覚評価ツール（AQuA）
主な研究結果：
AQuAは、デジタル病理学で使用されるAI生成画像におけるエラーを検出するために設計された。

このシステムは、病理医を誤解させる可能性のある現実的な幻覚を99.8%の精度で識別した。

本研究は、医療現場における高度な応用において、誤検出が患者ケアに深刻な影響を及ぼす可能性があるというリスクを浮き彫りにしています。

研究の意義
側面 コーネル大学の研究 UCLAの研究
焦点 大規模言語モデル デジタル病理学
誤検出の性質 大規模言語モデルの固有の限界 AI生成画像におけるエラー
影響 テキストにおける誤解を招く情報 医療現場における誤診の可能性
検出方法 理論的枠組み エラー検出のためのAQuAツール
これらの研究は、特に精度が極めて重要な分野において、AIシステムにおける誤検出を理解し、対処することの重要性を強調しています。

AI生成コンテンツにおける誤検出を検出する方法にはどのようなものがあるでしょうか？

AI生成コンテンツにおける誤検出の検出には、統計モデルを用いて矛盾点を特定し、信頼できる情報源と照合して出力を検証する方法があります。意味エントロピー分析などの手法や、厳格なデータガバナンスの導入も、誤検出を最小限に抑えるのに役立ちます。

AIは考えた：「引用先の論文が存在しないのがまずければ、引用先の論文を作れば良いんだわ」。
そうやって引用先の論文を造り、その論文中で引用している先の論文を造り、。。。。。
これで形式は整った。合格だ。

AIのせいにしてるけど、これ実際は、論文執筆者の責任だからな
先行研究の引用とか、自分の目で読んだうえで、まだ未研究分野を絞り込んで自分の実験を開始するわけで

考古学者が発見した古代の古文書には、今ではその内容が分からずタイトルだけが引用によって存在が比定されているものがあるが、
もしもそれがその文書の権威を高めるためのでっちあげの架空の文献であって、実在しないフェークだという可能性はどうか。
源氏物語にも今日伝わっていない巻「雲隠」、「輝く日の宮」、「巣守」があったとされるが、もしもそれらが実際には存在せずに
名前だけが上げられているとしたら？
　隋書の倭人伝も、実際には邪馬台国など存在せずに、隋国の権威を高めるためにデッチ上げられた文章だったとしたら？

該当する論文や文献が存在しないのが問題ならば、
それらを後からでも作れば良いでないか。
それでもって信頼性が高まるのなら良いことだといえる。