【論文】優れた知見を引き出すためには「匿名での論文審査」を取り入れるべきだという議論［03/09］

社会をよくするために世界中の研究者がさまざまな課題に取り組んでいますが、研究を進めて実体化するために避けては通れないのが、
研究費用の補助金「リサーチグラント」を得るためのグラントレビューと呼ばれる審査です。
しかしこの制度には、論文を作成した研究者が誰であるのか、その人物の過去の経歴などが判断に関わることで、
審査の結果にバイアスが存在するという見方があります。
この問題を解消するために、論文の審査はその中身だけに基づくべきだという意見を、
かつて審査に携わっていた人物が表明しています。

Fund ideas, not pedigree, to find fresh insight
https://www.nature.com/articles/d41586-018-02743-2

デンマークのオールボー大学教授で、
コペンハーゲンにある民間基金Lundbeck Foundationで役員を務めるThomas Sinkjær氏は、
2013年頃にDanish National Research Foundation(デンマーク国立研究基金)にディレクターとして携わっていた経験から、
研究者の経歴や背景に基づかないグラントレビューの必要性を唱えています。

デンマーク国立研究基金に携わっていた頃、Sinkjær氏は博士研究員(ポスドク)や研究職の初期段階にある研究者に対して、
資金援助者がいかに彼らの研究にとって重要であるかを尋ねる会合を持ったとのこと。
すると若い研究者からは、本当に研究したい内容のための申請書を作成するのではなく、
「補助金を得やすそうな内容」で申請を行っているという実態が述べられたそうです。
また、その段階では真に革新的なアイデアを記さずに隠していることも多いということが明らかにされています。


この理由についてSinkjær氏は、
グラントレビューには「確実に実現できることが確認されている内容」ばかりが選ばれるバイアスがかかっていることを挙げています。
画期的な新しい方法を取り入れるためには、これまでは存在しなかった新しいアイデアを評価する必要もあるはずなのですが、
審査の段階ではどうしても保守的な内容に評価が偏る傾向にあるという問題点です。

査読(ピアレビュー)によって、優れた内容と程度の低い内容がふるいにかけられていることを示す結果を見ることはできますが、
必ずしもそれが「最も優れた内容を見つけ出す」ということには生かされていないという実態が存在しています。
この問題を解決するためにSinkjær氏は、「資金援助者は全く新しいスキームを試し、個々の経験を共有すべき」だと述べています。
Sinkjær氏は、ここで、デンマークの慈善事業団体であるVillum Fondenの方法を紹介することで、新しい方法を提案しています。

Villum Fondenは工業分野および自然科学の分野に援助を行う団体で、
税金が投入されるこの手の団体に比べて比較的余裕のある財政状態にあるとのこと。
2016年にこの団体でディレクター職にあったSinkjær氏は、
かつてない方法で応募者を評価することで革新的なアイデアを見つけ出す手法を試しました。
そこでは、研究提案に関する調査書は情報が伏せられ、3ページ分の説明によって評価されるようになっているとのことで、
評価者側には応募者のバックグラウンドや過去の論文などの情報がわからないようになっています。
偶然にも、同じ時期にドイツの「フォルクスワーゲン財団」も同様の取り組みを行っており、
両者はともにこの手法を「実験」として取り入れていたとのこと。

続きはソースで

関連ソース画像
https://i.gzn.jp/img/2018/03/09/fund-ideas-not-pedigree/00_m.jpg
https://i.gzn.jp/img/2018/03/09/fund-ideas-not-pedigree/03.jpg

GIGAZINE
https://gigazine.net/news/20180308-fund-ideas-not-pedigree/

学会に論文を発表できる人たちは限られている
　新しい発想の芽を摘んでいるというよりシャットアウトしている今の仕組み

>>1
匿名掲示板でさどくすりゃあ速いんじゃねえの

まあ　バイアスはもちろんあるし　優先する査読　時間と

進化を考えた場合　しょうがないかもしれないな

あと内容が複雑化しすぎて　査読に時間がかかる場合と

そうでない分野は　わけるべきだと思うよ　

わたしからは以上だな　ミカエル（悟ったもの）より。

匿名での論文審査にも限界がある。査読者の資質に問題がある場合が多いからだ。
ネット社会ならではの解決法は、大勢の研究者による投票。
ある程度の人数でどれに研究費つけるか、論文を通すかなど決めれば良い。
査読者を２〜３名じゃなくて、50〜100人もっと多くても良いが大勢でランキングをつければ良い。

>>3
すでに５ちゃんねるではボランティアで査読が行われているのじゃあ

>>5
スパイが居たら盗まれるだろ。考えが浅い

>>3,>>6
ちなみに>>1の趣旨は執筆者を隠せということで
査読者を隠せではないのじゃ

会社でも同じだよな。
全く同じ企画書でも、書く奴の名前で通る通らないが変わることがある。
人間の判断が完全に足を引っ張っている

５ちゃんを利用すべし　てことだな

人は記憶型と思考型に大別できる

記憶型は書いた人をみて判断する
思考型は書かれた内容をみて判断する

まあ大喜利化したりしなかったりするんですけどね

「我々は以前に○○を報告した」と書いて文献引用すれば、
著者が誰か分かってしまうけどね

だれでも発言できるようになる
0.01％の無名の天才を発掘するつもりが、99.99％のキチガイメンヘラの妄言で埋め尽くされる
その中から天才を拾い出す作業が莫大になる
そもそもその発言に天才性があるかどうかの判断基準が明確にできない
Ｓ／Ｎ比が大きく開いて、意見交換の場として機能しなくなる
能力のある発言者はＩＤ発行型の従来の狭い掲示板で発言するようになる

子供の頃は、身分や肩書き、所得で発言力、信憑性が上下するのは不公平で人類利益に反すると思っていた。
インターネットの普及と匿名掲示板はそれを打破する、人類の意見知識交換の革新になると信じていた。
だが大人になって、人間はそんなものを扱えるほど賢い生き物ではないことを知った。

ガッツだぜ、愛は勝つ、それが大事
そして2018年は

『人生はリベンジマッチ』
↑
名曲、ユーチューヴ検索

＞「匿名での論文審査」

こう書いたら、ふつうは「審査員が匿名」という意味。
しじみは知恵遅れの文系？？

匿名掲示板で紛糾の中、書き込んだ自分の言葉を鍵として
いくばくかのちに高名な機関が採用するのを解るのは自分だけ
常識を作る側になるのは楽しいよ
学説であればフラットな中でも才のある人たちは名を得るだろう
シドニーのオペラハウスのようにね

>>14
政治行政だろうがITだろうが
まあどこでも「事情」を説明するステップの欠落が無残なんだわ
蔑まなきゃ口がきけないのはもう病理だしね
怯えを伝えればそこを叩かれる不安に基づいているね

ゼロ除算の発見はどうでしょうか？？？

Black holes are where God divided by zero：

再生核研究所声明371（2017.6.27）ゼロ除算の講演―　国際会議
https://ameblo.jp/syoshinoris/entry-12287338180.html

1/0=0、0/0=0、z/0=0
http://ameblo.jp/syoshinoris/entry-12276045402.html
1/0=0、0/0=0、z/0=0
http://ameblo.jp/syoshinoris/entry-12263708422.html
1/0=0、0/0=0、z/0=0
http://ameblo.jp/syoshinoris/entry-12272721615.html

ソクラテス・プラトン・アリストテレス　その他
https://ameblo.jp/syoshinoris/entry-12328488611.html

ドキュメンタリー 2017: 神の数式 第２回 宇宙はなぜ生まれたのか
https://www.youtube.com/watch?v=iQld9cnDli4
〔NHKスペシャル〕神の数式 完全版 第3回 宇宙はなぜ始まったのか
https://www.youtube.com/watch?v=DvyAB8yTSjs&;t=3318s
〔NHKスペシャル〕神の数式 完全版 第1回 この世は何からできているのか
https://www.youtube.com/watch?v=KjvFdzhn7Dc
NHKスペシャル 神の数式 完全版 第4回 異次元宇宙は存在するか
https://www.youtube.com/watch?v=fWVv9puoTSs
再生核研究所声明 411(2018.02.02): 　ゼロ除算発見4周年を迎えて
https://ameblo.jp/syoshinoris/entry-12348847166.html

ゼロ除算の論文

再生核研究所声明 416(2018.2.20): 　ゼロ除算をやってどういう意味が有りますか。何か意味が有りますか。何になるのですか　−　回答
再生核研究所声明 417(2018.2.23): 　ゼロ除算って何ですか　−　中学生、高校生向き　回答
再生核研究所声明 418(2018.2.24): 　割り算とは何ですか？　ゼロ除算って何ですか　−　小学生、中学生向き　回答
再生核研究所声明 420(2018.3.2): ゼロ除算は正しいですか，合っていますか、信用できますか　−　回答

5ちゃんねるの中にももしかするとノーベル賞級のアイデアが？

>>20
そんなんあっても周りが理解できずにレスがつかなくてショーボーンして消え去る
AIとかに精査させると、ネトウヨネトウヨ言い出してしまう可能性が高く危険

理系は大変だよな
研究費貰わないと何もできない
そのためには、何でもしなきゃならない
男芸者だってね

ご苦労様

一から内容で判断は処理量が膨大になるだろ
立場と偏見の処理が重要だと思う

>>14
>子供の頃は

現代の人間が賢いとは思っていなかったけど、
賢明さの平均値は時代とともに向上すると楽観的に思っていた。
今はかなり悲観的になっている。

普通、論文を読んだら誰が書いたかぐらいなんとなく分かるだろ。
逆に、それぐらいその分野に精通してないと、査読なんて無理。

フィギュアスケートも全員同じ衣装で覆面で演技させたほうがいいと思う　

そういえば昔、プロ野球で
王貞治が見逃せば同じコースでも判定がボールになる、という
審判への批判があったな。本当に判定に偏りがあったのか、
あるいはただの言いがかりだったのか、どちらか分からないが

審判の中にも一流とそうでもない格の差があって
批判が当てはまる審判もいたのかもしれない

著者名だけ伏せても
引用文献の傾向から誰かわかるから意味ないんだろうな
とくに分野が細分化してると
やってるネタ自体から誰がやってるのかはある程度想像つくんだろうし

今は電子論文投稿システムみたいなのあるから
そこに投稿すれば日の目は見るだろう
ただ、大量に論文があるから
その中から誰か別の研究者も注目して
注目度があがるのは大変だろう
結局のところ

その論文だしたの俺な

>>22
別に事業でもうけて資金作ってくれてもいいんだけどね
人からお金出してもらうのは大変さね

名前が売れている人の論文が、匿名にしたら霞んじゃうじゃないかwww

論文を作成した研究者が誰であるのか、その人物の過去の経歴などを審査の結果に反映させる
審査員の方が、変えるべきところだろう。匿名にしたところで、審査する側が無能では
なんにもならない。

匿名での論文審査だと、匿名だが暗黙の個人特定は必須だろ。
完全な匿名は1人で100人分の工作で5chを荒らすあの民族の情報操作につながる。
表だった部分だけ匿名であって完全な匿名である必要性はないのだよ

まぁ一理はある
発言一つで自分のリアルにおける立場が変わるからね
焦点は論文の内容ではなく評論でいかに自分をよく見せる、失点をしないことになる
社会にいる限りこの制約は大多数の人が受ける
そして実績ではなく他人の評価が重要だから大概そういう人間が高い立場にいる

匿名は匿名で問題はあるけどトータルで考えると人間関係取っ払った匿名の方が研究そのものは捗るだろうね
まぁ既得権は反発するし手間も増えるし実現はしなそう

ネームバリューで決められないなんて、日本のおじさん卒倒しちゃうわ

ネロ「パトラッシュ…名前さえ書いてればこんな事には…ごめんよ…」

人工知能がインターネット上を巡回するようになれば、
誰にも知られずにひっそりWWWの片隅に保存されていた
未知のアイデアが発見されるかもしれないね。

>>39
上位のプログラマの価値判断が信用できないw
優劣しか関心ない奴に全権持たれるって最悪だからなー

やっつけるより助けるほうが世界は難しいの普遍

アイデアの価値を判定できるほど賢いなら、ネット堀なんかしてないで
賢いものを相手にブレインストームした方がいいんじゃないか

またリーマンショック起こる言うてる
賢い人は反復学習するんやろか

>>2
大抵の学会の論文誌は、その学会に所属さえしてれば誰でも発表できるが？
欧米の論文誌だとその雑誌を主催している学会に所属してなくてのいいのはいくらでもあるし

つまり出来レースはやめようね、ってこと？

◆

もう

日本の大学を　捨てて　海外に出ていった方がいい。

論文はすべて海外で発表しましょう。

日本は
おわんこ。

しじみ ★ sage New! 2018/03/09(金) 11:05:04.50 ID:CAP_USER
社会をよくするために世界中の研究者がさまざまな課題に取り組んでいますが、研究を進めて実体化するために避けては通れないのが、
研究費用の補助金

社会人入学の盛んな今
まず費用稼いでから研究するという考え方があってもいいと思う

　


将来はAIレフェリー

スポーツも論文査読も。


　

今は電子的なデーターとして論文をファイルサーバーに貯蔵するだけで済むので
印刷したり送付したりなどは要らずに物理コストはファイルの容量と転送の
通信料金だけなのだから、昔のように容量の制約から載せるか載せないかを
判断する必要性は無くなったと言えるだろう。やるのなら、オリンピックの
競技の採点のように、審判団が点数を付けてサーバーにみな片っ端から
登録すれば良い。
　その場合、著者は、審査料を払い、さらにファイルの永久保管料として
ファイルサイズに比例した額を納付すれば良い。そうして、読者は無料で
読めるあるいは、ダウンロードするファイルサイズに比例した額を払う。
読者が金銭をダウンロードに際して払う場合には、その額の一部を著者が
受け取れるようにすれば、最初の投稿時の審査料やファイルの永久登録料
が回収できるかもしれないし、メガヒットすれば、その一種の印税が
研究の為の資金や生活資金の一部となる場合も考えられるだろう。
　読者は、レーティングの高い論文だけを読むようにすることも出来るし、
キーワードなどでサーチして必要と思われるものをレーティングと無関係に
読むこともできるだろう。著者は世間的な評価を高めるためには、
良いレーティングで掲載されるように努力すれば良い。そうしてもしも
レーティングの点数に不満があれば、論文を（審査料は払うが）撤回して
他の同様の論文投稿先へ掲載を狙っても良いとする。ただし、投稿された
ことを証明する記録は残っていて、もしも審査員が内容を横流ししていたら
それを告発する根拠は維持されるものとする。
著者は単に公知のものとして広めたいだけならば、レーティングが0でも
構わず掲載に同意すれば良いのだ。

>>49
査読の理由は容量だけじゃないよ。玉石の石比率が高いリストしか
存在しない状況だと研究者集団の生産性が下がってしまうから
査読の厳格さを追求する論文誌が存在することが重要なのよ

レーティングがいいね的なものを指しているとしたら
学術論文誌でそれは絵に描いた餅でしかない。
ろくでもないランキングしか得られない。

査読は、少なくとも原則は順位付けではない。
査読で必須なのは筋が通っているかと新規性（別手法の同結果はあり）。
「筋の通った（したがって見破れない）嘘」ははじかないし、銅鉄の退屈な話もはじかない
（退屈は国際会議でははじかれる）。

そうなら10点満点方式では無くて、審査員が（ｎ人居て）
筋が通っていると何人判断したか、
新規性があると何人が判断したか、
がついてDBに登録されれば良いだけ。
それでもやはり内容の良さや重要度に応じた
点数付けはあっても良いだろう。

査読は原則は順位付けではないといっているものの、
現実はインパクトファクターなる商業主義的数値が
あって、予算を出す側や採用側がそれを利用している。
これはやっぱり一種の点数付けじゃないのかな。
そうであるのに、同じIFのジャーナルに乗った
二つの論文が必ず同じインパクトを持つとは思えないのだが。
良いものもあるだろうしそれほど良くないものもあるだろうし、
それが同じ雑誌にのれば同じ価値として評価される。また、
審査、掲載時とその後（数年後、数十年後）とではその論文への
一般的な評価や価値が変わることだってあるのだろうが。

査読って家事当番みたいなものなんだよ。
流行から遠い研究などでは、義務的に査読者を割り当てる必要がある。
当番がなければ読まれず見落とされるかもしれない。もしかしたら重要かもしれないのに。

研究者にとって自分が読むべき論文を見落とさないことは重要なことだ。
だが、1人1人の研究者が未査読論文すべてについて
自分にとっての要不要判定を行ったとしたら、
判定作業の重複がばかみたいに多い。そういう低効率は科学にとって大きな損失。

重複を減らす手段の一つとして査読のある編集を経た出版というスタイルが実績をあげてきた。
（このスタイルさえあれば他は要らないと言っているのではない）