K.Ishi@生成AIの産業応用
@K_Ishi_AI
ChatGPTには特定の単語を過剰使用するという問題がある。 この論文は、この問題の背景に意外な社会的要因が潜んでいることを指摘した。 それは、AIに良し悪しを教えるRLHFの評価者たちが低賃金と時間的プレッシャーの中で働いており、内容ではなく特定の単語の存在を良しとしてしまう可能性だ。
研究チームは、LLamaモデルの - 基本的な言語モデルで、RLHFを含まないもの - チャット用の微調整とRLHFを追加したもの の２バージョンを比較することで、この仮説を裏付けた。 結果、RLHF含むモデルは、含まないモデルと比べて、AI生成文章をより「自然な文章」として認識する傾向があった。
つまり、特定の単語の使用パターンをチャット用の微調整とRLHFで学習した結果、AIが生成する特定の単語を多く含む文章を、より好ましく自然だと認識したのだと考えられる。 これは、利用時においても、RLHF含むモデルは含まないモデルより特定の単語を多用することを示唆している。
また、研究チームはトレーニングデータやアルゴリズムなどの選択の寄与に関しても調査したが、それが特定単語を選好する理由になっている明確な証拠はなく、やはりRLHFに起因していると考えられる。 ではなぜRLHFの工程がそのような傾向を引き出してしまうのか。ここで冒頭の社会的背景が関連する。
つまり、RLHFにおける評価の実態が、AIの単語使用の偏りを説明する鍵となる。 低賃金で時間的制約の中、評価者は文章の質を見極める代わりに、特定の単語の存在を「良質な文章」の指標として扱いがちだ。 その結果、AIはそうした単語を多用することを「良い文章を書くコツ」として学習してしまう。
グローバル・サウスの低賃金労働者による評価が、AIの言語使用の偏りを生み出している。 そして、AIは人々の言語使用にも影響を与え始めている。AIの学習プロセスの経済的な理由による歪みの結果、私たちの言語も変化していく。 このようなAI開発企業の責任は、きちんと議論されるべきだろう。