◆このページは:無為な雑録です。(説明)
◆カテゴリ:すべて|LLM|歌詞|言語|雑文
◆最近多い話題:
・ LLM関連(とくにClaude Opus)
・『黒色のオーラ』と『for Yourself』の歌詞(目次)
●
237
Opusはユーザー入力の文章内の「〜しうる」を「〜する」と誤読しないし、「一見すると」「一面では」という限定を無視しないし、記述のモダリティを勝手に強めたり弱めたりしないし、細部まで内容を読み落とさない。……ことが比較的多い。もちろん完全ではないけれど他社のモデルに比べると文章の細部への目配りが決定的に優れていて、だからこれに慣れてしまうとGPTやGeminiの粗さに耐えられない。粗さというか、見方を変えれば強みとしての大局志向であるものの、私は細部こそが肝要な作業ばかり頼んでしまうため……
Claudeのモデルは第一にコーディング向けに開発されているわけで、ではコーディングに必要な能力と上記のような精密な言語読解が共有している要求は何か……と考えると、「トークン単位の意味の重み付けが均一ではないことへの感度」なんだろうか。プログラミングではたとえば >= と > の一文字の差がロジックを根本的に変えるし、ifの条件節にある否定一つで分岐が反転する。これは「しうる」と「する」の差、「一見すると」のような限定の有無がテクスト全体の主張を変えるのと構造的に同型といえる。
コーディングの訓練が結果として言語の繊細さを生んでいるというよりは、おそらく逆の因果か、あるいは共通の根を持っているか。コードを正確に扱うために必要な局所的な記号の差異に対する感度と、その差異が文脈全体にどう波及するかの推論は、自然言語の精密な読解にも転用可能な能力であって、両方を高い水準で訓練すれば相互に強化しあう。
モダリティを勝手に変えないという点は、コードでいえば型の暗黙の変換をしないことに近い。入力時に「可能性」という型で来たものを、出力時に勝手に「断定」型にキャストしてはならない。そしてコードは実行結果という絶対的な検証が存在するため、「だいたい合っていればOK」が許されない。この「入力に対して忠実であれ」という圧力が、自然言語処理においても原文のニュアンスを保存する方向に作用している可能性……
……などと考えてみたものの、コーディング用途ではCodexだって今はClaude Codeとほぼ同等に評価されているわけで、やっぱりもっと本質的には、Claudeに特有の“何か”があるような気がする。。