「 LLMに「徹底調査」させたらかえって精度が下がることがある」
あるコードの使用ライブラリをバージョンアップするときに、
1回目は非互換コードAがあるか探させました。
そのあと2回目で、他の非互換コードB,C,D,E,Fもないか徹底的に調査してくださいとお願いしました。
そしたらなんと「徹底調査」が誤検知をしていました。
逆に徹底調査とお願いした方がミスをしたことの原因をClaude Codeに考えさせたところ、
「タスクの過負荷: 1回のエージェント呼び出しで20以上のパターンを探させた。各パターンへの注意が分散し、一部の検
「 LLMに「徹底調査」させたらかえって精度が下がることがある」
あるコードの使用ライブラリをバージョンアップするときに、
1回目は非互換コードAがあるか探させました。
そのあと2回目で、他の非互換コードB,C,D,E,Fもないか徹底的に調査してくださいとお願いしました。
そしたらなんと「徹底調査」が誤検知をしていました。
逆に徹底調査とお願いした方がミスをしたことの原因をClaude Codeに考えさせたところ、
「タスクの過負荷: 1回のエージェント呼び出しで20以上のパターンを探させた。各パターンへの注意が分散し、一部の検
Version 1.4.3 -> 2.2.36 にアップした。
Version 1.4.3 -> 2.2.36 にアップした。
---
AI: ただ、これは大きなリファクタリングになるので、○○が完了してからの方がいいと思います。今は進めますか?それとも
*** のテストを先に?
わし: うーん、t-wadaだとどうすると思いますか?
AI: t-wada さん(和田卓人さん)のアプローチだと、おそらく:
「まずテストで保護してからリファクタリング」
つまり、今のコードを変更する前に、現在の動作を保証する**特性テスト(Characterization Test)**を書くと思います。
---
AI: ただ、これは大きなリファクタリングになるので、○○が完了してからの方がいいと思います。今は進めますか?それとも
*** のテストを先に?
わし: うーん、t-wadaだとどうすると思いますか?
AI: t-wada さん(和田卓人さん)のアプローチだと、おそらく:
「まずテストで保護してからリファクタリング」
つまり、今のコードを変更する前に、現在の動作を保証する**特性テスト(Characterization Test)**を書くと思います。
有料記事がプレゼントされました!12月11日 08:01まで全文お読みいただけます
自国国旗を損壊したら処罰?守るべき法益はあるか、憲法学者の問い:朝日新聞 digital.asahi.com/articles/AST...
有料記事がプレゼントされました!12月11日 08:01まで全文お読みいただけます
自国国旗を損壊したら処罰?守るべき法益はあるか、憲法学者の問い:朝日新聞 digital.asahi.com/articles/AST...
12月08日 23:15 震度6強
【青森県】青森県三八上北
▶生放送で解説中
https://youtube.com/live/hc3_ZasO_SE
最新地震情報
https://weathernews.jp/s/topics/202512/082315quake/
12月08日 23:15 震度6強
【青森県】青森県三八上北
▶生放送で解説中
https://youtube.com/live/hc3_ZasO_SE
最新地震情報
https://weathernews.jp/s/topics/202512/082315quake/
自分の言葉で語ることで賞賛された石破茂前首相
自分の言葉で語ることで賞賛された石破茂前首相
vs
自分の言葉でしゃべることで賞賛され真に勉強家であることが知れ渡る石破茂前首相
「首相は7日の答弁で「戦艦」という用語を使い発言した。戦艦は通常、戦前の海戦によく用いられた巨砲を搭載する軍艦の一種を指す。現代の海軍はこうした「戦艦」は保有せず、空母や戦闘機、ミサイル、無人機などを組み合わせて防衛する体制を組む。
防衛省が現代戦の文脈で「戦艦」といった用語を使うことはない。首相の発言は防衛省が用意した答弁ではなく、自身の言葉だったことをうかがわせる。
神保氏は「言葉を精査してシグナルを送る覚悟がないと抑止力を使いこなせない」と警鐘を鳴らす。」
www.nikkei.com/article/DGXZQO...
歴代の首相はどんな状況が「存立危機事態」にあたるかの線引きをあえてあいまいにしてきました。
首相経験者の一人はどういうケースが存立危機事態にあたるかという議論に関し、国会で「言っていいわけがない」と話します。
vs
自分の言葉でしゃべることで賞賛され真に勉強家であることが知れ渡る石破茂前首相
「首相は7日の答弁で「戦艦」という用語を使い発言した。戦艦は通常、戦前の海戦によく用いられた巨砲を搭載する軍艦の一種を指す。現代の海軍はこうした「戦艦」は保有せず、空母や戦闘機、ミサイル、無人機などを組み合わせて防衛する体制を組む。
防衛省が現代戦の文脈で「戦艦」といった用語を使うことはない。首相の発言は防衛省が用意した答弁ではなく、自身の言葉だったことをうかがわせる。
神保氏は「言葉を精査してシグナルを送る覚悟がないと抑止力を使いこなせない」と警鐘を鳴らす。」
www.nikkei.com/article/DGXZQO...
歴代の首相はどんな状況が「存立危機事態」にあたるかの線引きをあえてあいまいにしてきました。
首相経験者の一人はどういうケースが存立危機事態にあたるかという議論に関し、国会で「言っていいわけがない」と話します。
「首相は7日の答弁で「戦艦」という用語を使い発言した。戦艦は通常、戦前の海戦によく用いられた巨砲を搭載する軍艦の一種を指す。現代の海軍はこうした「戦艦」は保有せず、空母や戦闘機、ミサイル、無人機などを組み合わせて防衛する体制を組む。
防衛省が現代戦の文脈で「戦艦」といった用語を使うことはない。首相の発言は防衛省が用意した答弁ではなく、自身の言葉だったことをうかがわせる。
神保氏は「言葉を精査してシグナルを送る覚悟がないと抑止力を使いこなせない」と警鐘を鳴らす。」
www.youtube.com/watch?v=psey...
www.youtube.com/watch?v=psey...
www.youtube.com/watch?v=psey...
$\| - \|$
添付画像はそれをMathtodonで投稿した様子
$\| - \|$
添付画像はそれをMathtodonで投稿した様子