ssrf.dev

Claude Codeでグレーボックステストの自動化をしたいね

ここ数日ARTEXがまた盛り上がっているんだけど、個人的にはもう少しレベルの低い(?)ところで停滞している。具体的には、静的解析でWebアプリケーションの脆弱性を探索するところから少し進んで、動的な再現確認をどうやらせるかについて思いを馳せているところ。

汎用性を持たせたエージェントでは、静的解析だけではあまり深掘りできない。後からバニラのエージェントに調査させて、ようやくその問題が成立するかどうかがわかる、というところで今もがいている。事後検証がボトルネックになっているので、とりあえずボトルネックをもうひとつ後段(≒トリアージ)に持っていきたい。

世の中的にはブラックボックステストをやるサービス・製品もけっこう出てきていて、少し遅れているかも。まぁでも、必要と思ったときに必要と思ったことをやっているんだから致し方なし。静的解析でそこそこの精度が出せる感触を得た上で、動的な再現確認の必要性を改めて認識している、というのもありそう。

静的解析の範疇だと、良くも悪くもエージェントにできることには限界があるし、探索そのものについてはだいぶ型が定まっている印象がある。一方、動的に何かを検証させようとすると考えることがかなり増えるから、実用化は一筋縄じゃいかないなぁと思う。

複雑なビジネスロジックを抱えるアプリケーションでは、人間が検査をするときと同じ苦労が必要になる。たとえば次のあたりが個別性を要する部分で、何かしらのサービスに完全にお任せしても「動かせばなんとかなりそう」という感触を得られない要因なんだろうな、と。

極論をいえば、あらゆるデータや状態を再現できるデバッグ機能があれば良くて、それは当然開発やQAにも役立つので、あるに越したことはない。ただ、セキュリティエンジニア視点での「状態」には、通常の画面操作ではまず起こりえないものが含まれていたりする。QAエンジニアのそれよりもさらにエッジを突くことも多いので、都合良く共用はできないというのもよくある話なのかなーと思う。(このへんは会社によりそう)

そうすると、データストアまで含めて「状態」を構成する要素のすべてをエージェントの管理下に置いてしまえばいいじゃないか、となる。でも今度は、(これも会社によりそうだが)データストアまで含めて何もかもが独立した環境を準備するのが大変、という問題にぶち当たる。管理のしやすさでいうと、やはりローカルで動かすのがベストなんだろうな、というのが今のところの印象。

そんなことを考えながら最近何をやっているかというと、とりあえずバニラのエージェントでどこまでやれるか試してみようということで、Claude CodeでOSSの脆弱性をひたすら探している。

ソースコードとそれをホストしたコンテナを渡して、データとか設定とかは好きにしていいよ、という環境だけ整えたら、あとはひたすら探索と再現確認を繰り返すだけ。これでもけっこうworkするので、ちゃんとハーネスを整えたらものすごい火力になるんだろうなーと思う。

回していて気になる点もいくつかある。追加の指示で解消できるレベルではあるものの、自走させようとするとエージェントの外に振る舞いの良し悪しの判定器を置きたくなるなぁと思った。気になったのは以下の点。

網羅性を求めていないために生じている問題もあるように思うので、自由自在に扱えるようになるまではまだまだかかりそう。