AIに完全オフラインのCTFフォレンジック解析ツールを作らせて、picoCTF過去問8問で検証してみた

これまでpicoCTFのフォレンジック問題を自力でコマンドを叩きながら進めてきたが、毎回 file や exiftool、strings、tshark などを順番に打って初期調査をするのが手間だった。そこで、一次トリアージを自動化するローカルWebアプリ 「CTF Forensics Workbench」 をAIに作成させた。

今回はこのツールにCyLab Academy上のpicoCTF常設問題8問を実際に放り込み、どこまで自動で解けるのか、どこに限界があるのかを検証した結果をまとめる。

注意:記事内には一部問題の解析アプローチに関するネタバレが含まれる。フラグ本体は academy{*****} のように伏せて記載している。また、今回検証したCyLab Academy環境ではフラグ形式が picoCTF{} ではなく academy{} などに指定されていたため、その点も踏まえた検証になっている。

作ったツール「CTF Forensics Workbench」の概要

Python(FastAPI / Scapy / Pillow)で構築し、PyInstallerでWindows単体の .exe にパッケージ化したローカル完結型の解析ワークベンチである。

  • 完全オフライン動作:ローカル(127.0.0.1)のみで動作し、外部LLM APIや外部サイトへの通信は一切行わない。
  • 対応ファイルとディープ解析:拡張子ではなくマジックナンバーで自動判別し、画像(PNGチャンク/CRC改ざん検知・追記データ切り出し・LSB抽出)、PCAP(HTTP/TCP/UDPストリーム・DNS・ICMP解析)、ディスクイメージ(.img.gz 自動展開・ext2/3/4のMACBタイムライン解析)、アーカイブ(ZIP・Gzip・埋め込みカービング)に対応する。
  • プチCyberChef&79種のフラグ形式ハンター:平文検索に加え、Base64 / Hex / ROT13 / 1バイトXOR(0x01〜0xFF)を自動試行してフラグを探索する。
  • Writeup&AIプロンプト自動生成:フラグが見つかった場合は再現コマンド付きの発見手順書を、深掘りが必要な場合は外部AI貼り付け用プロンプトをワンボタンで出力できる。
CTF Forensics Workbench:トップ画面

これまで手動だと問題ごとに以下のようにコマンドを打ち分けていたが、この初動部分をドラッグ&ドロップ1回にまとめるのが狙いである。

# これまで毎回手打ちしていた初期トリアージの例
file target_file
exiftool target_file
strings target_file | grep -iE "flag"
binwalk -e target_file

検証結果のサマリー(全8問)

全8問に投入した結果の内訳は以下の通り。デフォルト設定ではCyLab Academy固有の academy{} 形式が登録外だったため取りこぼしが起きたが、形式を指定し直すことで半数の4問が一撃で解けた。

picoCTF過去問8問の検証結果内訳(形式指定あり)

一撃解決(#1, #2, #4, #6)
手掛かりあり・自力併用(#5, #8)
未検出(#3, #7)
# 問題名 デフォルト academy指定 / 汎用ON 検証結果のポイント
1 Information 出力内 即検出 Base64自動デコード自体は成功。汎用ONだとROT13ノイズが1件混ざる
2 Glory of the Garden 出力内 即検出 trailing_data.bin の切り出しに成功。汎用ONだと同じくROT13ノイズあり
3 Corrupted file 未検出 未検出 意味のない hex_decode のみ出力され未検出
4 Wireshark doo dooo do doo… 抽出内 即検出 academy 指定ならROT13復号まで一撃。汎用ONだと4件中3件がノイズ
5 Wireshark twoo twooo two twoo… 大量出力 — 抽出欄にフラグ風の文字列が大量に出て目視での特定が大変
6 Timeline 1 形式違い 即検出 ext4タイムライン解析で中身を特定。picoCTF{} では通らず academy 指定が必要
7 Disk, disk, sleuth! 未検出 — 確定的なフラグ候補は検出されず
8 Matryoshka doll 途中まで — 埋め込みZIPの切り出しまでは成功したが、多重展開できず停止

① フラグ形式の指定で一撃解決した4問

デフォルト設定で候補欄が空になった問題が多かったが、これはツールの解析失敗ではなく、デフォルト65種に academy が未登録だったためだった。設定を変えることで挙動が一変した4問を紹介する。

1. Information

問題URL:CyLab Academy – Information

デフォルト設定では「検出されたフラグ候補」の欄が空だった。しかし下の「自動デコード結果」欄を見ると、base64_decode の結果として academy{*****} がしっかり出力されており、そのまま正解として通る状態だった。

フラグ形式へ手動で academy を指定すると無事にフラグ候補欄へ一発表示された。また、「汎用 PREFIX{...}」をONにした場合も検出できたが、正解文字列をさらにROT13変換した npnqrzl{*****} まで拾ってしまう副作用が確認できた。

Information:自動デコード
Information:academy指定後
Information:汎用PREFIX ON

2. Glory of the Garden

問題URL:CyLab Academy – Glory of the Garden

こちらも1問目と同じ傾向だった。デフォルトでは候補欄が空になるものの、「抽出・切り出しファイル一覧」に trailing_data.bin(57 B)が切り出されており、プレビュー内に Here is a flag: academy{*****} がそのまま表示されていた。手動で academy を指定すれば一発で候補に上がり、汎用 PREFIX{...} ON時は同じくROT13済みの npnqrzl{*****} が1件混ざる挙動となった。
まじでほぼ一緒なのでスクショは省略します。

4. Wireshark doo dooo do doo…

問題URL:CyLab Academy – Wireshark doo dooo do doo…

デフォルト実行では候補欄に出ず、抽出された http_stream のプレビューに Gur synt vf npnqrzl{*****} というフラグ風の文字列を見つけたため、最初は手動でCyberChefのROT13にかけてフラグを取得した。

しかしフラグ形式に academy を指定して再実行したところ、ツール側がHTTPストリームの抽出からROT13復号までを一気通貫で自動処理し、正解の academy{*****} を直接表示してくれた。さらに汎用 PREFIX{...} をONにして試したところ、正解は拾えたものの4件中3件がノイズという分かりやすい比較結果になった。

  • npnqrzl{*****}(ROT13復号前の元文字列)
  • academy{*****}(正解)
  • NPF_{...}(キャプチャ内のネットワークアダプタ由来GUID)
  • ACS_{...}(上記の NPF_{...} をROT13したもの)
Wireshark doo dooo do dooo:academy指定(1件)
Wireshark doo dooo do dooo:汎用PREFIX ON(4件)

6. Timeline 1

問題URL:CyLab Academy – Timeline 1

今回一番ツールの強みが出たのがこの問題である。圧縮されたディスクイメージをそのまま投入したところ、Pure Python製のext4タイムライン解析とBase64デコードが自動で走り、一発でフラグの中身まで到達した。

ただし元のデータにはプレフィックスが付いていなかったため、デフォルト設定ではツール側が補完した picoCTF{*****} と flag{*****} が出力された。問題文の指定は academy{} だったためそのままコピペしても不正解になるが、フラグ形式に academy を指定すると正しく academy{*****} として出力された。

Timeline 1:デフォルト出力
Timeline 1:academy指定

ちなみに、このときツールのWriteup出力機能では以下のような手動再現コマンド(SleuthKit)まで自動で生成される。

# ツールが自動生成する手動再現コマンドの例(Timeline 1)
gzip -dk "timeline-1-partition4.img.gz"
fls -r -m / "timeline-1-partition4.img" > bodyfile.txt
mactime -b bodyfile.txt -d | tail -n 30
icat "timeline-1-partition4.img" <inode番号> | base64 -d

② 手掛かりは掴めたが自力対応が必要だった2問

5. Wireshark twoo twooo two twoo…

問題URL:CyLab Academy – Wireshark twoo twooo two twoo…

抽出された http_stream の一覧に academy{...} のようなフラグ風文字列が大量に並んだ。ヒントになる文字列も混ざっているものの、ダミー候補の数が多すぎて一覧から目視で追うのはかなり大変だった。大量のノイズが仕込まれているパケットでは、結局 tshark などで条件を絞る工程が必要になる。

Wireshark twoo twooo two twoo…:汎用PREFIX ON

8. Matryoshka doll

問題URL:CyLab Academy – Matryoshka doll

フラグ候補は見つからなかったが、抽出ファイル一覧には trailing_data.bin および carved_0x4288C_embedded.zip(379,317 B、Zip archive data)が切り出されており、プレビューから内部に base_images/ 配下のファイルが入っているところまでは確認できた。1層目の埋め込みZIPを見抜くところまでは動いているものの、展開した中身をさらに再帰的に解析する仕組みが未実装なため、ここで止まってしまった形である。

Matryoshka doll:デフォルト出力-抽出・切り出しファイル一覧

③ 今回は歯が立たなかった2問

3. Corrupted file

問題URL:CyLab Academy – Corrupted file

フラグ候補・抽出ファイルともに出ず、自動デコード欄に 2222... の意味のない hex_decode 結果が表示されただけで終わった。ファイル先頭のマジックナンバー自体が破損していると画像と判定されず、画像解析モジュールが走らない仕様が原因である。

7. Disk, disk, sleuth!

問題URL:CyLab Academy – Disk, disk, sleuth!

一次解析を実行したものの、確定的なフラグ候補は検出されなかった。

検証で見えた課題と今後のアップデート案(v1.1)

8問にぶつけてみて、初動の定型コマンドを大幅に省ける手応えがあった一方で、実戦で引っかかる弱点もハッキリした。次回アップデートでは以下の4点に手を入れたい。

  1. 汎用 PREFIX{...} 時のノイズ削減:すでに平文やデコード済みでヒットした文字列に余計なROT13をかけて重複検出しないようにし、NPF_{GUID} のようなシステム由来の波括弧文字列も除外する。
  2. 多重アーカイブの再帰解析:Matryoshka doll のようにZIPの中にさらに画像やZIPが入っている構造を自動で掘り下げられるようにする。
  3. 破損ヘッダファイルの検知強化:Corrupted file 対策として、マジックナンバーが壊れていても拡張子やファイル内部のチャンク署名から破損箇所を推定・警告できるようにする。
  4. 大量ストリームの優先順位付け:Wireshark twoo twooo... のようなダミーが多いPCAPで、同一パターンの繰り返しを折りたたんで怪しい通信だけ浮かび上がらせる。

完全にワンクリックで全問解決とはいかないが、フラグ形式さえ正しく指定しておけば、これまで手打ちしていた初期トリアージからデコードまでを数秒で片付けられるのは十分に実用的だった。AIにツールを作らせるだけでなく、実際に過去問へ当てて潰し込むと改善ポイントが一気に見えるので、次はv1.1で今回解けなかった問題のリベンジをやってみたい。

もちろんこの原稿もほとんどAI。おかしい文はないといいけど…

コメント

タイトルとURLをコピーしました