AI 推進エンジニア(全社 DX／業務改革)向け
AI エージェントを、
作って・測って・止める仕組みごと。
13 本のエージェントを自前で作り、実モデルで評価しました。このサイトの動画は、各作品の操作画面を実際に動かした録画です。うまくいかなかったことと、まだ検証できていない範囲も同じ場所に書いています。
- 13エージェント
- 0誤った書き込み(⑫)
- 0人に渡すべき問い合わせの取りこぼし(⑩)
- $0追加課金(claude -p で評価)
作品 13 本 カードを押すと、実際の実行を再生します
募集要件との対応
| 要件 | 証拠 | 限界 |
|---|---|---|
| AI エージェントの実装／設計 | 13 本すべて。共通の自前ループ(最大ステップ・タイムアウト・リトライ・並列ツール・構造化ログ・外部データを「信頼できないデータ」として区切る)を作り、全作品で再利用。設計の見せ場は ⑩ ⑪ ⑫ ⑬ | フレームワークは使っていない(原理を理解するため) |
| LLM の利用経験 | 全 13 本で実モデルを評価。LLM アダプタを差し替え可能にし、追加課金なしで評価を再現できる | API キー直指定は課金経路なので既定にしていない |
| AI 駆動開発 | 全リポジトリを Claude Code で作成。規約(CLAUDE.md)・状態(PROGRESS.md)・小さなコミット。評価駆動: 判定器の欠陥を見つけて直し、直したことを開示 | 検証の根拠はテスト数と評価設計(独立した正解・隠しテスト) |
| 社内ツール(非エンジニアが使える形) | ⑦ ⑧ ⑩ ⑫。入口は CLI +「承認」の人間確認。各 README にコピペで動く手順 | 画面つきの社内ツールとしては未実装 |
| AI 導入支援／社内施策の企画 | 全 README の「導入するなら」節: 最初は dry-run／下書きで人が読む期間、権限は最小、効果の測り方、コスト。⑪の否定的な結果も判断材料として掲載 | 実際の導入・定着の経験は、ここでは示せない |
| 能動性 | 評価で自分の実装の穴を見つけて直し続けた記録(各 README の「失敗と改善の履歴」) | |
| ステークホルダー調整・折衝・PM | コードでは証明できません。面談で経歴から説明します |
正直な総括
うまくいかなかったこと
- ⑪ マルチエージェントは、単一エージェントと同じ 10/10 で、コストは 3.7 倍。優位は測れなかった。
- ⑫ 動的ツール読み込みは、12 ツールではコスト 1.6 倍で得にならなかった。
- ⑧ ⑫ ⑬ 初回の不合格は、モデルの誤りではなく私が書いた判定器の欠陥だった。直して再実行し、直す前の結果も残してある。
まだ検証できていないこと
- Gmail・カレンダー・GitHub・Jira・Notion・Slack・EC／CRM・実在のウェブサイト。いずれも自作のモックやフィクスチャで検証。
- 人による採点はしていない。評価データはすべて自作の架空データ。
- モデルの出力を見てから判定器を直したものは、盲検の評価ではない(各 README に開示)。
この動画について
各作品に、デモ用の操作画面(UI)を作り、Playwright(ヘッドレス)で人と同じように操作して録画しました。画面の裏では、各リポジトリのコードがそのまま動いています(UI は表示と操作だけで、承認の要否・禁止・エスカレーションの判断は元のコードが行います)。LLM は claude -p。録画は実際の所要時間のままで、出力は加工していません。モデルの出力は実行のたびに変わります。
画面の中身は自作の架空データです(店舗・注文・メール・社内規程・Jira/Notion/Slack など)。実在のサービスには接続していません。各作品の詳細ページの末尾に、コマンドで実行した場合の端末出力も載せています。