もう一度通すと
AI の出力は毎回変わります。どのくらい変わるのかを確かめるため、空の MT・同じキット・同じプロンプトで、 3-1 と 3-2 をもう一度実行しました。
依頼主として返す答え(3-1 の2回目)だけは、設計書の問いが変わったので書き直しました。方針は1回目と同じです (手元の MT で組む、アカウント、マガジンのカスタムブロックは使わない)。
比べると
| 1回目(本文の記録) | 2回目 | |
|---|---|---|
| サイトの構成 | ウェブサイト1つ + ブログ3つ(お知らせ・プレスリリース・マガジン) | ウェブサイト1つだけ |
| お知らせ・プレスリリース・マガジン | 記事 | コンテンツタイプ |
| 担当ごとの権限の切り方 | ブログごとに組み込みの「編集者」ロール | コンテンツタイプごとの独自のロール(広報・編集部) |
| 3-1 設計書(2回分) | 100ターン・約7分半 | 113ターン・約13分半 |
| 3-2 構築 | 119ターン・約18分 | 313ターン・約23分 |
| 詰まったところ | 7 | 19 |
| モックアップとの一致 | 47ページとも一致 | 47ページとも一致 |
| 頼んだことを守れなかった点 | なし | 最初の数回の書き込みで MTB_AUDIT_NOTE を入れ忘れた(自分で気づき、記録に書いた) |
設計の基本構成から変わりました。 どちらも要件メモの「広報と編集部は、自分の担当以外を触れないようにしたい」を満たす案で、 1回目はブログで分けて、2回目はコンテンツタイプとロールで分けて実現しています。 MT で CMS を構築する人から見ても、どちらも成り立つ設計です。
一方で、完成したサイトは変わりませんでした。 どちらもモックアップの47ページを同じ URL・同じ HTML で公開し、 原稿をすべて入れ、担当ごとの権限も正しく分かれていました。
ここから分かること
- 設計書を人間が読む段は省けない。 同じ頼み方でも、毎回違う案が出ます。どちらの案が自分たちの運用に合うか (ブログを分けたいか、1つのサイトで持ちたいか)は、人間が決めることです。3-1 で設計書を書かせて読むのは、このためです
- 「確かめさせる」頼み方で、完成したサイトが同じ状態になる。 経過(ターン数・詰まった数)は大きくぶれましたが、 「最後に確認の項目を確かめて記録に書いて」と頼んだことで、どちらもモックアップとの突き合わせまで済ませていました
- 時間と手数は2倍近く変わる。 2回目は詰まったところが多く、手数が3倍近くかかりました。見積もりは幅を持って立ててください
- 記録を読む。 2回目は監査のための説明の付け忘れを自分で「守れなかったこと」として書いていました。
build-log.mdは、AI が何をしたかを人間が確かめるための一次資料です
2回目で見つかった新しい罠(ロールに未知の権限名を渡すとエラーにならずに無視される、コンテンツタイプのタグの欄に API で値を入れられない)も、 mtb の資料(mtb llm とうまくいかないとき)に書き足しました。