23 分鐘,是第一個原型的時間
我在 Codex 裡給 Astra 一段大約 360 字的需求:想做一個像 GTA 的溫哥華開放世界,有市中心、水岸、山、Stanley Park、咖啡店和 SkyTrain,可以走路、騎腳踏車。
23 分鐘後,它做出了第一個能玩的版本,自己查資料、測試、開瀏覽器,修正攝影機和行走邊界。這是我這次實驗的可玩原型,不是完成品,也不是模型排行榜的測試結果。
我沿著六層,找回自己做過的決定
- LLM:把問題說清楚,並分辨宣傳中的能力和自己用到的能力。
- Context:決定什麼資訊必須交代。我給了想要的元素,卻把很多「怎麼做」留白。
- RAG:查資料可以交出去,但仍然要問:誰決定資料是否正確、適不適用?
- Agent:讓它使用工具和執行動作。安裝套件、啟動服務、使用測試工具時,我仍有明確授權,資料夾和網路的邊界也需要先畫好。
- Harness:支撐模型工作的整套流程,包含記住進度、重試、停下來,以及提問後到底會不會等我回答。
- Evaluation:檢查是否符合真正的需求。測試通過與我願意驗收,是兩個需要分別確認的結果。
四個問題,我一題都沒有回答
它問過我要瀏覽器版還是桌面版、什麼視角、地理要多準、只走路騎車還是也要車輛和任務。我刻意不回答,想看看它能自己走多遠。
九秒後,它繼續做下去,替那些空白選了預設答案。最後我最不滿意的,剛好就是地理的真實程度。那不是一個我早就說清楚、它卻沒做好的標準;那是我把決定留白的地方。
測試全過,但他反著坐在腳踏車上
腳踏車模式能切換,按 W 有速度,測試也通過了。但我打開畫面,一眼看到角色反著坐。
這次的測試沒有涵蓋騎乘姿態。它提醒我,驗收條件不能只從現有程式碼倒推;還要回到一個人實際使用時,什麼樣子才算合理。
下次模型更新,我會怎麼看?
我會看獨立評測,也會分開看模型和外圍流程的改變。測試條件跟我的工作接近嗎?工具、時間和成本限制相同嗎?最後,還是要拿自己的任務試一次。
在開始之前,我也可以先請 AI 做一次失敗預演:
假設現在是半年後,這個專案徹底失敗了。請列出導致它失敗的五個最可能原因。
這六層可以幫我省下很多操作,但每一層仍然藏著需要我選擇的事情。
AI 從來沒有接走你的工作——它只是在你放棄思考的每一個瞬間,替你做出了決定。
