一天把原型做成給客戶 Demo 的報表系統:AI agent 做了什麼、我做了什麼
11 月 2 日早上九點,我手上只有一份自己整理的需求:幫一家製造業客戶做「自助報表」,讓業務、生產、採購主管和老闆,打開網頁就看到自己的儀表板,也能自己拖拉欄位組報表。到了下午四點,這個系統已經直接連著客戶的資料庫,四種角色各有一套首頁,合併進主線,可以拿去給客戶 Demo。整天寫程式、跑測試、查資料庫的都是 Claude Code,我負責下指令和做決定。開發都在公司的 Windows 電腦上;隔天我才在另一台 Mac 上把專案拉下來實際跑。
回頭看,能一天做完,關鍵不是 AI 寫得快,而是分工切得清楚:要做什麼、做到哪裡,我來定;欄位怎麼對、測試怎麼寫,交給 AI 照它的建議先做;會傷到客戶資料的事,用程式擋死,不靠它自己小心。 下面照時間順序講,最後整理兩個最值得記下來的坑。
要做的東西:主管自己組報表
「自助報表」的意思是,不用每次都請資訊人員寫 SQL(資料庫查詢語言),主管自己在網頁上選欄位、選條件,就能拿到報表和圖表。
這次的系統有幾個特點:
- 只讀不寫:直接查客戶的 SQL Server(微軟的資料庫軟體),但不寫入任何一筆資料。
- 後端很小:Node 22 直接執行 TypeScript,不另外建置,只裝了一個連資料庫的套件。
- 前端一個檔:整個畫面就是一個 HTML 檔。
- 設定存成 JSON 檔:誰建了哪張報表、哪個儀表板,存在本機的檔案裡,不寫進客戶的資料庫。
一天的時間軸
| 階段 | 時間 | 做了什麼 | 結果 |
|---|---|---|---|
| 可點擊原型 | 08:56–09:57 | 照需求做出按鈕真的能按、數字真的算得出來的原型 | 需求附的 14 項驗收,13 項通過(拖曳那項自動化測不到) |
| 原型轉 POC | 10:47–11:09 | 討論能不能接真的資料庫,寫好交接計畫 | 定案「在測試庫開發、連線可切換」 |
| POC 五個步驟 | 11:09–12:24 | 欄位對照、驗 SQL、後端、前端改接、真實資料驗收 | 後端 44 條自動測試 |
| 改接客戶 Staging | 13:51–14:12 | 換到資料量大的客戶測試環境重驗 | 查詢全部逾時(見後面的坑一) |
| 轉成給客戶的版本 | 14:13–16:12 | 四種角色的儀表板、個人版、版面重做 | 10 個工作項目,每項先寫測試再寫程式,合併回 main |
隔天早上,我在另一台 Mac 從零 clone(把整個專案複製一份到新電腦),16 分鐘內抓到並修好一個從第一天就存在的 bug(見後面的坑二)。
POC(Proof of Concept,概念驗證)是用最少的力氣證明「這條路走得通」,跟原型不同的是,它接的是真的資料。
方向我定,細節交給 AI
一整天下來,我在 Windows 那台回答了 37 題 AI 的提問,只有 2 題沒選它推薦的選項。但真正改變方向的,是我主動插話的那幾次。
第一次是「真系統」的誤會。 我說「我的想法是做出真的系統出來」,AI 理解成要上線給工廠用的正式系統,建議先跟現成的開源 BI 工具比較,自己做的話改用 .NET 加 Vue。五分鐘後我更正:
「我說的真系統是 poc 用的系統啦!不是給生產用的」
它把那套建議整個收回,改成沿用原型的前端、加一個 Node 後端。
第二次是下午兩點多的大轉向。 POC 在客戶 Staging 上跑通,我就想直接拿它去給客戶 Demo,於是說:
「另外他已經不是 prototype 了,是要真的系統,不要做成像原型一樣的……我的重點是要給客戶的版本」
AI 接著一次問一題,問出四種角色各有儀表板、管理員派發、主管自己改只影響自己這些規則。帳號和角色先不接,左上角放一個暫時的角色切換就好。這些規則,AI 整理成一份設計文件,再照它拆成工作項目實作。
第三次是授權。 問題越問越細時,我說:
「所有問題,依你的建議先做,到時候 Demo 給客戶時還會在調」
這之後 AI 自己做了 38 個決定,每一條都在設計文件裡標「(我的判斷)」。事後我逐條看過,沒有需要推翻的。最後的 code review(程式碼審查)找到 0 個嚴重問題、4 個重要問題(全部修掉)、11 個小問題延後處理。
AI 也會說錯。它曾告訴我畫面上有「還原預設」按鈕,其實沒有;後來寫操作手冊、拿程式碼逐一比對按鈕名稱時,它自己發現並更正,同一輪還對出另外 6 處手冊和程式不一致。
讓 AI 碰客戶資料庫:靠程式擋,不靠它小心
POC 階段為了快,我沒多想就沿用了現有的資料庫帳號,它不是唯讀的。這代表帳號本身擋不住寫入,只能在程式這一層擋:
- SQL 全由白名單產生:欄位、條件、加總方式只能從設定檔裡挑,使用者輸入的值一律參數化(當成資料傳進去,不會被當成指令執行)。
- 送出前再檢查一次:只能是 SELECT(查詢),不能有分號和任何寫入類的關鍵字。
- 上限寫死:明細最多 2,000 列、彙總最多 500 組、每次查詢 15 秒逾時。
- 不重複打客戶主機:查詢結果快取 10 分鐘,「重新整理」每人每分鐘限一次,避免一群主管同時打開首頁就對客戶主機打一輪查詢。
帳密的處理也是同一個想法。我填資料庫密碼時連續登入失敗,AI 沒有去讀密碼內容,只檢查長度和字元種類;失敗到第 5 次就停手,避免把帳號鎖住,再去讀資料庫的錯誤紀錄,判斷是「密碼不符」而不是程式問題。結果是我自己打錯了。隔天在 Mac 上設定連線時,它建好設定檔、用編輯器打開讓我自己填,密碼完全沒有經過對話。
坑一:測試庫 0.2 秒,客戶庫 15 秒逾時
在公司的測試庫上,每支查詢都在 60 到 240 毫秒之間回來。換到客戶的 Staging(正式環境的複本,資料量大很多),全部超過 15 秒逾時。
AI 照「一次只改一個變數」的方式排查,依序排除了資料被鎖住、資料庫沿用舊查詢計畫、欄位型別不一致、重複資料這些可能。最後發現,查詢要把明細和客戶基本資料表 JOIN(依共同欄位接起來);只要在 SQL 裡加一句提示,指定資料庫用 HASH 的方式接,查詢就秒回。
推定的原因(拿不到實際的執行計畫,所以只能說「很可能」):接起來用的欄位沒有索引(資料庫的目錄,讓它不用整張表翻),資料庫卻選了巢狀迴圈的接法,等於拿每一筆去另一張表從頭找一遍。測試庫資料少,這樣找也很快,所以一直沒露餡。加索引要改客戶資料庫的結構,而這個系統的原則是只讀不寫,所以這條路不走。
修法只改設定檔,查詢的意思不變:先把明細彙總,再用 HASH JOIN 接起來。效果:
- 出貨下鑽(從彙總數字點進去看明細)從 9 到 12.5 秒,降到 1 秒內。
- 客戶 Staging 上常見查詢 0.2 到 0.6 秒,最慢 1.16 秒。
- 另外手寫 SQL 算同樣的數字,和系統算的對帳,15 組指標差異全為 0,代表改寫沒有改到結果。
AI 當時的結論是:直接查客戶正在使用的業務資料庫時,SQL 怎麼寫,比資料量更決定快慢。
還有一個沒解掉的:機台稼動率第一次查要 12 到 15 秒,之後只要 0.3 秒。這是資料庫「冷啟動」,資料還沒讀進記憶體。目標是 3 秒內,這一項沒達標,處置是 Demo 前先暖機:先把這支查詢跑一次。實際 Demo 時照做了,現場沒有卡住。
坑二:新電腦 clone 下來,報表一張都沒有
隔天早上,我在 Mac 上從零 clone 這個專案。專案放在 Azure DevOps(公司用的程式碼平台),新電腦要用 SSH 金鑰連線才拉得下來,這裡卡了三關:新電腦不認得 Azure DevOps 這台主機、金鑰還沒登錄,登錄時畫面又說只接受 RSA 格式的金鑰。AI 另產一把 RSA 金鑰,只指定給 Azure DevOps 用,原本給 GitHub 的金鑰不動。
clone 成功、連上資料庫之後,畫面正常,但每個角色看到的報表都是 0 張。我問:
「為什麼沒有預設的報表?」
原因是:報表定義存在一個 JSON 檔,這個檔被 gitignore(設定成不進版本控制),所以每個新 clone 一定沒有它。程式在檔案不存在時從空白開始,預設資料只有呼叫「重設」才會載入。開發的那台 Windows 一直留著舊檔,所以從第一個 commit 就存在的 bug,整天都沒人發現。
修法照 TDD(測試驅動開發):先寫一個測試「檔案不存在而且有預設資料時,就用預設資料開始」,看它失敗,再改程式讓它通過。改完把檔案移開、重新啟動實機驗證,一打開就有 17 張報表、5 個儀表板。
巧的是,同一時間我也在 Windows 那台問了同一個問題,兩邊的 AI 各自查到同一個原因、寫出同樣的修正。Mac 先 push 上去,Windows 那邊就丟掉自己的版本,改接 Mac 的。
收穫
- 方向要人盯。 AI 一整天提問很多,我大多選它推薦的;真正救回方向的,是我看到它理解錯時立刻插話的那幾句。
- 授權要留痕跡。 「依你的建議先做」很省時間,前提是它把自己做的每個決定標出來,事後翻得到。
- 安全不能靠提示。 帳號不是唯讀,就在程式裡把 SQL 限制死;密碼不經過對話,就讓人自己在編輯器裡填。
- 測試環境跑得動,不代表正式環境跑得動。 資料量差很多時,同一句 SQL 的快慢會完全不同。
- 新 clone 是最好的測試。 開發機上留著的舊檔案,會把 bug 藏起來。
這個版本後來實際給客戶 Demo 過,客戶反應不錯。就像我當時說的「到時候 Demo 給客戶時還會在調」,接下來會照客戶的意見繼續調整。
後續:另做一個任何人都能打開的示範站
11 月 6 日,我請 AI 另做一個能放上網路的版本:
「可以幫我清一清有關公司相關資訊的東西,然後要有產生Demo資料的功能」
給客戶的版本留在原處不動,新版本放在全新的程式庫,不帶舊的版本紀錄。原本查客戶資料庫的部分整個拿掉,換成 SQLite(存成一個檔案的小型資料庫),裡面的客戶、供應商和機台都由程式產生。品牌、資料表、業務規則和配色也一起換掉。
資料怎麼產生,我只提一個要求:
「啟動都會自動產生就好,除非資料庫不存在或壞了就自動產生,不用按鈕了」
示範站放在 Render 的免費方案,沒有登入,任何人都能編輯。所以 AI 加了數量上限,而且站台重啟後會回到初始狀態。閒置一段時間後站台會休眠,下一個訪客要等它醒來;實測閒置 18 分鐘後,喚醒花了 22 秒,報表也回到初始的 17 份。
這次最值得記的是公開前的檢查。AI 先用一份不放進程式庫的名單比對舊字樣,再請另一個 AI 掃描,抓到一些不含公司名、但看得出來源的線索,例如用不到的樣式和舊的測試內容,這些也一併清掉。
站台一公開,任何人都能存內容,安全漏洞的影響也跟著變大。審查抓到 2 個儲存型 XSS:有人存進惡意內容,別人打開畫面時就會被執行。修好後,AI 用瀏覽器實際走一遍,又找到審查漏掉的第 3 個。3 個都修掉後,再走一遍沒有再被執行。
這一段再加兩個收穫:
- 換了使用的人,要重新看安全。 從「只給客戶看」變成「任何人都能打開」,以前可以接受的東西就不一定能接受了。
- 審查和實際操作要一起做。 看程式抓到的問題,和實際操作碰到的問題不一定相同。
名詞解釋
-
SQLite:把整個資料庫存成一個檔案的小型資料庫軟體,不用另外架伺服器。
-
Demo 資料:由程式產生的假資料,用來展示功能,不對應任何真實公司。
-
Render:把網站放上網路執行的雲端平台,免費方案閒置後會休眠。
-
休眠/喚醒:站台沒人使用時先暫停,有人再來才重新啟動,所以第一個訪客要多等一下。
-
XSS(跨站腳本攻擊):讓惡意程式碼在別人的瀏覽器裡執行。內容被存進網站、別人打開就中招的,叫儲存型 XSS。
-
Claude Code:Anthropic 出的 AI 助理,能在電腦上讀檔、寫程式、執行指令。
-
AI Agent:會自己使用工具、一步步完成任務的 AI,不只是一問一答。
-
自助報表(Self-service BI):讓不會寫程式的人自己在畫面上組報表和圖表的系統。
-
原型:做出外觀和操作流程、讓人看了能討論的樣品,通常不接真的資料。
-
POC(Proof of Concept,概念驗證):用最少的力氣、接真的資料,證明一個做法走得通。
-
SQL/SQL Server:SQL 是查詢資料庫用的語言;SQL Server 是微軟的資料庫軟體。
-
Staging:正式環境的複本,資料和正式的接近,拿來在上線前測試。
-
JOIN:把兩張資料表依共同欄位接起來查詢。
-
HASH JOIN/巢狀迴圈:資料庫接兩張表的兩種方法。巢狀迴圈是拿每一筆去另一張表找,資料少時快;HASH JOIN 是先把一邊整理成速查表再對,資料多時快。
-
索引:資料庫的目錄,讓它找資料時不用整張表翻一遍。
-
參數化:把使用者輸入的值當成資料傳給資料庫,不讓它被當成指令執行,用來防止資料被竄改。
-
白名單:只允許事先列出來的項目,沒列的一律擋掉。
-
快取:把查過的結果暫存起來,一段時間內再查就直接拿暫存的,不再打資料庫。
-
冷啟動:資料還沒讀進記憶體時的第一次查詢,通常比之後慢很多。
-
JSON:一種常見的文字資料格式,程式和人都讀得懂。
-
clone:把整個程式專案(含歷史紀錄)複製一份到自己的電腦。
-
commit/push:把改好的檔案存成一個版本(commit),再傳到共用的程式碼平台(push)。
-
main/合併:main 是專案的主線版本;在旁邊另開分支做完、再併回 main 叫合併。
-
下鑽:從彙總數字點進去,看組成它的明細資料。
-
對帳:用另一種方法算同樣的數字,比對兩邊是否一致。
-
gitignore:git 的設定,列在裡面的檔案不會被存進版本紀錄,別人 clone 也拿不到。
-
TDD(測試驅動開發):先寫一個會失敗的測試,再改程式讓它通過。
-
code review(程式碼審查):寫完之後由另一個人或 AI 檢查程式有沒有問題。
-
SSH 金鑰:電腦連到程式碼平台時用的數位鑰匙,取代每次輸入密碼。RSA 和 ed25519 是兩種金鑰格式。
-
Azure DevOps:微軟的程式碼存放與專案管理平台,和 GitHub 類似。