語音助理做好了:小小誕生的一天
11 月 5 日早上 9 點 11 分,我對 Claude Code(一個會自己讀檔、寫程式、執行指令的 AI 助理)打了這段話:
我昨晚想到一個idea,因為我們做出了一個「小小」的顧問,我想設計一個「小小」AI 助理,有點像「小度」……
小度是百度的語音助理。我之前先做了一個能在會議中回答問題的版本,這次想把它變成平常就在的助理。
寫下第一個 commit(版本紀錄)之前,我們先用錄好的音檔跑過整條流程:問題講完後 1.4~2.3 秒,它就開口回答。但能回答還不算產品。那一天的 56 個 commit 都是和 AI 一起完成的,而我一路在回答另一批問題:它該做成什麼形式、別人裝不裝得起來、第一次打開走不走得完、平常待在哪裡、什麼時候不該聽。
中午 12 點 34 分,第一版 Mac 安裝檔發布。到晚上 10 點多,開發中的版本多了桌面小角色和休息模式,也在 Mac 上測過了。
目前小小還在試用中。現在能下載的只有 Mac 第一版,裡面還沒有小角色和休息模式;這兩項和 Windows 版都還在開發,尚未發布。原始碼和安裝說明在 GitHub。
它要做什麼
小小是一個待在電腦桌面的語音助理。說「嘿,小小」,或按快捷鍵,它回一句「我在」,接著就能聽你說話:
| 你說 | 小小會 |
|---|---|
| 一公斤幾公克 | 直接回答 |
| 台北今天會下雨嗎 | 上網查,再唸結論 |
| 提醒我三點開會 | 複述「今天下午三點」,你說「對」才建立 |
| 計時十分鐘 | 在電腦上開始計時,不用連網 |
使用前要先裝好 Claude Code 並登入。問 Claude 會算在你自己帳號的用量裡。
第一題:做成什麼形式
我一開始就有兩個方向:做成 skill(教 AI 助理做某件事的說明書),或做成獨立的 app。接著我追問了一串一般人使用時會碰到的問題:
做出來的小小目前是設計成一個skill對嗎?使用情境在一般使用者狀態下要怎麼使用?會不會耗電?會不會耗token?一定要有ai嗎……
這些問題定下了產品的邊界:
- 做成 app。 skill 只在 AI 助理的對話開著時才存在,沒辦法整天待命。
- 聲音留在電腦上。 喚醒(聽到「嘿,小小」)、聽寫(把話轉成文字)、說話都在電腦上完成,只有問題的文字會送到 Claude。設計目標是沒叫它時不花 token(AI 計算用量的單位)。
- 簡單的事不用 AI。 報時、計時這類固定指令在電腦上直接做,連不上 Claude 也能用。其他問題才交給 Claude,先判斷能直接答、要查資料,還是要做事,這一步叫分流。
- 不碰你的登入。 app 不自己做 Claude 登入,也不讀登入憑證,只呼叫你自己登入好的 Claude Code。設計文件把違反這點列為「做到就算失敗」的事。目前這種接法是為自用和小範圍試用設計的,要正式推廣給更多人之前,還要重新評估。
- 要寫東西一定先問。 建立提醒、記筆記都先複述一次,你說「對」才做。
耗電這題還沒有答案:待命時的 CPU 和電池消耗都還沒量到有效的數字。
第二題:別人裝得起來嗎
只在自己電腦上會動的程式,還不算產品。中午前後,我開始處理安裝:
- 自動做出安裝檔。 用 CI(程式碼上傳後自動打包、測試的流程)產出 Mac 和 Windows 的安裝檔。
- 在乾淨的環境裝一次。 沒裝過任何東西的電腦,才測得出缺了什麼。
- 說清楚系統警告。 安裝檔沒有付費簽章,第一次開啟時系統會警告,安裝說明要寫清楚怎麼略過。
- 讓 AI 協助安裝。 安裝說明附一段提示詞,貼給 Claude Code,它就能幫你下載、安裝、檢查環境。需要你親手做的事,例如登入和按「允許」,它會停下來告訴你。
Mac 版當天中午就發了。Windows 版就沒這麼順。在實體機上喊了沒反應,追下去,有一個原因是收音元件碰到小狀況也會發通知,舊程式一律當成壞掉,一直重開收音。自動打包也失敗,又慢,所以我喊停:
能不能先不要push,你自產安裝檔給windows,全部測試成功後在跑ci
也就是先在測試機上自己打包,全部測過,才交給 CI。
這樣對照後,問題也現形了:把同一段話轉成文字,CI 打包的版本要 319 秒,測試機上自己打包的版本是 19.3 秒。程式一樣,只差在哪裡打包。原因還沒查出來,正式發布前要解決。
第三題:第一次打開走得完嗎
晚上 8 點多,我把 Mac 版移除乾淨,從頭走一次引導,也就是第一次啟動時帶你設定麥克風、聲音和 Claude 的幾個畫面。AI 測不到的問題,這時才一個一個跑出來。
沒看到按允許,且我的手機會跳
引導第 1 步要取得麥克風權限,舊做法是直接打開麥克風來觸發詢問,打開的又是麥克風清單上的第一支。我的 iPhone 開著接續互通(Apple 裝置之間互相借用功能,包括把手機當麥克風),於是手機跳了出來。AI 第一次的修法是忽略錯誤,但判斷錯了,引導畫面還是顯示沒拿到權限。改用系統提供的權限詢問功能後才解決。
第 2 步選完麥克風,要往下走的按鈕卻寫著「稍後再說」:
稍後再說 改為下一步才對吧!
這類問題,自動測試不會抓,因為程式都照寫好的邏輯在跑。它們只有在有人照新使用者的路走一次時,才看得出來。
第四題:裝好之後,它待在哪裡
走完引導,我提出下一批要求:
預設不要開機啟動,使用者打開小小時才起動,停多久小小才會休息?已設定完小小之後,下次就不用打開這個視窗了,能不能改為像ChatGPT 一樣有個小角色出來
原本小小只有選單列上的一個小圖示,看不太出來它有沒有在聽。改成小角色以後,表情會顯示它在待命、聆聽、思考、說話還是休息;點一下能說話,按右鍵能叫出選單。開機也不會自動啟動,你打開它才開始待命。
我參考的是 ChatGPT 那個可以拖曳的浮動小視窗,但只參考操作方式,造型規定要全部原創。AI 畫了四個草圖,我看完回:
我覺得4個都很可愛,可否4個都做,然後使用者可改,預設小訊
四個做好試用以後,我又要多四個,共八個,並在設定裡用抽屜打開來挑。多出來那四個的名字和造型都是 AI 提的。

第五題:什麼時候不該聽
一個整天待在桌面的語音助理,還要知道什麼時候該閉嘴。
通話時自動暫停。 小小偵測到別的程式在用麥克風,就會暫停,這樣通話時才不會搶話。這條規則當天就出了狀況:開兩個小小時,它們把對方當成別的程式,一直互相暫停。後來改成重複開啟時,只叫出已經開著的那一個。
休息時真的關麥克風。 AI 提過比較省事的版本:角色只是打瞌睡,喚醒詞照樣有效。我選了真的關,因為「它現在沒在聽」這句話必須是真的。代價是閒置 2 分鐘後,要先點一下才能喊「嘿,小小」。
定這段流程時,AI 太急了。我分好幾則訊息補充需求,還沒講完,AI 就開始改程式,改的方向還和我接著要說的相反:
先不要直接做啦。我的需求還沒說清楚
之後改成 AI 先把流程寫成表給我看,我確認了才動手。定案的流程是:
| 狀況 | 操作 | 小小的反應 |
|---|---|---|
| 閒置 2 分鐘 | 不用做事 | 不出聲,進入休息,關麥克風 |
| 休息中 | 點一下 | 說「嗯哼」,然後安靜待命 |
| 醒著 | 喊「嘿,小小」 | 說「我在」,聽完你的問題後回答 |
| 醒著 | 點一下 | 說「我在」,開始聽 |
晚上 10 點多,我在 Mac 上測過這套流程,回報 OK。
離能放心給人用,還差什麼
- Windows 太慢。 問完到開口要 22~25 秒。我在驗收清單訂的上限是 3 秒。
- Mac 也還沒全部達標。 需要 Claude 的問題,光是分流就要 4~5 秒。
- Windows 上的小角色和休息模式。 還沒實測。
- 喚醒準確度。 實驗裡真人樣本只有 2 次,都有叫醒,還不足以下結論。驗收標準是喊 20 次至少中 18 次,也還沒跑。
- 待命 CPU。 目標是增加不超過 1 個百分點,還沒量。曾經量到 0%,後來發現當時 app 處於暫停或已關閉,那個數字不算數。
- 簽章。 安裝檔還沒有付費簽章,第一次開啟要手動略過系統警告。
這一天的做法
回頭看,有三件事把它往產品推:
- 先問使用情境,再決定形式。 耗不耗電、耗不耗 token、一定要有 AI 嗎,這幾個問題直接把方向推向 app 和本機語音。
- 自己從頭當一次新手。 手機彈窗和按鈕文字都是重裝後才發現的。116 個自動測試通過,也不會告訴你這些。
- 需求還在講,就先別動手。 AI 動作很快,所以「先寫流程表、確認再改」這一步更有必要。
幾個數字和技術選擇
給有興趣的人參考,看不懂可以直接跳過:
- 規模:當天 56 個 commit(10:42~22:08,含還沒合併回主線的分支);Rust 程式 6,719 行,前端 821 行。
- 自動測試:116 個通過;另有 12 個要在真機上跑的測試,這次沒有跑。
- Mac 實測:聽寫約 1 秒,喚醒複核約 0.2 秒。
- Rust、Tauri 2、TypeScript:Rust 寫核心邏輯,Tauri 讓一份程式碼產出 Mac 和 Windows 版,TypeScript 寫畫面。
- sherpa-onnx、Whisper:喚醒分兩關。輕量的 sherpa-onnx 一直在聽,聽到疑似關鍵詞再交給 Whisper 複核,通過才回「我在」。
- Claude 的回答:用 Claude Code 呼叫,權限鎖在白名單內。
名詞解釋
- Claude Code:Anthropic 做的 AI 程式助理,可以在電腦上讀檔案、寫程式、執行指令。
- 小度:百度的語音助理。
- skill:寫給 AI 助理看的做事說明書,要在 AI 助理開著時才有作用。
- 喚醒詞:叫語音助理開始聽的那句話,這裡是「嘿,小小」。
- 聽寫:把說出來的話轉成文字。
- token:AI 服務計算用量的單位,問得越多、回答越長,用得越多。
- 登入憑證:證明「你已經登入」的資料,等於進門的鑰匙。
- 簽章:軟體開發者的數位簽名。沒有付費簽章的安裝檔,系統第一次開啟時會警告。
- commit:把一次修改存成一個版本紀錄。
- 分支:從主線複製出來的平行版本,確定沒問題再合併回主線。
- 打包:把程式做成使用者可以安裝的安裝檔。
- CI:程式碼上傳後,自動打包、自動測試的流程。
- 接續互通:Apple 裝置之間互相借用功能,例如把 iPhone 當成 Mac 的麥克風。
- 分流:判斷一個問題可以直接回答、要查資料,還是要做事。
- 引導:app 第一次啟動時,一步步帶你完成設定的畫面。
- 自動測試:一段檢查程式有沒有照預期動作的程式,每次修改後都能跑一遍。
- CPU:電腦負責運算的核心零件,用得越多通常越耗電。
- Rust:一種常用來寫高效能程式的語言。
- Tauri:用一份程式碼做出桌面 app 的工具。
- TypeScript:一種寫畫面和網頁程式的語言,會幫忙檢查資料型別寫錯的地方。
- sherpa-onnx:可以在自己電腦上執行的語音辨識工具,這裡用來偵測喚醒詞。
- Whisper:可以把語音轉成文字的模型,這裡在電腦上執行。