北京
想在語(yǔ)音角色扮演聊天里加回復(fù)建議——就是每次AI說(shuō)完話，底下彈出三個(gè)“你接下來(lái)可以這么說(shuō)”的小氣泡。聽(tīng)上去是個(gè)基礎(chǔ)功能，但碰上流式響應(yīng)和提示緩存，才發(fā)現(xiàn)每條現(xiàn)成的路都走不通。
這類應(yīng)用的命門(mén)是Token開(kāi)銷，降成本全看緩存。各家LLM服務(wù)商方案不同，底層邏輯倒很一致：歷史對(duì)話前綴（角色設(shè)定+聊天記錄）能復(fù)用就復(fù)用，盡量不要?jiǎng)铀Ｈ魏螖_動(dòng)都會(huì)同時(shí)拉高延遲和費(fèi)用。我開(kāi)始琢磨三個(gè)建議怎么拿，第一個(gè)念頭是讓模型在同一個(gè)回合返回結(jié)構(gòu)化數(shù)據(jù)，像{"reply": "...", "suggestions": ["...","...","..."]} 這樣，但很快放棄了。
兩個(gè)方向上都有坑。方案A：?jiǎn)为?dú)再調(diào)一次API。主回復(fù)結(jié)束后再發(fā)第二個(gè)請(qǐng)求專門(mén)生成建議，緩存大概率還能命中，問(wèn)題是平白多了個(gè)網(wǎng)絡(luò)來(lái)回，而且得自己操心不同供應(yīng)商之間緩存鍵的一致性——有的用會(huì)話ID標(biāo)記，有的靠隱式前綴，踩坑的成本不低。
方案B：在同一次請(qǐng)求里用結(jié)構(gòu)化輸出來(lái)回帶建議。這不用第二次請(qǐng)求，緩存一致性當(dāng)然沒(méi)問(wèn)題，可結(jié)構(gòu)化輸出本身就會(huì)拖慢響應(yīng)，更致命的是，它和流式傳輸根本沖突——要么憋著不給用戶展示打字效果，要么放棄流式，這兩個(gè)代價(jià)我都不想付。
于是繞了一圈，決定讓模型在回復(fù)末尾夾帶私貨：類似 {{SUGGEST: 選項(xiàng)1 | 選項(xiàng)2 | 選項(xiàng)3}} 的一串標(biāo)記。模型一邊流式吐字，服務(wù)端一邊貪心地收，等收到閉合標(biāo)記，就把建議部分摘出來(lái)，然后從文本里徹底刪掉，讓用戶看到和聽(tīng)到的都是干凈對(duì)話。這招不算優(yōu)雅，但剛好跨過(guò)了所有坑：既不打斷流式，也不干擾緩存前綴。
還有一個(gè)關(guān)鍵細(xì)節(jié)：提取完后，標(biāo)記內(nèi)容不但不能推給TTS或前端展示，更不能存進(jìn)數(shù)據(jù)庫(kù)的歷史記錄里。這些建議只是臨時(shí)UI支架，不是角色真的說(shuō)過(guò)的話，一旦混進(jìn)歷史，后續(xù)每一輪對(duì)話都會(huì)帶上這個(gè)“雜質(zhì)”，把整個(gè)上下文弄臟。這一點(diǎn)恰好被現(xiàn)成的“標(biāo)注/顯示”分離設(shè)計(jì)兜住了。早先為了支持{{SHOW}}、{{POSE}}這類表情動(dòng)作標(biāo)記，就已經(jīng)把持久化和展示拆開(kāi)了，{{SUGGEST}}只是順著這條規(guī)則把屬性設(shè)成“短暫”而已——遇到它，解析后直接丟棄，連數(shù)據(jù)庫(kù)的門(mén)都不讓進(jìn)。
服務(wù)端那塊提取邏輯倒也直白：用正則匹配雙大括號(hào)包裹的SUGGEST塊，按豎線拆分出最多三個(gè)建議，再把整個(gè)標(biāo)記塊替換為空字符串，還用戶一個(gè)干干凈凈的正文。下面是一段Rust代碼示例，大致思路就是先匹配再清洗，整個(gè)過(guò)程在流式輸出尾段順手完成，額外開(kāi)銷幾乎可以忽略。
說(shuō)到底，這個(gè)功能真正的打磨不是讓AI怎么猜你想說(shuō)什么，而是讓系統(tǒng)記住什么東西才配留在記憶里。三個(gè)小氣泡背后，緩存結(jié)構(gòu)多一個(gè)擾動(dòng)都不行，歷史記錄多一行雜音都是隱患。這種邊界維護(hù)很瑣碎，但每一次偷懶都會(huì)在某天變成很難排查的延遲賬單。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
