技能與選擇機制
能力套件如何進入模型——共享平台函式庫、依意圖檢索、僅隨程序提供的工具,以及在請求不明確時反向詢問。
**技能(skill)**是一種工作方式,經過打包:一句簡短的話說明它適用的時機、完整的程序,以及該程序所需的工具。這句話在每個回合的提示中都會出現;程序則僅在選定技能時才獲取。這種分離讓代理程式能夠擁有多種能力,而無需為每條訊息支付額外成本。
本頁討論的是難的部分:在所有可用選項中,哪一個會被使用——以及當沒有明顯合適選項時會發生什麼事。
兩個庫,同一個空間
每個代理程式都有來自兩個地方的技能,且無需告知它關於第一個地方的事:
- 平台技能——通用的工作方法(研究競爭對手、閱讀法規、評估潛在客戶)。預設對所有代理程式可用。
- 您的技能——您為自己的業務撰寫的,附加在每個代理程式上。
它們會一起被搜尋。共享空間並不使您的技能處於劣勢:在將 18 個真正具有行業特定性的技能混入 193 個通用技能中進行測量後,行業技能被更可靠地識別出來(86% 對比 79%)。行業詞彙——HS 編碼、出口退稅、商店合規性——與通用方法詞彙相距甚遠,因此更容易被挑出,而非更難。
檢索,因為完整列表無法運作
訪客剛才說的話,原樣呈現。
每個技能都以其描述和範例措辭進行索引——即人們可能會用來請求它的通俗語言方式。將一句話與另一句話進行匹配,比將其與定義進行匹配效果更好。
最相近的十五個會顯示給模型,每個都附帶幾個範例措辭。不是整個庫:當完整列出 207 個技能時,模型正確選擇的機率為 30%;縮短至十五個後,為 51%。
模型選擇一個——或選擇不選,這是一個有效的結果,且通常是正確的。
現在才獲取完整程序,現在技能自身的工具才變得可用。
大約八個技能以下不會進行檢索——整個列表會直接顯示。
大約八個技能以下,這些都不會運行——完整列表會像以前一樣顯示。在這種規模下,列表已經準確,而檢索只能增加一種新的失敗方式:正確的技能未出現在候選名單中,模型隨後根據其自身知識作答,且日誌中沒有任何說明。
程序優先於工具
技能自身的工具在回合開始時不可用。載入技能才會將它們置於可用狀態。
這種順序在程式碼中強制執行,而非在提示中請求,原因是基於一項測量。當要求研究一家公司的競爭對手,並將程序和工具一起提供時,模型調用了網頁搜索三次,但從未打開程序。它從記憶中產生了競爭對手名稱,搜索這些虛構的名稱,一無所獲——它們並不存在——並將它們寫成答案。程序的第一步它從未閱讀,上面寫著*"首先確定這家公司實際上銷售什麼"*。
可選的程序不會被閱讀。 代理程式自身攜帶的工具不受影響:如果 web_search 在代理程式上,它將在本回合全程可用。僅因技能而到達的工具才等待該技能。
有些技能在開工前就拿到了材料
一個從空桌子開始的調研技能,只有一個地方可以取事實:模型自己的記憶。所以對於聲明了這一點的技能,平台會在技能執行之前先做第一輪查找——把訪客那句話變成檢索式、跑一遍,再把結果作為一張編號的事實表交給它,答案要照著這張表標出處。
寬度按技能定,因為它不是免費的。一個同時問了好幾件事的問題——怎麼收費、有什麼限制、我的資料怎麼匯出——兩條檢索式答不了。就用這個問題實測:窄的那一版寫了 2957 字、只掛 5 條出處,裡面每一個價格都是一個在任何來源裡都找不到的具體數字。把調研型技能的檢索寬度調開之後,同一個問題帶回 17 條出處,一次技術對比從 5.7 條升到 11.7 條。起草、改寫、算帳的技能什麼都不聲明,也就什麼都不搜。
同一個技能的指南裡,本來就用大白話寫著絕不寫出材料裡沒有的價格。它照寫不誤。提示詞裡的規則只是請求;真正改變了答案的,是給足材料。
還有一件事得跟著改。平台早有一道守衛盯著最壞的那種組合——搜了,卻一頁正文都沒打開,於是答案只能來自摘要。它問的是模型有沒有搜過。而在平台替技能去搜的那些輪次裡,模型一個工具都沒呼叫,這道守衛恰恰在它最該開的那一輪站到了一邊。現在它問的是這一輪到底有沒有搜尋結果,不管是誰去搜的。
當沒有明顯合適選項時,它會詢問
某些請求確實不指向單一技能。平台可以知道它處於這種情況——不是通過詢問模型是否確定,而是通過查看檢索分數的聚集程度。當前十五個候選者之間的差距微乎其微時,搜索沒有意見,而繼續作答則是一場賭博:在該區間內,正確技能排名第一的機率僅為 26%,而當分數分散時為 85%。
因此,在該區間內,且僅在該區間內,代理程式會先問一個問題——提供兩三個通俗選項(「您想要當前市場價格,還是對這特定物業的估值?」)而不是請求參數。在最困難的四分之一請求中,這將準確率從 36.7% 提高到 63.3%,平均需要 1.5 個問題。
讓模型自行決定何時詢問無效:當要求它運用判斷力時,它在 81.5% 的回合中進行了詢問——包括所有它本可以答對的回合。基於分數分散度進行閾值控制,它在 11% 的回合中進行詢問,且具有相同的好處。
這與貫穿產品的原理相同:機器可以測量請求的模糊程度;被問「你確定嗎?」的模型會說確定。請參閱 決定訊息的意圖。
這在實踐中的意義
- 代理程式無需配置即可了解常見工作方法,且了解更多方法不會增加每條訊息的成本。
- 您的技能在您的業務中勝出——這就是行業詞彙的用途。
- 技能要么遵循其程序,要么完全不運行。 它不能通過抓取工具並即興發揮來半遵循程序。
- 調研型技能開工時桌上就有來源,而不是只有記憶。 它寫的東西要照著那些材料標出處,材料沒覆蓋到的,就據實說沒查到。
- 模糊的請求會得到一個問題,而不是一個猜測——且該問題僅出現在系統確實無法判斷的少數回合中。