韓路一一下飛機就馬不停蹄的約了趙文淵。本來想自己赴約,但張彪非要跟着,說是工作職責。

還是上次那個地方,南京西路瑞幸,韓路一推門進去的時候,趙文淵已經坐在靠窗的位子上了,手裏拿着一杯生椰拿鐵。

上次坐在這兒的時候,趙文淵說“大模型太貴了,這不是我們玩得起的領域”,韓路一說“源碼的門隨時給你開着”。

那是不到一個月前的事。

趙文淵穿了件灰色運動外套,看起來精神還不錯。他抬頭看見韓路一,又看見韓路一身後跟着的像終結者一樣的張彪,愣了一下。

“你這是......”

“這是彪哥,專業保鏢。”韓路一拉開椅子坐下,“投資人安排的。”

趙文淵上下打量了一下張彪,張彪在隔壁桌坐下,面無表情地掏出手機來點單——他點了一杯摩卡。

“你融了多少?”

“兩個億。”

趙文淵端起生椰拿鐵喝了一口,沒什麼特別的表情。

“估值呢?”

“二十億。”

“那咱們確實可以聊聊了。”趙文淵說,“你準備了多少預算?”

韓路一也不繞彎子:“三千萬,模型團隊的啓動預算,你覺得怎麼花?”

趙文淵沒直接回答,反問了一句:“你想從頭訓練?”

“我感覺不夠,你覺得呢?”

“確實不夠。”趙文淵說,“差得遠了。”

他翻過一張紙巾,從兜裏掏出筆,開始在上面寫字。

“通用大模型,千億參數級別,預訓練要幾千張H100跑兩到三個月。”他寫了個數,“算力成本幾千萬美金起步,頭部大廠一輪預訓練燒一兩個億人民幣是常態。”

韓路一知道這些數字,但聽趙文淵親口說出來感覺不一樣,畢竟趙文淵是上過手的人。

“三千萬人民幣,”趙文淵在紙巾上畫了個約等號,“四百萬美金出頭,連一輪預訓練的零頭都不夠。”

“那你有什麼想法?”

“也有別的路,”趙文淵把筆尖點在紙巾上,“做後訓練。”

他在“後訓練”三個字下面劃了條線。

“開源基座模型已經具備通用代碼能力了,羊駝模型、女王模型,都是很好的底子,後訓練是在這個基礎上做專精。”

“SFT加DPO ? "

趙文淵看了他一眼,驚奇的挑了挑眉,又轉頭看看正一臉茫然看向這邊的張彪。

“對,SFT,指令微調,讓模型學會特定任務的模式,比如你給它一句自然語言描述,它要生成一個能跑的應用。DPO,直接偏好優化,這是第二步,讓模型學會分辨什麼是好的輸出、什麼是差的輸出。”

他在紙巾上畫了個簡單的流程圖。

“後訓練的算力需求比預訓練低一到兩個數量級,三千萬夠啓動。”

他把筆放下,先看向張彪。

張彪覺得自己困了,盡力睜大眼睛,眨了眨。

趙文淵放棄讓張彪理解這次談話了,他轉向韓路一。

“後訓練不拼算力,拼數據,準確的說,拼的是高質量的標註數據。”

韓路一等他繼續。

“SFT需要大量的問題、答案配對。輸入是用戶的自然語言提示詞,輸出是可運行的應用代碼,這種數據的質量直接決定模型的上限。”

趙文淵身體前傾。

“人工標註一條高質量數據,幾十到上百塊,十萬條就是千萬級別的成本,而且標註團隊水平參差不齊,做出來的數據你還得反覆清洗。

“我在鼎盛的時候見過,CodeSafe喫進去的用戶數據量很大,但髒,噪聲多,他們花了很多人力清洗,效果始終上不去。”

“垃圾進,垃圾出。”韓路一說。

“就是這個意思,數據質量不行,模型再大也是白搭。”趙文淵說完,看着韓路一的眼神帶着試探的意味,他在等韓路一出牌。

“數據我有。”

趙文淵沒說話,但身體坐直了。他當時就猜測過,BugKiller爲什麼這麼強,要麼有黃金數據,要麼有未公開的先進算法,現在看來是前者。

“你的數據哪來的?”他放慢語速,問道,“不會也是偷的吧?”

這話不是玩笑,趙文淵從鼎盛出來的,就是看不慣CodeSafe偷用戶代碼喂大模型,這是他的底線。

韓路一正色道:“所有的數據都是用戶自願分享的。註冊時的相關選項是默認關閉的,用戶必須主動選擇將檢測結果用於產品改進我們才能看到。協議是律師一條一條審過的,我這也有審計報告。”

趙文淵盯着他看。

“我絕不偷數據。”韓路一說。

“好。”趙文淵點了點頭,“那數據量夠嗎?”

韓路一打開揹包裏的筆記本電腦,接上手機熱點,先登錄開物後臺。

屏幕上跳出一個數據看板。

“開物上線到現在,累計二十三萬條提示詞-代碼配對,”韓路一把屏幕轉向趙文淵,“全部來自用戶主動分享。”

趙文淵掃了一眼總數:“二十三萬條......是夠了。但有個問題,AI生成的代碼本身就有Bug,直接拿來訓練不還是垃圾進垃圾出?”

“所以有第二步。”

韓路一切換到另一個界面,BugKiller的數據管線看板。

“開物每一條生成的代碼,都會自動過一遍BugKiller的檢測引擎,有Bug的標出來,能自動修復的直接修復,修不了的丟棄。”

趙文淵湊近屏幕。

數據流很清晰:用戶提示詞→原始生成代碼→ BugKiller自動檢測→修復後代碼→入庫。

每一條數據都帶着狀態標籤,“通過”或“已修復”,沒有“未修復”。

“原始代碼通過率60%上下,經過BugKiller修復後,最終入庫率96%。”

趙文淵沒說話,他伸手拿過筆記本,開始自己翻數據。

他先看了幾條“已修復”的,原始代碼裏確實有Bug,修復後的代碼乾淨利落。然後他翻“通過”的那些,原始生成就沒問題,代碼結構清晰,變量命名規範。

一條、兩條、五條、十條。

他逐行看修復邏輯。

二十條、三十條。

瑞幸店裏的音樂換了幾首,趙文淵都沒有抬頭。

翻到五十條左右的時候,他停了。

“這個檢測引擎就是BugKiller的核心?”

“對,核心算法是我自己寫的,”韓路一說,“這是技術壁壘。”

“你這個數據的確不可能是偷來的,客戶的代碼良莠不齊,偷來的沒有這麼高的質量。”趙文淵嘆了一口氣,“怪不得CodeSafe會輸給你,我心服口服了。”

“這個準確率,這種用法,”他接着說,“你手裏的是一條自動化的數據清洗流水線,別人要花幾千萬請人標註的事,你用算法跑一遍就完了。”

他又想了想,語速突然變快。

“而且,BugKiller檢出來的那些Bug代碼和修復後的版本,這不就是現成的DPO訓練對嗎?有Bug的是壞例子,修復後的是好例子,天然的偏好數據。”

韓路一點了點頭。

“SFT用乾淨的提示詞、代碼對,DPO用Bug,修復對,兩條管線同時跑。”趙文淵的手在桌上敲了兩下,越說越興奮,“數據飛輪,這個別人偷不走。就算把數據偷走,沒有這個檢測引擎,也做不出同等質量的清洗。

韓路一沒說話,文淵,入吾彀中矣。

趙文淵拿過那張寫滿數字的紙巾,翻到背面,接着寫。

“後訓練不需要預訓練那種千卡集羣,但也不便宜。H100單卡現在市場價二十到二十五萬,8卡一臺服務器,一臺一百六到兩百萬。”

他給紙巾拍了照,放進手機備忘錄裏,然後在備忘錄裏敲了一串數字。

“中等規模模型,幾十億參數,後訓練至少需要十六到三十二張卡。”

“先租。”韓路一接過話頭。

趙文淵抬頭。

“第一版跑通之前不鎖定硬件。”韓路一說,“萬一方向要調,買的卡可退不了。”

趙文淵笑了,以前在谷歌的時候,訓練模型還真沒這麼摳搜過。

“你挺清醒的。”

“窮過,謝謝。”

趙文淵在備忘錄裏快速敲着數字:“算力租賃首批八百萬,數據清洗和補充標註三百到五百——這個可能可以省下來,團隊薪資六個月四百萬上下,工具鏈雜項三百萬,再預留一千萬。”

他把手機推過來讓韓路一看。

“夠用了,先跑起來。”

兩人越聊越快,瑞幸下午三點多的店裏不算吵,但他倆的聲音在不自覺地變大。

旁邊桌一個戴耳機的女生摘下一隻耳機看了他們一眼,兩個裝逼犯加一個肌肉男,這組合可太奇怪了。

店員走過來:“幾位要不要再來一杯?”

韓路一這才注意到自己坐下來到現在還沒點單。

“一杯生椰拿鐵。”

“兩杯。”趙文淵頭都沒抬。

張彪跟着店員去掃碼下單了,韓路一看了一眼桌面,幾張寫滿數字的紙巾,一臺筆記本電腦,兩個手機,在瑞幸談幾千萬預算,是有點好笑。

“我明天就來上班。”

韓路一看着他:“這麼急?”

“等不了了,想快點上手。”

“對了。”他說,“最難的問題,大模型叫什麼?名字想好了嗎?”

韓路一看着他笑了:“我早就想好了——”

“天工。”