科學家開發了一種創新的「逐位元轉換」技術，讓人工智慧聊天機器人能像閱讀個別字元般處理文字，實驗證明這讓 AI 在文字精細理解任務上表現大幅躍進，同時保有原本的綜合能力。
科學家開發出一種新的方法，讓人工智慧（AI）聊天機器人能夠以更精細的方式「閱讀」文字，此舉顯著提升了其處理個別字元的能力。這項技術無需大量訓練資源，卻能讓模型在維持原有綜合能力的前提下，大幅改進對文字的深層理解，成果令人驚訝。
傳統的大型語言模型（LLM）在處理文字時，會先將文本分割成小塊的「Token」（通常是一個完整的詞或部分詞彙），AI 再針對這些 Token 進行理解和生成。然而，這種基於詞彙片段的處理方式，在處理需要理解個別字元的任務時，例如拼寫、文字倒序，或是涉及電腦程式碼、DNA序列等精確字元的操作時，表現不佳。此外，由於固定詞彙表會優先考量英文，也可能限制了模型處理其他語言的能力。
這項由 Benjamin Minixhofer 領導、Valentin Hofmann 共同參與的研究，採用了稱為「逐位元轉換」（byteification）的新技術。研究團隊保留了現有模型的核心架構，並在其上新增了較小的模組，這些模組能以位元（byte）為單位讀取文字，再將其組合成核心模型可處理的片段。此轉換過程僅需原有模型訓練時間的不到 1%。
研究團隊將三款開源模型 Qwen3、Llama 3 和 Olmo 3 進行了轉換，並重新命名為 Bwen、Blama 和 Bolmo。測試結果顯示，這些轉換後的模型在科學、數學、程式開發、閱讀和一般知識等綜合測試中，表現與原始模型幾乎相同，保有其原有的綜合能力。特別是在個別字元相關的任務上，如拼寫單字、反轉單字或交換、刪除字元等，轉換後的模型表現大幅提升，顯著超越了所有早期、規模相近的逐位元閱讀模型。舉例來說，在個別字元任務上，Bolmo 模型得分為 78.1，而原始的 Olmo 3 僅為 54.3。
艾倫人工智慧研究院、劍橋大學、Ludwig Maximilian University of Munich 及華盛頓大學、倫敦帝國學院等機構的研究人員組成的團隊指出，這項技術還有潛力應用於更多非英文語系的語言。然而，轉換後的模型在第一次嘗試編寫可執行的電腦程式碼時，成功率略低於原始模型。目前這項技術已在規模約 80 億參數的模型上進行測試，更大規模模型的表現仍有待進一步驗證。研究團隊已公開其模型、程式碼和訓練資料，供全球研究人員使用。