Công nghệ văn bản dài trở thành tiêu chuẩn mới của mô hình lớn, điều này có nghĩa là gì khi độ dài ngữ cảnh mở rộng gấp 100 lần?

Độ dài ngữ cảnh của các mô hình lớn đang tăng lên với tốc độ đáng kinh ngạc, từ 4000 token vọt lên 400000 token. Khả năng xử lý văn bản dài dường như đã trở thành "chuẩn" mới của các nhà sản xuất mô hình lớn.

Ở nước ngoài, OpenAI đã nâng cấp nhiều lần để tăng độ dài ngữ cảnh của GPT-4 lên 32.000 token. Anthropic thì đã mở rộng độ dài ngữ cảnh của mô hình Claude lên 100.000 token. LongLLaMA thậm chí đã đẩy con số này lên 256.000 token.

Trong nước cũng không chịu kém cạnh. Theo thông tin, công ty khởi nghiệp Mặt Trăng Tối đã ra mắt Kimi Chat hỗ trợ nhập khoảng 400.000 token. Công nghệ LongLoRA được phát triển hợp tác giữa Đại học Hồng Kông và MIT có thể mở rộng độ dài văn bản của mô hình 70B lên tới 32.000 token.

Hiện tại, nhiều công ty mô hình lớn hàng đầu, bao gồm OpenAI, Anthropic, Meta, và Mặt Trăng Tối, đều coi việc mở rộng độ dài ngữ cảnh là điểm nâng cấp quan trọng. Tất cả các công ty này đều là thú cưng của thị trường vốn. Ví dụ, OpenAI đã nhận được gần 12 tỷ USD đầu tư; định giá của Anthropic dự kiến sẽ đạt 30 tỷ USD; Mặt Trăng Tối chỉ sau nửa năm thành lập đã hoàn thành hai vòng gọi vốn với tổng cộng gần 2 tỷ nhân dân tệ.

Công ty mô hình lớn coi trọng công nghệ văn bản dài như vậy, việc mở rộng độ dài ngữ cảnh gấp 100 lần có nghĩa là gì?

Bề ngoài, điều này có nghĩa là lượng văn bản mà mô hình có thể xử lý đã tăng đáng kể. Kimi Chat với 400.000 token đã có thể đọc một cuốn tiểu thuyết dài. Nhưng ý nghĩa sâu xa hơn là công nghệ văn bản dài đang thúc đẩy việc áp dụng mô hình lớn trong các lĩnh vực chuyên môn như tài chính, tư pháp, nghiên cứu khoa học.

Tuy nhiên, độ dài văn bản không phải lúc nào cũng tốt hơn. Nghiên cứu cho thấy rằng việc mô hình hỗ trợ đầu vào ngữ cảnh dài hơn và sự cải thiện hiệu quả không đơn giản là tương đương. Chìa khóa ở đây là mô hình làm thế nào để sử dụng hiệu quả nội dung ngữ cảnh.

Hiện nay, ngành công nghiệp vẫn chưa đạt đến "điểm tới hạn" trong việc khám phá độ dài văn bản. 400.000 token có lẽ chỉ là một khởi đầu.

Người sáng lập Mặt Trăng Tối, Yang Zhilin, cho biết công nghệ văn bản dài có thể giải quyết một số vấn đề ban đầu của mô hình lớn, tăng cường một số chức năng, đồng thời cũng là công nghệ then chốt thúc đẩy việc ứng dụng trong ngành. Điều này đánh dấu sự phát triển của mô hình lớn bước vào giai đoạn mới từ LLM đến Long LLM.

Sự đột phá trong công nghệ văn bản dài đã mang lại một loạt tính năng mới, chẳng hạn như trích xuất thông tin chính từ văn bản siêu dài, phân tích tóm tắt, tạo mã phức tạp và đối thoại theo vai trò cá nhân hóa. Những tính năng này đang thúc đẩy robot đối thoại phát triển theo hướng chuyên môn hóa, cá nhân hóa và chiều sâu.

Tuy nhiên, công nghệ văn bản dài cũng phải đối mặt với nghịch cảnh "tam giác không thể" : độ dài văn bản, sự chú ý và sức mạnh tính toán đều khó có thể đồng thời đáp ứng. Thách thức chính đến từ cơ chế tự chú ý trong cấu trúc Transformer, lượng tính toán của nó tăng theo cấp số nhân với độ dài ngữ cảnh.

Hiện tại có ba giải pháp chính: sử dụng công cụ bên ngoài hỗ trợ xử lý, tối ưu hóa tính toán cơ chế tự chú ý, và tối ưu hóa chính mô hình. Mỗi giải pháp đều có ưu nhược điểm riêng, chìa khóa là tìm ra điểm cân bằng tốt nhất giữa độ dài văn bản, sự chú ý và sức mạnh tính toán.

Mặc dù công nghệ văn bản dài vẫn đối mặt với nhiều thách thức, nhưng nó chắc chắn là một bước quan trọng thúc đẩy việc công nghiệp hóa các mô hình lớn. Trong tương lai, với những đột phá công nghệ liên tục, chúng ta có thể mong đợi thấy nhiều ứng dụng đổi mới dựa trên công nghệ văn bản dài.