Ước lượng Hiệu quả Biểu diễn Từ trong Không gian Vector

Hướng dẫn đọc

Vấn đề và Động lực

Các hệ thống NLP truyền thống biểu diễn các từ dưới dạng các chỉ số rời rạc riêng biệt, làm mất đi các mối quan hệ ngữ nghĩa và cú pháp vốn có. Mặc dù các biểu diễn từ phân tán được huấn luyện bằng các mô hình ngôn ngữ mạng neural (NNLMs) hoặc mô hình ngôn ngữ mạng neural hồi quy (RNNLMs) vượt trội đáng kể so với n-gram, nhưng độ phức tạp tính toán của chúng khiến việc mở rộng quy mô trở nên quá tốn kém. Các kiến trúc trước đây hiếm khi được huấn luyện trên hơn vài trăm triệu từ, thường bị giới hạn ở số chiều từ $50$ đến $100$.

Trong các NNLM truyền thẳng, nút thắt cổ chai tính toán bắt nguồn từ lớp ẩn phi tuyến tính dày đặc ($N\times D\times H$) và lớp đầu ra từ vựng chưa được chuẩn hóa ($H\times V$). Mục tiêu của bài báo này là loại bỏ nút thắt cổ chai lớp ẩn phi tuyến tính, cho phép các mô hình mở rộng quy mô lên hàng tỷ token huấn luyện và từ vựng chứa hàng triệu từ, trong khi vẫn giữ lại các mối quan hệ tuyến tính tinh tế (ví dụ: $\text{vector}(\text{"King"})-\text{vector}(\text{"Man"})+\text{vector}(\text{"Woman"})\approx \text{vector}(\text{"Queen"})$).

Các Ý tưởng Chính

• Loại bỏ tính Phi tuyến tính của Lớp ẩn: Bằng cách loại bỏ lớp kích hoạt phi tuyến tính, độ phức tạp huấn luyện giảm đáng kể, cho phép tăng mạnh cả kích thước ngữ liệu lẫn số chiều embedding.
• Continuous Bag-of-Words (CBOW): Một bộ phân loại log-linear dự đoán từ trung tâm mục tiêu dựa trên các từ ngữ cảnh xung quanh nó (cả quá khứ và tương lai). Các vector ngữ cảnh được lấy trung bình vào một lớp chiếu (projection layer) chia sẻ chung.
• Continuous Skip-gram: Một bộ phân loại log-linear dự đoán các từ ngữ cảnh xung quanh trong một cửa sổ chỉ dựa trên từ trung tâm hiện tại, lấy mẫu các từ ở xa ít thường xuyên hơn.
• Hierarchical Softmax với Mã hóa Huffman: Chi phí chuẩn hóa softmax giảm từ $V$ xuống xấp xỉ ${\log }_2(V)$ (hoặc ${\log }_2(\text{Unigram\_perplexity}(V))$ thông qua cây Huffman, vốn gán các mã ngắn hơn cho các từ thường gặp).
• Benchmark Đánh giá Loại suy (Analogy Evaluation): Một tập kiểm thử mới gồm 19.544 câu hỏi đánh giá các quy luật ngôn ngữ về cú pháp (ví dụ: so sánh hơn, thì quá khứ) và ngữ nghĩa (ví dụ: thủ đô - quốc gia, tiền tệ) bằng cách sử dụng số học vector và khoảng cách cosine.

Phương pháp (với các phương trình chính)

Độ phức tạp huấn luyện được định nghĩa là số lần truy cập tham số qua $E$ epoch, $T$ từ trong tập huấn luyện, và chi phí cho mỗi mẫu $Q$: $$O=E\times T\times Q$$

Baseline NNLM Truyền thẳng

Với độ dài ngữ cảnh $N$, chiều embedding $D$, số nút ẩn $H$, và kích thước từ vựng $V$: $$Q=N\times D+N\times D\times H+H\times V$$ Khi sử dụng hierarchical softmax, số hạng đầu ra giảm xuống còn $H\times {\log }_2(V)$, để lại $N\times D\times H$ là nút thắt cổ chai.

Baseline Mô hình Ngôn ngữ Mạng Neural Hồi quy (RNNLM)

Với chiều trạng thái ẩn $H$ bằng với chiều embedding $D$: $$Q=H\times H+H\times V$$ Sử dụng hierarchical softmax, số hạng đầu ra giảm xuống còn $H\times {\log }_2(V)$, để lại phép biến đổi hồi quy $H\times H$ là chi phí chi phối chính.

Continuous Bag-of-Words (CBOW)

CBOW thay thế lớp ẩn bằng một lớp chiếu lấy trung bình trên $N$ từ ngữ cảnh (thường là 4 từ trước và 4 từ sau): $$Q=N\times D+D\times {\log }_2(V)$$

Continuous Skip-gram

Skip-gram nhận từ trung tâm và dự đoán các từ ngữ cảnh trong khoảng cách tối đa $C$ (trong các thử nghiệm, $C=10$). Đối với mỗi từ, một khoảng lệch $R\in \{1,\dots ,C\}$ được rút ngẫu nhiên đều, dự đoán $R$ từ trước và sau: $$Q=C\times (D+D\times {\log }_2(V))$$

Tìm kiếm Loại suy (Analogy Search)

Các câu hỏi có dạng "$A$ đối với $B$ cũng như $C$ đối với $D$" được trả lời bằng cách tìm vector từ vựng $X$ tối đa hóa: $$X=\arg \underset{w\notin \{B,C,A\}}{\max }\cos (v_w,v_B-v_A+v_C)$$

Kết quả (với các con số quan trọng nhất)

• Hiệu năng trên Benchmark Loại suy (640 chiều, 320 triệu từ):
  • RNNLM: 9% Ngữ nghĩa, 36% Cú pháp.
  • NNLM: 23% Ngữ nghĩa, 53% Cú pháp.
  • CBOW: 24% Ngữ nghĩa, 64% Cú pháp.
  • Skip-gram: 55% Ngữ nghĩa, 59% Cú pháp.
• Mở rộng quy mô trên Google News 6 tỷ token (huấn luyện phân tán DistBelief):
  • NNLM ($100$ chiều): 34,2% Ngữ nghĩa, 64,5% Cú pháp, 50,8% Tổng thể (mất $14\times 180$ ngày CPU-core).
  • CBOW ($1000$ chiều): 57,3% Ngữ nghĩa, 68,9% Cú pháp, 63,7% Tổng thể (mất $2\times 140$ ngày CPU-core).
  • Skip-gram ($1000$ chiều): 66,1% Ngữ nghĩa, 65,1% Cú pháp, 65,6% Tổng thể (mất $2,5\times 125$ ngày CPU-core).
• Thử thách Hoàn thành Câu của Microsoft (Microsoft Sentence Completion Challenge): Chỉ riêng Skip-gram đã đạt độ chính xác 48,0%; khi kết hợp với một ensemble gồm các RNNLM, nó đạt độ chính xác 58,9% (SOTA).
• Số epoch so với Lượng dữ liệu: Huấn luyện trong 1 epoch trên lượng dữ liệu gấp đôi cho kết quả tương đương hoặc tốt hơn 3 epoch trên dữ liệu nhỏ hơn, đồng thời giảm thời gian huấn luyện thực tế.

Hạn chế và các câu hỏi mở

• Số đo Đánh giá Khớp Chính xác (Exact Match Metric): Tập kiểm thử coi các từ đồng nghĩa là lỗi (ví dụ: dự đoán một thành phố hợp lệ tương đương hoặc dạng số nhiều), tạo ra một trần giới hạn nhân tạo dưới 100%.
• Thiếu Hình thái học Dưới cấp độ Từ (Subword Morphology): Các từ được xử lý dưới dạng các token đơn lẻ; mô hình không khai thác cấu trúc ký tự hoặc hình vị bên trong, làm hạn chế khả năng khái quát hóa cú pháp đối với các từ hiếm hoặc từ biến hình.
• Cụm nhiều từ (Multi-Word Phrases): Mô hình chỉ hoạt động trên các từ đơn token và không xử lý tự nhiên các biểu thức nhiều từ (chẳng hạn như "New York").
• Hiệu năng Hoàn thành Câu: Bản thân Skip-gram đạt điểm thấp hơn (48,0%) so với độ tương đồng LSA trung bình (49,0%) trong tác vụ Hoàn thành Câu của Microsoft, cần phải kết hợp lai với các RNNLM để đạt được kết quả cạnh tranh.