Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau; Kyunghyun Cho; Yoshua Bengio

งานวิจัย · arXiv 1409.0473

การแปลภาษาด้วยระบบประสาทเทียมผ่านการเรียนรู้ร่วมกันเพื่อจับคู่ตำแหน่งและแปลภาษา (Neural Machine Translation by Jointly Learning to Align and Translate)

Neural Machine Translation by Jointly Learning to Align and Translate

Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio

เผยแพร่ 2014-09-01cs.CLcs.LGcs.NEstat.ML arXiv PDF

อ่านพร้อมคำแปลและ AI

สรุปสามบรรทัด

🎯 โมเดล NMT แบบ encoder-decoder มาตรฐานบีบอัดประโยคต้นทางทั้งหมดให้เป็นเวกเตอร์ความยาวคงที่ ส่งผลให้ประสิทธิภาพลดลงอย่างมากในประโยคยาว
🔧 ผู้เขียนนำเสนอกลไก attention โดยใช้ตัวเข้ารหัส bidirectional RNN เพื่อสร้างเวกเตอร์ระบุคำ และตัวถอดรหัสจะคำนวณค่าน้ำหนัก soft alignment แบบไดนามิกผ่าน MLP
📈 ในงานแปลภาษาอังกฤษเป็นฝรั่งเศส โมเดล RNNsearch-50 ทำคะแนน BLEU ได้ 28.45 ในทุกประโยคทดสอบ และ 36.15 ในประโยคที่ไม่มีคำนอกคลังคำศัพท์ ซึ่งชนะระบบ phrase-based Moses (35.63)

บทคัดย่อ

การแปลภาษาด้วยระบบประสาทเทียม (Neural machine translation) เป็นแนวทางใหม่สำหรับการแปลภาษาด้วยคอมพิวเตอร์ ซึ่งแตกต่างจากการแปลภาษาด้วยสถิติแบบดั้งเดิม โดยการแปลด้วยระบบประสาทเทียมมีเป้าหมายเพื่อสร้างโครงข่ายประสาทเทียมเดี่ยวที่สามารถปรับจูนร่วมกันเพื่อเพิ่มประสิทธิภาพการแปลให้สูงสุด โมเดลที่เพิ่งได้รับการเสนอสำหรับการแปลด้วยระบบประสาทเทียมมักอยู่ในกลุ่ม encoder-decoder ซึ่งประกอบด้วยตัวเข้ารหัสที่แปลงประโยคต้นทางเป็นเวกเตอร์ความยาวคงที่ และตัวถอดรหัสจะสร้างคำแปลจากเวกเตอร์นั้น ในบทความนี้ เราตั้งสมมติฐานว่าการใช้เวกเตอร์ความยาวคงที่เป็นคอขวดในการปรับปรุงประสิทธิภาพของสถาปัตยกรรม encoder-decoder พื้นฐาน และเสนอให้ต่อยอดโมเดลด้วยการอนุญาตให้ระบบค้นหา (แบบ soft-search) ส่วนต่าง ๆ ของประโยคต้นทางที่เกี่ยวข้องกับการทำนายคำเป้าหมายโดยอัตโนมัติ โดยไม่จำเป็นต้องแบ่งส่วนอย่างชัดเจนแบบ hard segment ด้วยแนวทางใหม่นี้ เราบรรลุประสิทธิภาพการแปลที่เทียบเคียงได้กับระบบ phrase-based ระดับ state-of-the-art ในภารกิจการแปลภาษาอังกฤษเป็นภาษาฝรั่งเศส นอกจากนี้ การวิเคราะห์เชิงคุณภาพยังเผยว่าการจัดตำแหน่งคำ (soft-alignments) ที่โมเดลค้นพบนั้นสอดคล้องกับสัญชาตญาณของมนุษย์เป็นอย่างดี

บทคัดย่อต้นฉบับ (ภาษาอังกฤษ)

Neural machine translation is a recently proposed approach to machine translation. Unlike the traditional statistical machine translation, the neural machine translation aims at building a single neural network that can be jointly tuned to maximize the translation performance. The models proposed recently for neural machine translation often belong to a family of encoder-decoders and consists of an encoder that encodes a source sentence into a fixed-length vector from which a decoder generates a translation. In this paper, we conjecture that the use of a fixed-length vector is a bottleneck in improving the performance of this basic encoder-decoder architecture, and propose to extend this by allowing a model to automatically (soft-)search for parts of a source sentence that are relevant to predicting a target word, without having to form these parts as a hard segment explicitly. With this new approach, we achieve a translation performance comparable to the existing state-of-the-art phrase-based system on the task of English-to-French translation. Furthermore, qualitative analysis reveals that the (soft-)alignments found by the model agree well with our intuition.

คู่มือการอ่าน

ปัญหาและแรงจูงใจ

สถาปัตยกรรม Neural Machine Translation (NMT) มาตรฐาน เช่น RNN Encoder–Decoder ดั้งเดิม จะบีบอัดประโยคต้นทางที่มีความยาวไม่แน่นอนทั้งหมดให้กลายเป็นเวกเตอร์ความยาวคงที่เวกเตอร์เดียว $c$ จากนั้นตัวถอดรหัสจะสร้างประโยคแปลเป้าหมายจากเวกเตอร์บริบทคงที่นี้ สิ่งนี้สร้างคอขวดของข้อมูล (informational bottleneck) ขึ้น กล่าวคือ เมื่อความยาวของประโยคเพิ่มขึ้น การบีบอัดความหมายของประโยคต้นทางทั้งหมดให้เป็นตัวแทนขนาดคงที่จะทำได้ยากขึ้นเรื่อย ๆ ส่งผลให้คุณภาพการแปล (คะแนน BLEU) ลดลงอย่างมากสำหรับประโยคที่มีความยาว

แนวคิดหลัก

ลำดับของข้อมูลคำอธิบายแทนเวกเตอร์เดี่ยว (Sequence of Annotations Instead of a Single Vector): แทนที่จะบังคับให้ตัวเข้ารหัสบีบอัดทั้งประโยคลงในเวกเตอร์เดียว โมเดลจะเก็บรักษาลำดับของเวกเตอร์สถานะซ่อนเร้น (annotations) ตลอดทั้งประโยคต้นทางโดยใช้ Bidirectional Recurrent Neural Network (BiRNN)
กลไกการจัดตำแหน่งแบบนุ่มนวล (Soft Alignment Mechanism / Attention): แทนที่จะมองการจัดตำแหน่งคำเป็นตัวแปรแบบไม่ต่อเนื่องหรือตัวแปรแฝงที่ต้องอาศัยการสกัดแบบฮิวริสติก ตัวถอดรหัสจะคำนวณค่าน้ำหนัก "soft alignment" แบบต่อเนื่องบนเวกเตอร์คำอธิบายของประโยคต้นทางในแต่ละขั้นตอนของการสร้างคำแปล
การฝึกฝนแบบหาอนุพันธ์ได้ตั้งแต่ต้นจนจบ (Differentiable End-to-End Training): เนื่องจากแบบจำลองการจัดตำแหน่งถูกกำหนดโครงสร้างเป็นโครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าขนาดเล็ก ทั้งระบบ—ตัวเข้ารหัส, กลไก attention และตัวถอดรหัส—จึงสามารถฝึกร่วมกันได้ทั้งหมดผ่าน backpropagation

ระเบียบวิธี

1. ตัวเข้ารหัส (Bidirectional RNN)

ลำดับต้นทาง $x = (x_{1}, \dots, x_{T_{x}})$ จะถูกประมวลผลโดย RNN ทิศทางไปข้างหน้า $f$ และ RNN ทิศทางย้อนกลับ $f$ โดยใช้ gated hidden units: $h_{j} = f (x_{j}, h_{j - 1}), h_{j} = f (x_{j}, h_{j + 1})$ เวกเตอร์คำอธิบาย (annotation) สำหรับคำต้นทาง $x_{j}$ เกิดจากการต่อเวกเตอร์ของทั้งสองทิศทางเข้าด้วยกัน: $h_{j} = [h_{j}^{⊤}; h_{j}^{⊤}]^{⊤}$

2. ตัวถอดรหัสพร้อม Soft Attention

ในการสร้างคำเป้าหมาย $y_{i}$ ตัวถอดรหัสจะคำนวณเวกเตอร์บริบท $c_{i}$ ที่จำเพาะเจาะจงผ่านผลรวมถ่วงน้ำหนักของเวกเตอร์คำอธิบายจากตัวเข้ารหัส: $c_{i} = j = 1 \sum T_{x} α_{ij} h_{j}$ โดยที่ค่าน้ำหนักการจัดตำแหน่ง $α_{ij}$ จะถูกคำนวณโดยใช้ softmax บนคะแนนพลังงาน $e_{ij}$ : $α_{ij} = \frac{exp ( e _{ij} )}{\sum _{k = 1}^{T_{x}} exp ( e _{ik} )}$ คะแนนพลังงาน $e_{ij}$ บ่งบอกว่าสถานะของตัวถอดรหัส $s_{i - 1}$ เข้ากันได้ดีเพียงใดกับเวกเตอร์คำอธิบายต้นทาง $h_{j}$ ซึ่งถูกสร้างเป็นโครงข่ายแบบป้อนไปข้างหน้าชั้นเดียว: $e_{ij} = a (s_{i - 1}, h_{j}) = v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ ในที่นี้ $s_{i - 1}$ คือสถานะซ่อนเร้นของตัวถอดรหัส ซึ่งได้รับการอัปเดตผ่าน: $s_{i} = f (s_{i - 1}, y_{i - 1}, c_{i})$ การแจกแจงความน่าจะเป็นของคำถัดไปจะขึ้นอยู่กับสถานะปัจจุบัน คำที่สร้างก่อนหน้า และบริบทแบบไดนามิก: $p (y_{i} ∣ y_{1}, \dots, y_{i - 1}, x) = g (y_{i - 1}, s_{i}, c_{i})$

ผลการทดลอง

บนชุดข้อมูลมาตรฐาน WMT '14 การแปลภาษาอังกฤษเป็นฝรั่งเศส (news-test-2014 จำนวน 3,003 ประโยค):

ความทนทานต่อความยาวประโยค: ในขณะที่ encoder-decoder พื้นฐาน (RNNencdec-50) มีคะแนน BLEU ลดลงอย่างรุนแรงเมื่อประโยคมีความยาวเกิน 30 คำ แต่ RNNsearch-50 ยังคงรักษาคะแนน BLEU ไว้ได้อย่างเสถียรแม้ความยาวจะเกิน 50 คำ
คุณภาพการแปล:
- ในประโยคทดสอบทั้งหมด RNNsearch-50 ได้คะแนน 26.75 BLEU (และ 28.45 BLEU เมื่อฝึกฝนให้นานขึ้นในชื่อ RNNsearch-50*) ซึ่งเหนือกว่า RNNencdec-50 (17.82 BLEU)
- ในประโยคที่ไม่มีคำนอกคลังคำศัพท์ (No UNK) RNNsearch-50* ทำคะแนนได้ถึง 36.15 BLEU ซึ่งเหนือกว่า baseline ระบบการแปลแบบ phrase-based ดั้งเดิมอย่าง Moses (35.63 BLEU) แม้ว่า Moses จะใช้ข้อมูลภาษาเดียว (monolingual data) เพิ่มเติมถึง 418 ล้านคำก็ตาม
การแสดงภาพการจัดตำแหน่ง (Alignment Visualizations): แผนภาพความร้อนของ $α_{ij}$ แสดงให้เห็นการจับคู่ทางภาษาที่สอดคล้องกับสัญชาตญาณ โดยสามารถจัดการการสลับตำแหน่งของวลี (เช่น ลำดับคำนาม-คำคุณศัพท์ในภาษาอังกฤษ ไปเป็นคำคุณศัพท์-คำนามในภาษาฝรั่งเศส) และวลีที่ประกอบด้วยหลายคำได้อย่างเป็นธรรมชาติ

ข้อจำกัดและคำถามปลายเปิด

ความซับซ้อนในการคำนวณ: การคำนวณ $e_{ij}$ จำเป็นต้องประเมิน $O (T_{x} \times T_{y})$ ครั้งต่อคู่ประโยค ซึ่งใช้ทรัพยากรการคำนวณสูงสำหรับลำดับที่ยาวมาก
การจัดการคำหายากหรือคำที่ไม่รู้จัก: โมเดลพึ่งพาคลังคำศัพท์ขนาดคงที่ (คำที่พบบ่อยที่สุด 30,000 คำ) และแปลงคำนอกคลังคำศัพท์เป็น [UNK] ซึ่งส่งผลเสียต่อประสิทธิภาพในชุดทดสอบแบบเปิด
การใช้ประโยชน์จากข้อมูลภาษาเดียว: ไม่เหมือนกับระบบสถิติแบบ phrase-based ที่สามารถใช้ประโยชน์จากคลังข้อมูลภาษาเป้าหมายแบบภาษาเดียวขนาดใหญ่ผ่านโมเดลภาษาที่แยกจากกันได้อย่างง่ายดาย แต่ NMT แบบ end-to-end ล้วน ๆ ในขณะนั้นยังถูกจำกัดให้เรียนรู้ได้เฉพาะจากข้อมูลคู่ขนานเท่านั้น

คำศัพท์สำคัญ

RNNsearch: สถาปัตยกรรมการแปลภาษาด้วยโครงข่ายประสาทเทียมที่นำเสนอ ซึ่งใช้ตัวเข้ารหัส bidirectional RNN และตัวถอดรหัสแบบมี attention เพื่อร่วมกันจัดตำแหน่งและแปลคำไปพร้อมกัน
soft alignment: การแจกแจงความน่าจะเป็นแบบต่อเนื่องเหนือตำแหน่งของประโยคต้นทาง ซึ่งคำนวณแบบไดนามิกโดยโมเดล attention ซึ่งต่างจากการจับคู่แบบตายตัวหรือแบบหนึ่งต่อหนึ่ง (hard alignment)
context vector: เวกเตอร์ $c_{i}$ ที่จำเพาะในแต่ละขั้นตอนเวลา สร้างขึ้นจากผลรวมถ่วงน้ำหนักของเวกเตอร์คำอธิบายต้นทาง เพื่อเป็นตัวแทนข้อมูลต้นทางที่เกี่ยวข้องสำหรับใช้สร้างคำเป้าหมาย $y_{i}$
bidirectional RNN (BiRNN): ตัวเข้ารหัสที่ประกอบด้วยการประมวลผลแบบวนซ้ำทั้งทิศทางไปข้างหน้าและย้อนกลับ โดยนำสถานะซ่อนเร้นมารวมกันเพื่อจับบริบททั้งก่อนหน้าและตามหลังของแต่ละคำต้นทาง
alignment model: โครงข่ายประสาทเทียมแบบป้อนไปข้างหน้าที่กำหนดพารามิเตอร์เป็น $v_{a}^{⊤} tanh (W_{a} s_{i - 1} + U_{a} h_{j})$ เพื่อให้คะแนนความเกี่ยวข้องระหว่างคำอธิบายต้นทาง $h_{j}$ กับสถานะซ่อนเร้นของตัวถอดรหัส $s_{i - 1}$
RNNencdec: สถาปัตยกรรม RNN Encoder–Decoder มาตรฐานที่บีบอัดประโยคต้นทางทั้งหมดให้เหลือเพียงเวกเตอร์ความยาวคงที่เวกเตอร์เดียวก่อนทำการถอดรหัส
gated hidden unit: หน่วยความจำแบบวนซ้ำที่มีเกตสำหรับรีเซ็ตและอัปเดต (คล้ายกับ LSTM) ซึ่งออกแบบมาเพื่อคงการพึ่งพาข้อมูลระยะยาวและลดปัญหาความชันเลือนหาย (vanishing gradients)

คำถามที่พบบ่อย

เหตุใด RNN Encoder-Decoder มาตรฐานจึงมีปัญหากับประโยคยาว?

เพราะโมเดลบังคับให้ข้อมูลทั้งหมดจากประโยคที่มีความยาวไม่แน่นอนต้องเข้าไปอยู่ในเวกเตอร์ความยาวคงที่เพียงเวกเตอร์เดียว ทำให้เกิดคอขวดของข้อมูลและไม่สามารถเก็บรักษารายละเอียดที่แม่นยำของอินพุตที่มีขนาดยาวหรือซับซ้อนได้

Bahdanau attention แตกต่างจากวิธีการจัดตำแหน่งลำดับก่อนหน้า เช่น Graves (2013) อย่างไร?

การจัดตำแหน่งสำหรับการสังเคราะห์ลายมือของ Graves บังคับให้น้ำหนักความสนใจเคลื่อนที่ไปในทิศทางเดียวแบบทางเดียว (monotonic) ในขณะที่ Bahdanau attention คำนวณคะแนนครอบคลุมทุกตำแหน่งต้นทางแบบไม่จำเป็นต้องเรียงตามลำดับ (non-monotonic) ทำให้สลับลำดับคำได้อย่างยืดหยุ่น

มีวิธีการจัดการต้นทุนการคำนวณของ alignment model ให้มีประสิทธิภาพอย่างไร?

เนื่องจากเทอมการแปลงข้อมูลต้นทาง $U_{a} h_{j}$ ไม่ได้ขึ้นอยู่กับขั้นตอน $i$ ของตัวถอดรหัส จึงสามารถคำนวณล่วงหน้าไว้เพียงครั้งเดียวสำหรับทุกโทเคนต้นทางก่อนเริ่มกระบวนการถอดรหัส

มีการใช้ขนาดคลังคำศัพท์เท่าใดในการทดลอง?

โมเดลใช้รายการคำศัพท์ที่คัดเลือกเฉพาะคำที่พบบ่อยที่สุด 30,000 คำสำหรับแต่ละภาษา โดยโทเคนใดที่อยู่นอกรายการนี้จะถูกแทนที่ด้วยโทเคนพิเศษ [UNK]

คำอธิบายในหน้านี้เขียนโดย AI จากงานวิจัยและอาจมีข้อผิดพลาด โปรดอ่านต้นฉบับเพื่อดูรายละเอียด

อ่านพร้อมคำแปลและ AI