Efficient Estimation of Word Representations in Vector Space

Tomas Mikolov; Kai Chen; Greg Corrado; Jeffrey Dean

शोध पत्र · arXiv 1301.3781

वेक्टर स्पेस में वर्ड रिप्रेजेंटेशन्स का कुशल अनुमान (Efficient Estimation of Word Representations in Vector Space)

Efficient Estimation of Word Representations in Vector Space

Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean

प्रकाशित 2013-01-16cs.CL arXiv PDF

अनुवाद और AI के साथ पढ़ें

तीन पंक्तियों में सारांश

🎯 पिछले न्यूरल लैंग्वेज मॉडल्स मल्टी-बिलियन-टोकन कॉर्पोरा पर उच्च-आयामी वर्ड रिप्रेजेंटेशन्स को प्रशिक्षित करने के लिए कम्प्यूटेशनल रूप से अत्यधिक महंगे थे।
🔧 दो लॉग-लीनियर आर्किटेक्चर प्रस्तुत किए गए हैं जो गैर-रेखीय हिडन लेयर्स को हटा देते हैं: Continuous Bag-of-Words (संदर्भ से केंद्र शब्द का अनुमान लगाना) और Continuous Skip-gram (केंद्र शब्द दिए जाने पर आसपास के संदर्भ का अनुमान लगाना), दोनों hierarchical softmax के साथ अनुकूलित हैं।
📈 DistBelief के माध्यम से 1000 आयामों के साथ 6 बिलियन टोकन पर प्रशिक्षित होने पर, Skip-gram ने एक नए 19,544-प्रश्नों वाले सिमेंटिक-सिंटैक्टिक एनालॉजी बेंचमार्क पर 65.6% समग्र सटीकता प्राप्त की, जिसने जटिल न्यूरल मॉडल को बहुत कम कम्प्यूट में पीछे छोड़ दिया।

सार

हम बहुत बड़े डेटा सेट से शब्दों के निरंतर वेक्टर निरूपण (continuous vector representations) की गणना के लिए दो नए मॉडल आर्किटेक्चर प्रस्तावित करते हैं। इन निरूपणों की गुणवत्ता को एक शब्द समानता कार्य (word similarity task) में मापा जाता है, और परिणामों की तुलना विभिन्न प्रकार के न्यूरल नेटवर्क पर आधारित पहले की सर्वश्रेष्ठ तकनीकों से की जाती है। हम बहुत कम कम्प्यूटेशनल लागत पर सटीकता में बड़े सुधार देखते हैं; 1.6 अरब शब्दों के डेटा सेट से उच्च गुणवत्ता वाले वर्ड वेक्टर सीखने में एक दिन से भी कम समय लगता है। इसके अलावा, हम दिखाते हैं कि ये वेक्टर सिंटैक्टिक और सिमेंटिक शब्द समानताओं को मापने के लिए हमारे टेस्ट सेट पर अत्याधुनिक (state-of-the-art) प्रदर्शन प्रदान करते हैं।

मूल सार (अंग्रेज़ी)

We propose two novel model architectures for computing continuous vector representations of words from very large data sets. The quality of these representations is measured in a word similarity task, and the results are compared to the previously best performing techniques based on different types of neural networks. We observe large improvements in accuracy at much lower computational cost, i.e. it takes less than a day to learn high quality word vectors from a 1.6 billion words data set. Furthermore, we show that these vectors provide state-of-the-art performance on our test set for measuring syntactic and semantic word similarities.

पढ़ने की गाइड

समस्या और प्रेरणा

पारंपरिक NLP सिस्टम शब्दों को असतत परमाणु सूचकांकों (discrete atomic indices) के रूप में दर्शाते थे, जिससे उनके अंतर्निहित सिमेंटिक और सिंटैक्टिक संबंध नष्ट हो जाते थे। यद्यपि न्यूरल नेटवर्क लैंग्वेज मॉडल (NNLMs) या रिकर्पेंट न्यूरल नेटवर्क लैंग्वेज मॉडल (RNNLMs) का उपयोग करके प्रशिक्षित डिस्ट्रीब्यूटेड वर्ड रिप्रेजेंटेशन्स ने n-grams की तुलना में काफी बेहतर प्रदर्शन किया, लेकिन उनकी कम्प्यूटेशनल जटिलता के कारण बड़े पैमाने पर स्केलिंग करना बहुत महंगा था। पिछले आर्किटेक्चर शायद ही कभी कुछ सौ मिलियन से अधिक शब्दों पर प्रशिक्षित किए गए थे, और वे आमतौर पर $50$ और $100$ के बीच के आयामों तक सीमित थे।

फ़ीडफॉरवर्ड NNLMs में, कम्प्यूटेशनल अड़चन घनी गैर-रेखीय हिडन लेयर ( $N \times D \times H$ ) और अननॉर्मलाइज़्ड शब्दावली आउटपुट लेयर ( $H \times V$ ) से उत्पन्न होती है। इस पेपर का लक्ष्य गैर-रेखीय हिडन लेयर की बाधा को समाप्त करना है, जिससे मॉडल अरबों प्रशिक्षण टोकन और लाखों शब्दों वाली शब्दावली तक स्केल करने में सक्षम हो सकें, जबकि वे सूक्ष्म रेखीय संबंधों को भी बनाए रखें (उदा., $vector ("King") - vector ("Man") + vector ("Woman") \approx vector ("Queen")$ )।

मुख्य विचार

हिडन लेयर नॉन-लीनियैरिटीज़ को हटाना: नॉन-लीनियर एक्टिवेशन लेयर को हटाकर, प्रशिक्षण जटिलता में भारी कमी आती है, जिससे कॉर्पस के आकार और एम्बेडिंग आयाम दोनों में अत्यधिक वृद्धि संभव हो जाती है।
Continuous Bag-of-Words (CBOW): एक लॉग-लीनियर क्लासिफायर जो अपने आसपास के संदर्भ शब्दों (इतिहास और भविष्य दोनों) को देखकर एक लक्षित केंद्र शब्द की भविष्यवाणी करता है। संदर्भ वेक्टर्स को एक साझा प्रोजेक्शन लेयर में औसत किया जाता है।
Continuous Skip-gram: एक लॉग-लीनियर क्लासिफायर जो केवल वर्तमान केंद्र शब्द के आधार पर एक विंडो के भीतर आसपास के संदर्भ शब्दों की भविष्यवाणी करता है, जिसमें दूर के शब्दों को कम बार सैंपल किया जाता है।
Huffman Coding के साथ Hierarchical Softmax: Softmax नॉर्मलाइज़ेशन की लागत $V$ से घटकर लगभग $lo g_{2} (V)$ (या Huffman ट्री के माध्यम से $lo g_{2} (Unigram_perplexity (V))$ , जो बार-बार आने वाले शब्दों को छोटे कोड प्रदान करता है) हो जाती है।
एनालॉजी मूल्यांकन बेंचमार्क: एक नया 19,544-प्रश्नों का टेस्ट सेट जो वेक्टर अंकगणित और कोसाइन दूरी का उपयोग करके सिंटैक्टिक (जैसे, तुलनात्मक, भूतकाल) और सिमेंटिक (जैसे, राजधानी-देश, मुद्रा) भाषाई नियमितताओं का मूल्यांकन करता है।

विधि (मुख्य समीकरणों के साथ)

प्रशिक्षण जटिलता को $E$ अवधियों (epochs), प्रशिक्षण सेट में $T$ शब्दों और प्रति-उदाहरण लागत $Q$ में पैरामीटर एक्सेस की संख्या के रूप में परिभाषित किया गया है: $O = E \times T \times Q$

फ़ीडफॉरवर्ड NNLM बेसलाइन

संदर्भ लंबाई $N$ , एम्बेडिंग आयाम $D$ , हिडन यूनिट्स $H$ , और शब्दावली आकार $V$ के लिए: $Q = N \times D + N \times D \times H + H \times V$ जब hierarchical softmax का उपयोग किया जाता है, तो आउटपुट पद घटकर $H \times lo g_{2} (V)$ हो जाता है, जिससे $N \times D \times H$ मुख्य अड़चन बन जाता है।

रिकर्पेंट न्यूरल नेट लैंग्वेज मॉडल (RNNLM) बेसलाइन

हिडन स्टेट आयाम $H$ के एम्बेडिंग आयाम $D$ के बराबर होने पर: $Q = H \times H + H \times V$ hierarchical softmax का उपयोग करने पर, आउटपुट पद घटकर $H \times lo g_{2} (V)$ हो जाता है, जिससे रिकर्पेंट ट्रांज़िशन $H \times H$ प्रमुख लागत के रूप में बचता है।

Continuous Bag-of-Words (CBOW)

CBOW हिडन लेयर को $N$ संदर्भ शब्दों (आमतौर पर 4 पिछले और 4 भविष्य के शब्द) के औसत प्रोजेक्शन लेयर से बदल देता है: $Q = N \times D + D \times lo g_{2} (V)$

Continuous Skip-gram

Skip-gram केंद्र शब्द लेता है और अधिकतम दूरी $C$ (प्रयोगों में, $C = 10$ ) के भीतर संदर्भ शब्दों की भविष्यवाणी करता है। प्रत्येक शब्द के लिए, एक ऑफ़सेट $R \in {1, \dots, C}$ समान रूप से चुना जाता है, जो आगे और पीछे के $R$ शब्दों की भविष्यवाणी करता है: $Q = C \times (D + D \times lo g_{2} (V))$

एनालॉजी सर्च

" $A$ का संबंध $B$ से है जैसा $C$ का $D$ से है" रूप के प्रश्नों का उत्तर शब्दावली वेक्टर $X$ ढूंढकर दिया जाता है जो इसे अधिकतम करता है: $X = ar g w \in / {B, C, A} max cos (v_{w}, v_{B} - v_{A} + v_{C})$

परिणाम (सबसे महत्वपूर्ण आंकड़ों के साथ)

एनालॉजी बेंचमार्क प्रदर्शन (640-D, 320M शब्द):
- RNNLM: 9% सिमेंटिक, 36% सिंटैक्टिक।
- NNLM: 23% सिमेंटिक, 53% सिंटैक्टिक।
- CBOW: 24% सिमेंटिक, 64% सिंटैक्टिक।
- Skip-gram: 55% सिमेंटिक, 59% सिंटैक्टिक।
Google News 6B टोकन पर स्केलिंग (DistBelief डिस्ट्रीब्यूटेड ट्रेनिंग):
- NNLM ( $100$ -D): 34.2% सिमेंटिक, 64.5% सिंटैक्टिक, 50.8% कुल ( $14 \times 180$ CPU-core दिन लगे)।
- CBOW ( $1000$ -D): 57.3% सिमेंटिक, 68.9% सिंटैक्टिक, 63.7% कुल ( $2 \times 140$ CPU-core दिन लगे)।
- Skip-gram ( $1000$ -D): 66.1% सिमेंटिक, 65.1% सिंटैक्टिक, 65.6% कुल ( $2.5 \times 125$ CPU-core दिन लगे)।
Microsoft Sentence Completion Challenge: अकेले Skip-gram ने 48.0% सटीकता हासिल की; RNNLMs के पहनावे (ensemble) के साथ मिलकर, यह 58.9% की अत्याधुनिक सटीकता तक पहुंच गया।
Epochs बनाम Data: दोगुने डेटा पर 1 epoch के लिए प्रशिक्षण ने कम डेटा पर 3 epochs के बराबर या उससे बेहतर प्रदर्शन किया, जबकि वास्तविक प्रशिक्षण समय में भी कमी आई।

सीमाएं और खुले प्रश्न

सटीक मिलान मूल्यांकन मीट्रिक: टेस्ट सेट समानार्थक शब्दों को गलतियों के रूप में गिनता है (उदा., किसी समकक्ष मान्य शहर या बहुवचन रूप की भविष्यवाणी करना), जिससे 100% से नीचे एक कृत्रिम सीमा बन जाती है।
सबवर्ड मॉर्फोलॉजी का अभाव: शब्दों को एकल टोकन के रूप में माना जाता है; मॉडल आंतरिक वर्ण या रूपिम (morpheme) संरचना का लाभ नहीं उठाता है, जो दुर्लभ या रूपांतरित शब्दों पर इसके सिंटैक्टिक सामान्यीकरण को सीमित करता है।
मल्टी-वर्ड वाक्यांश: मॉडल केवल एकल-टोकन शब्दों पर काम करता है और स्वाभाविक रूप से मल्टी-वर्ड अभिव्यक्तियों (जैसे "New York") को संभाल नहीं पाता है।
वाक्य पूर्णता प्रदर्शन: Microsoft Sentence Completion कार्य पर Skip-gram ने अकेले औसत LSA समानता (49.0%) की तुलना में कम स्कोर (48.0%) किया, और प्रतिस्पर्धी परिणाम प्राप्त करने के लिए इसे RNNLMs के साथ संकरण (hybridization) पर निर्भर रहना पड़ा।

मुख्य शब्द

Continuous Bag-of-Words Model: एक लॉग-लीनियर न्यूरल आर्किटेक्चर (CBOW) जो बिना किसी हिडन लेयर के, आगे और पीछे के संदर्भ शब्द वेक्टर्स के निरंतर औसत से एक लक्षित केंद्र शब्द का अनुमान लगाता है।
Continuous Skip-gram Model: एक लॉग-लीनियर मॉडल जो गतिशील रूप से सैंपल की गई विंडो के भीतर आसपास के संदर्भ शब्दों का अनुमान लगाने के लिए एक लक्षित शब्द वेक्टर का उपयोग करता है।
Hierarchical Softmax: एक आउटपुट लेयर सन्निकटन जो शब्दावली को एक बाइनरी ट्री (जैसे कि Huffman tree) में संरचित करता है, जिससे मूल्यांकन जटिलता $V$ से घटकर लगभग $lo g_{2} (V)$ हो जाती है।
Semantic-Syntactic Word Relationship test set: 19,544 समानता प्रश्नों (8,869 सिमेंटिक और 10,675 सिंटैक्टिक) का एक बेंचमार्क जिसे कोसाइन समानता का उपयोग करके वेक्टर ऑफसेट का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
DistBelief: Google में विकसित एक डिस्ट्रीब्यूटेड कंप्यूटिंग फ्रेमवर्क जिसका उपयोग एसिंक्रोनस ग्रेडिएंट अपडेट के माध्यम से सैकड़ों CPU कोर पर न्यूरल नेटवर्क आर्किटेक्चर को प्रशिक्षित करने के लिए किया जाता है।
Word offset technique: निकटतम-पड़ोसी कोसाइन खोज के माध्यम से अनुरूप शब्दों की पहचान करने के लिए उपयोग किया जाने वाला सरल वेक्टर अंकगणित (उदा., $vector (B) - vector (A) + vector (C)$ )।
Huffman binary tree: शब्दावली का एक आवृत्ति-आधारित कोडिंग ट्री निरूपण जो hierarchical softmax में लगातार उपयोग होने वाले शब्दों को छोटे पथ प्रदान करने के लिए उपयोग किया जाता है, जिससे मूल्यांकन लागत कम हो जाती है।

प्रश्न

NNLM और CBOW के बीच मुख्य आर्किटेक्चरल अंतर क्या है?

CBOW नॉन-लीनियर हिडन लेयर को पूरी तरह से हटा देता है और एक साझा प्रोजेक्शन लेयर में संदर्भ शब्दों के निरंतर निरूपणों का औसत निकालता है, जिससे $N \times D \times H$ की गणना बाधा समाप्त हो जाती है।

Continuous Skip-gram विभिन्न दूरियों पर स्थित संदर्भ शब्दों को कैसे संभालता है?

Skip-gram अधिकतम दूरी $C$ (आमतौर पर 10) तक संदर्भ शब्दों का नमूना लेता है, लेकिन प्रत्येक प्रशिक्षण शब्द के लिए यादृच्छिक रूप से विंडो आकार $R \in [1, C]$ चुनकर दूर के शब्दों का कम बार नमूना लेता है।

सिमेंटिक बनाम सिंटैक्टिक कार्यों पर कौन सा मॉडल बेहतर प्रदर्शन करता है?

CBOW सिंटैक्टिक समानताओं पर उच्च सटीकता प्राप्त करता है (640-D पर 64% बनाम 59%), जबकि Skip-gram सिमेंटिक समानताओं पर काफी बेहतर प्रदर्शन करता है (640-D पर 55% बनाम 24%)।

क्या कई epochs के लिए प्रशिक्षित करना बेहतर है या कम epochs के साथ अधिक डेटा का उपयोग करना?

शोध में पाया गया है कि दोगुने डेटा पर एक एकल epoch के लिए प्रशिक्षण करना, छोटे डेटा पर तीन epochs तक दोहराने की तुलना में समान या बेहतर निरूपण गुणवत्ता प्रदान करता है, और यह तेज़ी से प्रशिक्षित भी होता है।

इस पृष्ठ की व्याख्या AI ने शोध पत्र से लिखी है और इसमें गलतियाँ हो सकती हैं। विवरण के लिए मूल शोध पत्र पढ़ें।

अनुवाद और AI के साथ पढ़ें