Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei; Xuezhi Wang; Dale Schuurmans; Maarten Bosma; Brian Ichter; Fei Xia; Ed Chi; Quoc Le; Denny Zhou

Makaleler · arXiv 2201.11903

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou

Yayımlanma 2022-01-28cs.CLcs.AI arXiv PDF

Çeviri ve yapay zekâ ile oku

Üç satırda özet

🎯 Standart few-shot prompting, karmaşık çok adımlı akıl yürütmede (aritmetik, sağduyu, sembolik) başarısız olmakta ve düz ölçeklenme eğrileri sergilemektedir.
🔧 Nihai yanıtı tahmin etmeden önce few-shot örnekleri, bir düşünce zinciriyle (chain of thought)—yani doğal dildeki ara akıl yürütme adımları dizisiyle—zenginleştirilir.
📈 8 düşünce zinciri örneğine sahip PaLM 540B, GSM8K üzerinde %56,9 doğruluğa (harici bir hesap makinesiyle %58,6) ulaşarak doğrulayıcılı ince ayarlı GPT-3'ü geride bıraktı.

Özet

Bir düşünce zinciri (chain of thought) —yani bir dizi ara akıl yürütme adımı— oluşturmanın, büyük dil modellerinin karmaşık akıl yürütme gerçekleştirme yeteneğini nasıl önemli ölçüde geliştirdiğini araştırıyoruz. Özellikle, bu tür akıl yürütme yeteneklerinin, istem içinde birkaç düşünce zinciri örneğinin sunulduğu basit bir yöntem olan chain of thought prompting aracılığıyla yeterince büyük dil modellerinde doğal olarak nasıl ortaya çıktığını gösteriyoruz. Üç büyük dil modeli üzerindeki deneyler, chain of thought prompting yönteminin aritmetik, sağduyu ve sembolik akıl yürütme görevlerindeki performansı artırdığını ortaya koymaktadır. Elde edilen ampirik kazanımlar oldukça dikkat çekicidir. Örneğin, 540 milyar parametreli bir dil modeline yalnızca sekiz düşünce zinciri örneğiyle istem verilmesi, GSM8K matematik problemleri kıyaslamasında en gelişmiş doğruluğa ulaşmakta ve doğrulayıcıya sahip ince ayarlı GPT-3 modelini bile geride bırakmaktadır.

Orijinal özet (İngilizce)

We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. The empirical gains can be striking. For instance, prompting a 540B-parameter language model with just eight chain of thought exemplars achieves state of the art accuracy on the GSM8K benchmark of math word problems, surpassing even finetuned GPT-3 with a verifier.

Okuma rehberi

Problem ve motivasyon

Standart few-shot prompting, dil modellerine girdi-çıktı örnekleri sunarak birçok doğrudan soru-cevap görevinde güçlü bir performans sağlar. Ancak ilkokul aritmetiği, çok adımlı sağduyu soruları ve sembolik manipülasyonlar gibi çok adımlı akıl yürütme görevlerinde, standart istemleme altında yalnızca model boyutunu büyütmek genellikle düz ölçeklenme eğrilerine ve düşük performansa yol açar. Çok adımlı problemleri çözmeye çalışan önceki yaklaşımlar ya özelleştirilmiş gerekçelendirme modellerinin eğitilmesine/ince ayarına (bu da yüksek maliyetli büyük miktarda denetimli gerekçe verisi gerektirir) ya da biçimsel nöro-sembolik temsillere dayanıyordu. Bu makale, genel amaçlı dil modellerinin herhangi bir parametre güncellemesi olmadan tamamen bağlam içinde (in-context) çok adımlı akıl yürütme gerçekleştirip gerçekleştiremeyeceğini araştırmaktadır.

Temel fikirler

Chain-of-Thought Ayrıştırması: İnsanlar bir yanıt vermeden önce karmaşık problemleri ardışık akıl yürütme adımlarına ayırırlar. Dil modelleri, $⟨ girdi, d \overset{u}{¨} \overset{s}{¸} \overset{u}{¨} nce zinciri, \overset{c}{¸} ı kt ı ⟩$ üçlüleri şeklinde yapılandırılmış bağlam içi gösterimlerle yönlendirildiğinde bu davranışı taklit edebilir.
Ölçekle Birlikte Ortaya Çıkış (Emergence at Scale): Chain-of-thought (CoT) prompting, küçük modellerde ( $< 10 B$ parametre) anlamlı gelişmeler sağlamaz ve genellikle performansı düşürür. Yalnızca $\sim 100 B$ veya daha fazla parametreye sahip modellerde etkili bir yetenek olarak ortaya çıkar.
Değişken Ara Hesaplama: Doğal dil belirteçleri (token'ları) üretmek, doğrudan yanıt tahmininin yapamadığı bir şeyi sağlayarak modelin daha zor çok adımlı problemlere (özbağlanımlı belirteç üretimi yoluyla) dinamik olarak ek hesaplama gücü ayırmasına olanak tanır.

Yöntem (temel denklemlerle)

Yöntem, few-shot prompting paradigmasını modifiye eder. Modelin doğrudan $P (y ∣ x, P_{standard})$ olasılığını hesapladığı girdi-çıktı çiftleri $(x_{i}, y_{i})$ ile istemleme yapmak yerine: $P_{standard} = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{k}, y_{k})}$ chain-of-thought prompting, nihai yanıttan önce doğal dilde bir akıl yürütme zinciri $c_{i} = (c_{i, 1}, c_{i, 2}, \dots, c_{i, m})$ ekler: $P_{CoT} = {(x_{1}, c_{1}, y_{1}), (x_{2}, c_{2}, y_{2}), \dots, (x_{k}, c_{k}, y_{k})}$ Bir test girdisi $x$ için çıkarım (inference) anında, model hem akıl yürütme zincirini hem de yanıtı özbağlanımlı olarak üretir: $P (c, y ∣ x, P_{CoT}) = t = 1 \prod ∣ c ∣ P (c_{t} ∣ x, P_{CoT}, c_{< t}) j = 1 \prod ∣ y ∣ P (y_{j} ∣ x, P_{CoT}, c, y_{< j})$ Aritmetik kıyaslamalar için yazarlar ayrıca bir post-hoc harici hesap makinesi uzantısını da değerlendirir: $c$ içinde üretilen matematiksel denklemler Python'ın eval fonksiyonu kullanılarak hesaplanır ve aritmetik hesaplama hatalarını önlemek için sonuçlar dize eşleştirme yoluyla ileriye aktarılır.

Sonuçlar (en önemli sayılarla)

Aritmetik Akıl Yürütme (GSM8K): GSM8K üzerinde PaLM 540B'de standart istemleme %17,9 elde ederken, 8-shot CoT prompting %56,9'a (ve harici bir hesap makinesiyle %58,6'ya) ulaşarak doğrulayıcılı ince ayarlı GPT-3 175B'nin önceki denetimli en iyi derecesi olan %55'i geride bırakmıştır. Codex ise %63,1'e (hesap makinesiyle %65,4) ulaşmaktadır.
Diğer Matematik Kıyaslamaları: PaLM 540B; SVAMP'ta %79,0 (standart: %69,4), ASDiv'de %73,9 (standart: %72,1), AQuA'da %35,8 (standart: %25,2) ve MAWPS'ta %93,3 (standart: %79,2) başarısına ulaşır.
Sağduyu Akıl Yürütmesi: PaLM 540B CoT, StrategyQA'de %75,6 (standart: %68,6 ve önceki denetimli en iyi: %69,4) ile yeni bir teknoloji standardı belirlemiş ve Sports Understanding görevinde insan spor meraklılarını geride bırakmıştır (%95,4'e karşı %84,0).
Sembolik Manipülasyon ve Uzunluk Genellemesi: Son harfleri birleştirme (last-letter concatenation) görevinde PaLM 540B, alan içi (2 kelime) testte %7,6'dan (standart) %99,4'e (CoT) yükselmiştir. Alan dışı 4 kelime üzerinde test edildiğinde standart istemleme %0,0'a düşerken, CoT %63,0 doğruluğu korumuştur.
Ablasyon Çalışmaları: LaMDA 137B üzerindeki ablasyonlar; "yalnızca denklem" istemlemenin (GSM8K'de %5,4), noktalar aracılığıyla "yalnızca değişken hesaplama"nın (%6,4) ve "yanıttan sonra akıl yürütme"nin (%6,1) standart CoT prompting (%14,3) başarısına yaklaşamadığını doğrulayarak, yanıttan önceki doğal dildeki ara adımların zorunlu olduğunu göstermiştir.

Kısıtlar ve açık sorular

Olgusal Olarak Akıl Yürütme Garantisi Yoktur: Üretilen zincirler sadakatsiz (unfaithful), anlamsal olarak kusurlu veya halüsinasyon ürünü olabilir ve bazen sadece tesadüfen doğru yanıta ulaşabilir (özellikle ikili veya çoktan seçmeli formatlarda).
Model Ölçeği Kısıtı: Bu tekniğin üretim ortamlarında sunulması yüksek maliyetlidir; çünkü güvenilir bir şekilde çalışması için $\sim 100 B +$ parametreli modellere ihtiyaç duyar.
Gerçek Akıl Yürütme Konusundaki Açık Soru: Makale, insan gerekçelerini taklit etmenin, altta yatan sinirsel temsillerin biçimsel bir akıl yürütme gerçekleştirdiğini kanıtlamadığını belirtmektedir.

Temel terimler

chain of thought: Bir problemin nihai yanıtı tahmin edilmeden önce üretilen, doğal dildeki tutarlı bir dizi ara akıl yürütme adımı.
chain-of-thought prompting: Few-shot örneklerinin, model ağırlıkları güncellenmeksizin girdi, ara akıl yürütme zinciri ve çıktı üçlüleri olarak biçimlendirildiği bir istemleme stratejisi.
emergent ability: Daha küçük dil modellerinde bulunmayan veya performansı düşüren, ancak model ölçeği belirli bir eşiği (yaklaşık 100B parametre) aştığında ortaya çıkan yetenek.
GSM8K: Çözüm için 2 ila 8 aritmetik adım gerektiren 1.319 adet yüksek kaliteli, çok adımlı ilkokul matematik probleminden oluşan bir kıyaslama veri seti.
standard prompting: Gösterimlerin yalnızca girdi ve nihai çıktı çiftlerinden oluştuğu standart few-shot bağlam içi öğrenme (in-context learning) kurulumu.
length generalization: Bir modelin, few-shot örneklerinde gösterilenden daha fazla adım veya daha büyük dizi uzunlukları içeren akıl yürütme zincirlerinde test anında başarılı olma yeteneği.
external calculator: Üretilen düşünce zincirinden denklemleri çıkaran, bunları Python'ın eval fonksiyonuyla yürüten ve sonraki metni güncelleyen bir post-hoc değerlendirme mekanizması.
variable compute: Daha zor problemlerde daha fazla hesaplama yapılabilmesi amacıyla değişken sayıda ara üretim belirtecinin tahsis edilmesi.

Sorular

Chain-of-thought prompting neden küçük dil modellerinde başarısız oluyor?

Yaklaşık 10 milyar parametrenin altındaki modeller genellikle akıcı ancak mantıksız veya tekrarlayan düşünce zincirleri üretir; temel sembol eşleme ve aritmetikte zorlanarak doğrudan yanıt vermeye kıyasla daha düşük performans sergiler.

Chain-of-thought prompting, istem ifadelerine ve metin yazarlarına karşı ne kadar duyarlıdır?

Kesin doğruluk oranları yazarlara ve istem tarzlarına göre değişiklik gösterse de, üç bağımsız yazar ve GSM8K'den rastgele örneklerle yapılan deneyler, tüm CoT varyantlarının standart istemlemeyi sürekli olarak büyük farklarla geride bıraktığını göstermektedir.

Doğrudan bir denklem üretmek, doğal dilde akıl yürütmeyle aynı faydayı sağlar mı?

Hayır. GSM8K gibi karmaşık veri kümelerinde, yalnızca denklem içeren istemleme LaMDA 137B üzerinde yalnızca %5,4 doğruluk elde ederken CoT ile bu oran %14,3'tür; çünkü ara doğal dil adımları olmadan semantik olarak tek bir denkleme dönüştürme yapmak çok zordur.

Chain of thought, dil modellerinin istemlerde görülenden daha uzun girdilere genelleme yapmasına yardımcı olabilir mi?

Evet. Son harfi birleştirme ve yazı tura gibi sembolik görevlerde CoT; istemler yalnızca 2 adımlı dizileri gösterdiğinde bile PaLM 540B gibi modellerin 3 adımlı ve 4 adımlı alan dışı girdilere genelleme yapmasını sağlar.

Bu sayfadaki açıklama yapay zekâ tarafından makaleden yazılmıştır ve hata içerebilir. Ayrıntılar için makaleyi okuyun.

Çeviri ve yapay zekâ ile oku