ایپل کے محققین کا خیال ہے کہ ایل ایل ایم منطقی استدلال کے بجائے نمونوں کے ملاپ پر زیادہ انحصار کرتے ہیں، پیچیدہ سوالات کے ساتھ جدوجہد کرتے ہیں۔ Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

ایپل کے محققین نے بڑے زبان ماڈل (ایل ایل ایم) کی ریاضیاتی استدلال کی صلاحیتوں کے بارے میں خدشات کا اظہار کیا ہے ، یہ معلوم کرتے ہوئے کہ ان کے ردعمل معمولی ان پٹ تبدیلیوں کی بنیاد پر نمایاں طور پر مختلف ہوتے ہیں۔ Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. اس سے پتہ چلتا ہے کہ ایل ایل ایم حقیقی منطقی استدلال کے بجائے ممکنہ نمونہ کے مماثلت پر زیادہ انحصار کرتے ہیں۔ This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. ان صلاحیتوں کا بہتر اندازہ لگانے کے لئے ، انہوں نے جی ایس ایم - علامتی معیار متعارف کرایا ، جس سے یہ انکشاف ہوا کہ ایل ایل ایم پیچیدہ سوالات سے جدوجہد کرتے ہیں ، قابل اعتماد استدلال میں ان کی حدود کو اجاگر کرتے ہیں۔ To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 مضامین