آنتروپیک در ۲۸ سپتامبر ۲۰۲۶ مدل Claude Sonnet 5.5 را معرفی کرد و گفت این نسخه در آزمون‌های خودش برای بسیاری از کارها تا ۳۰ درصد هزینه کمتری از Sonnet 5 داشته است. بااین‌حال، قیمت پایه هر توکن این دو نسخه یکسان اعلام شده است. این دو جمله چگونه می‌توانند هم‌زمان درست باشند؟ پاسخ در تفاوت میان قیمت هر واحد پردازش و تعداد واحدهای مصرف‌شده است؛ تفاوتی که برای فهم خبرهای مدل‌های هوش مصنوعی، حتی بدون دانش برنامه‌نویسی، اهمیت دارد. منابع این گزارش در ۱ اکتبر ۲۰۲۶ بررسی شده‌اند. منبع معرفی: آنتروپیک
عبارت «ارزان‌تر» بدون مشخص کردن واحد مقایسه ناقص است. ممکن است درباره قیمت پردازش مقدار معینی متن صحبت کنیم، یا درباره مبلغ لازم برای تمام کردن یک درخواست. در ارزیابی یک دستیار، نتیجه قابل استفاده هم مهم است: پاسخ کم‌هزینه‌ای که نیاز به چند بار اصلاح دارد، تجربه متفاوتی از پاسخی دارد که همان بار اول معیارهای کار را برآورده می‌کند. پرسش این گزارش این است که از خبر تازه چه می‌دانیم و برای نتیجه‌گیری درباره استفاده خودمان، چه چیزهایی را هنوز باید بسنجیم.
سازنده دقیقاً چه ادعایی دارد؟
سازنده Sonnet 5.5 را برای کارهای روزمره با دامنه روشن، رفع اشکال و تهیه سند، اسلاید و صفحه‌گسترده معرفی می‌کند. ادعای کاهش هزینه، نتیجه آزمایش‌های خود شرکت است؛ نه تضمین برای هر درخواست و هر کاربر. برای سنجیدن صرفه اقتصادی، باید دید این کاهش هزینه در چه کارهایی و با چه معیار کیفیتی به دست آمده است. تا وقتی نتیجه در کاری مشابه نیاز خودمان بررسی نشده باشد، نمی‌توان همان درصد را برای مصرف روزمره انتظار داشت. توضیح رسمی کاربردها و حدود ادعای هزینه
واحد کوچک متن، صورتحساب بزرگ‌تر
توکن واحدی است که سامانه برای پردازش متن به کار می‌برد و لزوماً با یک واژه برابر نیست. در جدول رسمی قیمت‌گذاری، نرخ پایه Sonnet 5.5 برابر ۲ دلار برای هر یک میلیون توکن ورودی و ۱۰ دلار برای هر یک میلیون توکن خروجی درج شده است. این اعداد مربوط به رابط برنامه‌نویسی، یعنی اتصال نرم‌افزارها به مدل، هستند؛ نباید آنها را قیمت یک اشتراک ماهانه یا مبلغ هر گفتگوی معمولی معرفی کرد.
همان مستند، برای استفاده دوباره از ورودی ذخیره‌شده نرخ جداگانه‌ای دارد. به زبان ساده، وقتی بخشی از متن قبلاً پردازش و در حافظه موقت نگهداری شده باشد، خواندن دوباره آن می‌تواند با نرخ متفاوتی حساب شود. پس حتی دو درخواست با طول ظاهراً یکسان، بدون دانستن ترکیب ورودی، خروجی و استفاده از حافظه موقت، به‌طور دقیق قابل مقایسه نیستند. جدول قیمت نقطه شروع محاسبه است؛ برای محاسبه مبلغ نهایی، باید مصرف هر بخش را در نرخ همان بخش ضرب کرد.
نتیجه آزمون مستقل به کدام تنظیمات مربوط است؟
در زمان بررسی این گزارش، صفحه ارزیابی Artificial Analysis برای Sonnet 5.5 با استدلال تطبیقی، سطح تلاش Max و fallback پیش‌فرض، هزینه متوسط ۷٫۶۲ دلار به‌ازای هر وظیفه در شاخص هوش خود نشان می‌داد. منظور از fallback، استفاده از مدل جایگزین در شرایط تعیین‌شده سرویس است. عدد بالا برای همان مجموعه آزمون و همان پیکربندی است؛ قیمت یک پیام کوتاه، خلاصه‌سازی روزانه یا همه کارهای مردم نیست.
این ارزیاب هزینه هر وظیفه را با در نظر گرفتن توکن‌های ورودی، خروجی، استدلال و حافظه موقت و وزن آزمون‌ها محاسبه می‌کند. در نتیجه، برای مقایسه این عدد با ادعای کاهش هزینه سازنده، باید نوع کار، تنظیمات و روش محاسبه در هر دو ارزیابی یکسان باشد. اینجا شاهدی مستقل از سازنده داریم، اما استقلال منبع به معنای پوشش همه کاربردها نیست. به‌ویژه از همین عدد نمی‌توان درباره کیفیت نوشتن فارسی یا میزان اصلاح لازم برای یک سند مشخص حکم داد.
دکمه «تلاش بیشتر» چه چیزی را تغییر می‌دهد؟
در راهنمای رسمی سطح تلاش، effort به میزان منابعی مربوط است که مدل برای انجام درخواست صرف می‌کند. این تنظیم، انتخاب مدل را عوض نمی‌کند؛ به همان مدل علامت می‌دهد چقدر کار و بررسی انجام دهد. سطح بالاتر می‌تواند به مصرف توکن و زمان بیشتر منجر شود. سطح پایین‌تر هم ممکن است برای یک مسئله پیچیده کافی نباشد و کار را ناتمام بگذارد. بنابراین انتخاب بالاترین سطح تلاش لزوماً برای هر کاری مناسب نیست.
راهنمای سازنده پیشنهاد می‌کند از تنظیم پیش‌فرض شروع شود و تغییر، متناسب با نتیجه مشاهده‌شده باشد. برداشت کاربردی ما این است که نام مدل و سطح تلاش باید کنار هم ثبت شوند؛ مقایسه دو خروجی وقتی یکی با تنظیم سبک و دیگری با تنظیم سنگین تولید شده، فقط مقایسه نام دو مدل نیست. برای نمونه، اگر با افزایش سطح تلاش خطا کمتر نشود ولی زمان انتظار بیشتر شود، آن تغییر برای کار مورد بررسی سودی نداشته است.
نکته کمتر قابل مشاهده در راهنمای مهاجرت Sonnet 5.5 آمده است: توکن‌های مرحله استدلال در صورتحساب خروجی حساب می‌شوند، حتی وقتی متن آن مرحله به‌طور پیش‌فرض نمایش داده نمی‌شود. در نتیجه، کوتاه بودن پاسخ نهایی به‌تنهایی نشان‌دهنده کم بودن کل مصرف نیست. این نکته برای سازندگان برنامه‌ها مهم است؛ کسی که فقط چند خط نتیجه را می‌بیند، الزاماً همه پردازش انجام‌شده پشت آن نتیجه را نمی‌بیند.
یک نمونه فرضی: خلاصه‌ای که واقعاً آماده ارسال باشد
برای ملموس شدن بحث، یک سناریوی کاملاً فرضی را در نظر بگیرید. فردی می‌خواهد یادداشت‌های یک سفر گروهی را به برنامه‌ای کوتاه تبدیل کند. پیش از استفاده از دستیار، سه شرط می‌نویسد: ساعت‌ها از متن اصلی تغییر نکنند، برنامه پیشنهادی از رزرو قطعی جدا باشد و اطلاعات ناموجود ساخته نشود. در این مثال، تنها خروجی‌ای آماده ارسال است که هر سه شرط را داشته باشد.
اکنون فرض کنید دو خروجی ظاهر مرتب و متن روانی دارند. در یکی، دستیار یک ساعت حرکت ناموجود اضافه کرده است؛ در دیگری، همان مورد با عبارت «هنوز مشخص نشده» باقی مانده است. اگر فقط سرعت ظاهر شدن متن را ثبت کنیم، تفاوت اصلی گم می‌شود. معیار پیشنهادی در این مثال، زمان رسیدن به برنامه قابل ارسال است؛ از اولین درخواست تا پایان تطبیق ساعت‌ها و اصلاح اطلاعات. ممکن است خروجی سریع‌تر، بازبینی بیشتری بخواهد یا برعکس؛ نتیجه از پیش معلوم نیست.
برای چنین مقایسه‌ای می‌توان همان یادداشت‌ها و همان دستور را در چند اجرای جدا به کار برد و نام نسخه، تنظیم تلاش، موارد خطا و زمان بازبینی را کنار نتیجه نوشت. اگر هزینه مصرف در دسترس باشد، آن هم ثبت می‌شود. چند اجرای محدود برای اعلام برتری عمومی یک مدل کافی نیست، اما کمک می‌کند خطاهای تکرارشونده در کار خودمان را پیدا کنیم. این سناریو صرفاً پیشنهاد یک روش بررسی است و نتیجه اندازه‌گیری‌شده‌ای برای آن نداریم.
خبر Sonnet 5.5 فرصتی است برای دقیق‌تر خواندن واژه «ارزان‌تر». تا وقتی نوع کار، تنظیمات و معیار قبول نتیجه مشخص نباشند، یک نرخ یا درصد به‌تنهایی پاسخ کافی نمی‌دهد. مشاهده تعیین‌کننده برای کاربرِ مثال ما، همان برنامه سفری است که بتواند با اطمینان از تطابقش با یادداشت‌ها ارسال کند. فاصله میان تولید متن و رسیدن به آن خروجی، چیزی است که ارزیابی بعدی باید روشن کند.
تصویر شاخص: تصویرسازی مفهومی تولیدشده با هوش مصنوعی از مسیرهای متفاوت مصرف منابع برای رسیدن به یک خروجی؛ تصویر واقعی محصول یا نمودار اندازه‌گیری‌شده نیست.
نظر شما چیست؟