ارزیابی چت‌بات فارسی ParsBench

درباره ارزیابی چت‌بات فارسی

این مهارت (Skill) به دستیار برنامه‌نویسی شما یاد می‌دهد با کتابخانه پایتون ParsBench برای چت‌بات یا عامل هوش مصنوعی فارسی‌تان آزمون بنویسد. مهارت را خود پروژه ParsBench در همان مخزن کتابخانه منتشر کرده است.

مشکل اصلی که حل می‌کند: آزمون‌هایی که برای متن انگلیسی ساخته شده‌اند روی فارسی بی‌صدا شکست می‌خورند. ParsBench هنگام مقایسه، ارقام فارسی و انگلیسی، نیم‌فاصله، مبلغ به ریال و تومان، و تاریخ شمسی و میلادی را برابر می‌داند. مثلاً مبلغی که به ریال نوشته شده با همان مبلغ به تومان یکی حساب می‌شود.

چه چیزهایی را پوشش می‌دهد

• آزمون برنامه: بررسی پاسخ، ابزارهایی که چت‌بات صدا زده و ابزارهایی که نباید صدا بزند؛ با هر چارچوبی (OpenAI SDK، LangGraph، Pydantic AI و غیره) و قابل اجرا در CI.
• شبیه‌سازی گفتگو با کاربر ایرانی (تعارف، فینگلیش، اشتباه ریال و تومان).
• سنجش مدل‌ها روی ۱۳ بنچمارک فارسی آماده مثل ParsiNLU و Persian MMLU؛ همان ابزاری که پشت جدول رتبه‌بندی ParsBench است.

نکته‌ها

• کتابخانه را جداگانه نصب کنید: pip install parsbench (پایتون ۳.۱۲ یا جدیدتر).
• دستور نصب، مهارت را برای پروژه فعلی نصب می‌کند. بدون npx می‌توانید پوشه skills/parsbench/ مخزن را در پوشه مهارت‌های دستیار (برای Claude Code، .claude/skills/) کپی کنید.