moshe-ship/mkhlab/arabic-agent-eval

Claude Code and agent skill by moshe-ship/mkhlab

Trust tier 3
  • community
Source check pending

Checking that the SKILL.md file is still in the repository.

Arabic function-calling benchmark — evaluate how well LLMs handle tool calling in Arabic

Install

npx vskill@latest install moshe-ship/mkhlab/arabic-agent-eval

SKILL.md

The same SKILL.md was published earlier as moshe-ship/hurmoz/arabic-agent-eval.

تقييم الوكلاء العرب — Arabic Agent Eval

أول معيار قياس لاستدعاء الأدوات بالعربي.

التثبيت

bash
pip install arabic-agent-eval

الاستخدام

تقييم سريع
bash
aae quick openai
تقييم كامل
bash
aae run
مقارنة بين موفرين
bash
aae compare openai anthropic

فئات التقييم

ست فئات:

  1. استدعاء بسيط — اختيار الدالة الصحيحة واستخراج المعاملات
  2. استخراج المعاملات — استخراج بيانات عربية من نص طبيعي
  3. تفكير متعدد الخطوات — سلسلة استدعاءات متتابعة
  4. معالجة اللهجات — فهم خليجي ومصري وشامي ومغاربي
  5. اختيار الأداة — اختيار الأداة الصحيحة من عشر خيارات
  6. معالجة الأخطاء — التعامل مع ردود الخطأ بالعربي

مجموعة البيانات

  • واحد وخمسين عنصر تقييم
  • خمس لهجات عربية
  • اثنين وعشرين دالة عربية (صلاة، زكاة، قرآن، أسهم تداول، وغيرها)
  • ثلاث مستويات صعوبة

التقييم

لكل عنصر:

  • اختيار الدالة: هل اختار الموديل الدالة الصحيحة؟
  • دقة المعاملات: هل المعاملات المستخرجة صحيحة؟
  • حفظ العربية: هل القيم العربية محفوظة ولا تُرجمت؟
  • فهم اللهجة: هل فهم الموديل اللهجة؟

إحصائيات المجموعة

bash
aae dataset

Security

  • Security scanPassed, 90 of 100Pattern checks on the skill's files.
  • Model reviewPassed

See the full security report

Quality evaluation

  • Task evaluationNot runNo evaluation yet. Run one in Skill Studio.

See evaluation results

Source

Popularity

7-day trend score
5

Not refreshed yet.

Works with

Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.

  • Claude Code
  • Cursor
  • GitHub Copilot
  • Windsurf
  • Codex
  • Gemini CLI
  • Cline
  • Amp
  • Roo Code
  • Goose
  • Continue
  • Kilo Code
  • Junie
  • Trae
  • OpenHands
  • Qwen Code
  • AI Agent
  • Tabnine Chat
  • Sourcegraph Cody
  • Amazon Q
  • Firebase Genkit
  • Sweep
  • Devin
  • Phind
  • Mentat
  • Claude Desktop
  • Aider
  • GPT Pilot
  • Plandex
  • bolt.new
  • v0
  • Replit Agent
  • Anse
  • TypingMind
  • BetterChatGPT
  • LibreChat
  • Warp AI
  • Pieces
  • Fig AI
Embed badge
vskill VERIFIED badge
[![vskill VERIFIED](https://verified-skill.com/api/v1/skills/moshe-ship/mkhlab/arabic-agent-eval/badge)](https://verified-skill.com/skills/moshe-ship/mkhlab/arabic-agent-eval)

Something wrong with this skill or its page? Tell us.