cas-bigdatalab/piflow/average-line-length-filter

Claude Code and agent skill by cas-bigdatalab/piflow

Trust tier 2
  • community
LLM review pending
Source check pending

Checking that the SKILL.md file is still in the repository.

平均行长度过滤器。过滤文本平均行长度不在指定范围内的样本。 当用户提到行长度过滤、平均行长度、文本行长度筛选、按行筛选等需求时使用此skill。 即使用户没有明确说出"平均行长度"，只要任务涉及根据文本中每行的平均长度来筛选数据， 就应该使用此skill。

Install

npx vskill@latest install cas-bigdatalab/piflow/average-line-length-filter

SKILL.md

Average Line Length Filter 平均行长度过滤 Skill

功能概述

本skill根据文本的平均行长度进行过滤，只保留平均行长度在指定范围内的样本。 常用于过滤过短或过长的文本行、清理格式不规范的文本等场景。

触发条件

当用户请求以下任务时，应使用此skill：

  • 行长度过滤
  • 平均行长度筛选
  • 文本行长度过滤
  • 按行筛选
  • 清理过长文本
  • 清理过短文本

核心参数说明

必需参数
参数说明
--input输入JSON文件路径
--output输出JSON文件路径
可选参数
参数说明默认值
--min_len最小平均行长度10
--max_len最大平均行长度无限制
--text_key文本字段的键名text

输入文件格式

json
[
  {"text": "第一行\n第二行\n第三行"},
  {"text": "只有一行"},
  {"text": "长文本内容\n带有换行"}
]

使用方法

过滤平均行长度在10-100之间的样本（默认）
bash
python scripts/run_average_line_length_filter.py \
  --input ./input.json \
  --output ./output.json
过滤平均行长度在20-50之间的样本
bash
python scripts/run_average_line_length_filter.py \
  --input ./input.json \
  --output ./output.json \
  --min_len 20 \
  --max_len 50
只设置最小长度（无上限）
bash
python scripts/run_average_line_length_filter.py \
  --input ./input.json \
  --output ./output.json \
  --min_len 15

过滤示例

文本行数平均行长度过滤结果 (10-20)
a=1\nb\nc=1+2+3\nd=644过滤
Today is Sund Sunda and it's a happy day!\nYou know226过滤
a v s e e f g a qkc117保留
，。、„""«»１»112保留
Do you need a cup of coffee?125过滤

输出示例

命令行输出：

[OK] Average line length filtering completed!
   Min length: 10
   Max length: 20
   Original documents: 6
   Filtered documents: 2
   Removed documents: 4
   Input file: ./input.json
   Output file: ./output.json

输出JSON格式：

json
[
  {"text": "过滤后保留的文本1"},
  {"text": "过滤后保留的文本2"}
]

环境要求

安装依赖： 本SKILL使用依赖 data_juicer，请在调用前安装好python环境并安装data_juicer：

bash
pip install py-data-juicer

注意事项

  1. 平均行长度计算：总字符数 / 行数
  2. 默认值：max_len 默认无限制
  3. 过滤逻辑：只保留平均行长度在 [min_len, max_len] 范围内的样本
  4. 适用场景：清理过短/过长文本行、过滤格式不规范文本

Security

  • Security scanPassed, 100 of 100Pattern checks on the skill's files.
  • Model reviewNot runA model review is scheduled for the next rescan.

See the full security report

Quality evaluation

  • Task evaluationNot runNo evaluation yet. Run one in Skill Studio.

See evaluation results

Source

Popularity

7-day trend score
0

Not refreshed yet.

Works with

Any agent vskill installs to: 56 targets in all. These 39 have a page on this site.

  • Claude Code
  • Cursor
  • GitHub Copilot
  • Windsurf
  • Codex
  • Gemini CLI
  • Cline
  • Amp
  • Roo Code
  • Goose
  • Continue
  • Kilo Code
  • Junie
  • Trae
  • OpenHands
  • Qwen Code
  • AI Agent
  • Tabnine Chat
  • Sourcegraph Cody
  • Amazon Q
  • Firebase Genkit
  • Sweep
  • Devin
  • Phind
  • Mentat
  • Claude Desktop
  • Aider
  • GPT Pilot
  • Plandex
  • bolt.new
  • v0
  • Replit Agent
  • Anse
  • TypingMind
  • BetterChatGPT
  • LibreChat
  • Warp AI
  • Pieces
  • Fig AI
Embed badge
vskill VERIFIED badge
[![vskill VERIFIED](https://verified-skill.com/api/v1/skills/cas-bigdatalab/piflow/average-line-length-filter/badge)](https://verified-skill.com/skills/cas-bigdatalab/piflow/average-line-length-filter)

Something wrong with this skill or its page? Tell us.