cas-bigdatalab

字母数字比例过滤器。过滤文本中字母/数字比例不在指定范围内的样本。 当用户提到文本过滤、比例筛选、字母比例、数字比例、清理乱码文本等需求时使用此skill。 即使用户没有明确说出"过滤"，只要任务涉及根据文本中字母或数字的比例来筛选数据， 就应该使用此skil...

平均行长度过滤器。过滤文本平均行长度不在指定范围内的样本。 当用户提到行长度过滤、平均行长度、文本行长度筛选、按行筛选等需求时使用此skill。 即使用户没有明确说出"平均行长度"，只要任务涉及根据文本中每行的平均长度来筛选数据， 就应该使用此skill。

批量文件清单采集器。扫描一个或多个本地文件/目录，或从任务列表加载路径， 按支持的扩展名生成文件元信息清单，供后续文本、表格、文档、图像等采集流程继续处理。 当用户需要批量盘点待采集文件、生成本地文件 manifest、统计输入文件类型或为后续采集算子准备文件...

本skill是用于单细胞测序数据分析的专用技能，首先需要用户上传需要处理的单细胞测序数据，再对经过预处理的单细胞表达数据进行自动化细胞类型注释。它通过基因比对、数据标准化、降维等一系列流程，将细胞聚类结果与已知参考数据库进行匹配，从而为每个细胞分配生物学功能标...

根据多维度筛选条件检索单细胞测序相关的预训练数据集，支持分页查询，返回符合条件的数据集详情，并格式化展示查询结果。

用于单细胞测序数据预处理的专用技能，对单细胞表达矩阵进行标准化处理，以消除技术偏差，为聚类、差异表达分析提供可靠的数据基础。

cas-bigdatalab/piflow

括号类型统一工具。读取结构化数据文件，执行中文/全角括号到 ASCII 半角括号的映射，输出括号已统一的结构化数据文件。 当用户提到括号统一、全角括号转半角、中文括号转换、括号规范化等需求时使用此skill。 即使用户没有明确说出"bracket_normal...

基于参考文本校准问答对。当用户提到问答校准、校准QA、语言风格校准、问答对优化等需求时使用此skill。 即使用户没有明确说出"校准"，只要任务涉及根据参考文本调整问答对使其更符合特定风格，就应该使用此skill。

基于参考文本校准问答对中的查询（问题）。当用户提到校准问题、校准查询、语言风格校准、问题优化等需求时使用此skill。 即使用户没有明确说出"校准"，只要任务涉及根据参考文本调整问答对中的问题，就应该使用此skill。

Create beautiful visual art in .png and .pdf documents using design philosophy. You should use this skill when the user asks to cr...

字符重复比例过滤器。过滤文本中字符级n-gram重复比例不在指定范围内的样本。 当用户提到字符重复、重复比例过滤、文本重复过滤、清理重复内容等需求时使用此skill。 即使用户没有明确说出"字符重复"，只要任务涉及根据文本中字符重复的程度来筛选数据， 就应该使...

用于检索化学物质详细信息的技能。当用户希望检索化学物质详细信息、查看化学物质详细信息、检索化学物质基础数据库等情况时触发。该技能通过输入化学分子式（必要参数）以及分页（可选参数）、分页大小（可选参数）调用外部化学物质基础数据库搜索服务，并按字段含义格式化展示查...

在繁体中文、简体中文和日语汉字之间转换中文。当用户提到中文繁简转换、中文转换、简体转繁体、繁体转简体、中日文转换等需求时使用此skill。 即使用户没有明确说出"转换"，只要任务涉及中文繁简转换或中日文转换，就应该使用此skill。

清理文本样本中的电子邮件。当用户提到清理邮件、删除邮箱、去除邮件地址、清理个人信息等需求时使用此skill。 即使用户没有明确说出"邮件"，只要任务涉及从文本中删除或替换邮箱地址，就应该使用此skill。

cas-bigdatalab/piflow

cas-bigdatalab/piflow

清理文本中的链接（HTTP/HTTPS/FTP）。当用户提到清理链接、删除URL、去除超链接、清理网页链接等需求时使用此skill。 即使用户没有明确说出"链接"，只要任务涉及从文本中删除或替换URL链接，就应该使用此skill。

内容解析预处理工具。读取采集后的 JSONL、JSON 或 TXT 文本记录，执行轻量内容解析，输出带标题、段落结构和内容类型的统一解析记录文件。 当用户提到接入内容解析、采集后预处理、提取标题和段落、识别 plain/markdown/html 内容结构等需...

跨字段比较校验工具。读取结构化数据文件（CSV、TSV、Excel等），检查两个字段之间的逻辑约束关系 是否满足（如 start < end、min ≤ max、price >= cost），支持六种比较运算符，多约束可组合使用。 当用户提到跨字段校验、字段间...

CSV格式化器。用于加载和格式化csv类型的文件。 本SKILL使用依赖data_juicer，请在调用前安装好python环境并安装data_juicer，你可用以下指令进行安装： pip install py-data-juicer 当用户提到CSV格式化...

'数据脱敏工具。对结构化数据中的敏感字段进行字符遮蔽脱敏，保留字段位置并用遮蔽字符替换手机号、身份证、姓名、邮箱、银行卡等内容。

cas-bigdatalab/piflow

数据横向关联工具。读取多个结构化数据文件，按指定键进行横向关联（JOIN），输出关联后的合并文件。 当用户提到数据关联、表连接、横向合并、键合并、JOIN等需求时使用此skill。 即使用户没有明确说出"关联"，只要任务涉及按某个字段将多个表的数据关联在一起，...

'按字段拆分数据工具。根据指定字段的值将结构化表格拆分为多个文件，每个唯一值对应一个输出文件。

'JSONL比例切分工具。读取JSONL数据集，按给定比例拆成多个子集，支持随机切分和按字段分层切分。

数据类型转换工具。转换数据字段的类型，支持数值、字符串、日期等类型互转。 当用户提到类型转换、数据格式转换、字段类型修改等需求时使用此skill。 即使用户没有明确说出"类型转换"，只要任务涉及改变字段的数据类型，就应该使用此skill。

字符串空格清理工具。读取结构化数据文件（CSV、TSV、Excel等），检查所有字符串类型（object）字段， 删除字段值前后多余的空格，然后输出为相同格式的文件。当用户提到空格清理、去除空格、trim、清理字符串空格等需求时使用此skill。 即使用户没有...

四舍五入数据处理工具。读取结构化数据文件和标准配置文件，根据配置对数字型字段进行四舍五入处理， 然后输出为相同格式的文件。当用户提到四舍五入、数字取整、保留小数位、数据舍入等需求时使用此skill。 即使用户没有明确说出"四舍五入"，只要任务涉及根据配置文件对...

文档去重工具。使用精确匹配（MD5哈希）在文档级别删除重复的样本。 当用户提到文档去重、删除重复文档、样本去重、文本去重、去除重复内容、 清洗重复数据、整理文档集合等需求时使用此skill。 即使用户没有明确说出"去重"，只要任务涉及从多个文档中识别和删除重复...