Skip to content
GitLab

feat: add zh text correction and latin-removal operators

Open chenjiali requested to merge feature/correct-zh-text-and-remove-latin into master

变更内容

本次提交新增并整理了两个算子：

  1. quality.correct_zh_text@1.0.0

    • 中文错别字纠正
    • 支持 mock / qwen_api
    • 支持白名单保护
    • 输出 corrected_content 与 corrections_json

  2. text.remove_latin@1.0.0

    • 删除文本中的英文字母串
    • 可作为纠错后的独立后处理算子使用

代码变更

错别字纠正

  • 新增/整理 CorrectZhTextSpec
  • 新增 Qwen API provider
  • 新增白名单 provider
  • 注册 quality.correct_zh_text@1.0.0
  • 增加单元测试、golden、bench、accuracy 评测脚本
  • 增加说明文档

删除字母算子

  • 新增 RemoveLatinSpec
  • 新增 text.remove_latin step
  • 注册 text.remove_latin@1.0.0
  • 增加单元测试
  • 增加说明文档

测试

已执行：

  • tests/operators/quality/test_correct_zh_text.py
  • tests/operators/text/test_remove_latin.py
  • tests/pipeline/test_public_api.py
  • tests/pipeline/test_compose.py
  • tests/pipeline/config/test_v11.py
  • eval/golden/test_golden_steps.py::test_golden_correct_zh_text_smoke

测试结果：

  • 38 passed
  • 1 passed (golden)

说明

当前错别字纠正的真实模型调用方式为 qwen_api。 原工程中的 HF / GGUF / VLLM 多后端选择尚未迁入本次提交范围。