AI 内容审核工具

目标

• 将文本内容分类为：有害、垃圾信息、仇恨言论、不安全内容、安全
• 实现可配置的审核规则和敏感度阈值
• 构建带批准/拒绝/升级操作的审核队列
• 生成解释内容被标记原因的详细报告
• 创建包含审核统计和趋势分析的仪表盘

提示

• 将 OpenAI Moderation API 与自定义 LLM 分类结合使用
• 返回带类别分数和解释的结构化输出
• 实现反馈循环，让审核员可以纠正误报

资源

• platform.openai.com/docs/guides/moderation
• docs.anthropic.com/en/docs/about-claude/use-case-guides/content-moderation

评论 (0)