互联网的发展普及，改变了公众获取资讯的方式。而互联网平台出现内容井喷、信息爆炸，也使得内容安全风险日益增加，不断威胁互联网内容生态的健康发展。同时，运营者、开发者、平台等多方也开始对内容体验、内容安全提出更高的要求。

 

    为了帮助开发者更好地理解、防控内容安全风险，腾讯继推出“珊瑚内容安全助手”小程序后，现通过「微信开放社区·服务平台」正式上线“珊瑚安全”API，将信息安全优势能力开放给更多的小程序开发者，帮助发现图片、文字内容里的恶意内容，提供更精细、更高效的内容安全服务。

 

    精细化内容安全能力，向小程序开发者开放

 

    “珊瑚安全”API目前为开发者提供图片内容安全、文本内容安全两大服务，支持对用户在各种场景上传的图片、文本内容进行识别，开发者可按需选用色情、赌博、暴恐等恶意内容识别服务，并获取到命中的恶意类型、风险概率等详细信息，帮助开发者更精细化地做好内容审核工作。

 

    图片内容安全

 

    图片内容安全基于腾讯海量数据资源和深度学习技术，为用户提供图片内容的智能审核服务，不仅能帮助运营者、开发者降低内容违规风险，而且能大幅度节省人工审核成本，保护业务健康发展。

 

    在用户头像、社区发图、相册制作、直播封面、信息流、电商、游戏等图片审核应用场景中，该能力支持对色情、赌博、暴力恐怖等恶意内容进行识别，开发者可根据需要选用相应的识别服务，并获取到命中恶意类型、风险概率等详细信息。

 

    文本内容安全

 

    文本内容安全接口能够识别文本信息中的色情、暴恐等恶意内容，帮助运营者及时、精准地防范违规风险。

 

    该功能基于10万级大规模敏感词库，结合多种文本对抗方法，运用深度学习技术，高效识别高危有害内容。同时还会根据大规模语料和实时反误杀系统，不断更新迭代，确保效果持续提升。

 

    在用户昵称、社区评论、弹幕、文章内容等文本审核应用场景中，该能力可分级、分类识别文本恶意，并识别文本中涉及恶意的关键词。

 

    助力开发者，维护健康平台生态

 

    目前，微信小程序日活跃账户数已超3亿，与微信一起“创造”的小程序及小游戏开发者已超150万。微信生态的繁荣发展，需要运营者、开发者和平台的共同努力。

 

    随着小程序用户的日益增多，开发者在用户内容审核方面的投入也日益繁重。

 

    针对开发者在内容安全审核上的痛点，腾讯于2019年6月推出微信首个移动端安全鉴别工具“珊瑚内容安全助手”小程序，让运营者、开发者可以随时随地在小程序内检验文字、图片的合规性，对内容识别的效果进行体验，以及对自己的产品进行风险自测。

 

    “珊瑚内容安全助手”小程序让运营者、开发者去体验和理解内容安全风险，而“珊瑚安全”API则是让运营者、开发者实现接入内容安全服务。

 

    “珊瑚安全”API基于腾讯云AI、“云鸮”等内部优势能力封装，通过微信开放社区向开发者输出。

 

    腾讯安全专家表示，未来“珊瑚内容安全助手”将会继续加强识别能力、丰富识别类型，在如今对图片、文字的识别能力基础上，增加对视频内容的识别能力。此外，“珊瑚内容安全助手”小程序内将增加用户反馈入口，开发者可随时通过入口提交反馈。

 

    目前，“珊瑚安全”API已经对接微信服务市场，包括“小年糕”“小打卡”“票圈长视频”“有车群空间”等小程序现已接入使用。

 

    “小年糕”小程序团队表示，在有害内容管控方面，微信为开发者提供了一系列工具，帮助开发者自动化地筛选有害信息，防止有害信息的过度泛滥，不仅为开发者节省了时间，也有力促进了行业的内容安全。

 

    “珊瑚安全”API将不仅提高开发者的内容审核能力，极大程度节约开发者在内容安全上投入的精力和成本，后续亦将重点提升适用微信生态安全要求的能力，共建健康繁荣的平台生态。