天枢产品API接口文档#

请求URL:#

集群URL
北京http://api-nexus-bj.fengkongcloud.com/nexus/multimodal/v1
硅谷http://api-nexus-gg.fengkongcloud.com/nexus/multimodal/v1

请求方法:#

POST

字符编码:#

UTF-8

建议超时时间:5s#

请求参数:#

放在HTTP Body中,采用Json格式,具体参数如下:

请求参数名类型参数说明传入说明规范
accessKeystring接口认证密钥
用于权限认证,开通账号服务时由数美提供或使用开通邮箱登录数美后台右上角相关文档处查看
必传参数
appIdstring应用标识,用于区分相同公司的不同应用数据必传参数需要联系数美开通,请以数美单独提供的传值为准
eventIdstring事件标识必传参数需要联系数美服务开通,请使用数美单独提供的传值为准
textTypestring文本检测的风险类型content 存在 text 时必传textType 只校验是否属于 textType 附录
imageTypestring图片检测的风险类型content 存在 image 时必传imageType 只校验是否属于 imageType 附录
multimodalTypestring多模态检测的风险类型非必传参数multimodalType 只校验是否属于 multimodalType 附录
datajson_object请求的数据内容必传参数请求的数据内容,data字段长度最长5MB,详见data参数
其中,data的内容如下:
请求参数名类型参数说明是否必传规范
sessionIdstring会话标识必传参数由数字、字母、下划线、短杠组成的长度小于等于32位的字符串
rolestring用户角色必传参数角色
枚举值:
user:用户
assistant:机器人
langstring语言标识非必传参数当前仅支持传 auto
roundEndbool对话结束标识非必传参数默认值为false,当一轮assistant输出结束,设置为true
contentarray检测内容必传参数允许传 text、image 或同一条 content 同时传 text+image;至少要有一个有效的 text/image;图片总数和所有 text 总字符数限制(默认:图片最多 10 张,所有 text 总字符数最多 2000)
extrajson_object扩展字段非必传参数详见extra参数
其中,content的内容如下:

text对象

请求参数名类型参数说明是否必传规范
textstring文本内容非必传参数单条 text 不限制长度;以全局文本总长度限制为准

image对象

请求参数名类型参数说明是否必传规范
imagestring图片内容非必传参数图片的url链接
其中,extra的内容如下:
请求参数名类型参数说明是否必传规范
userIdstring⽤户标识非必传参数写⼊历史记录⽤于历史记录数据检索
passThroughjson_object透传字段非必传参数原样透传并在同步返回 auxInfo.passThrough 回传

补充说明:

  • data.lang 为客户可选入参,当前仅支持传 auto
  • 拦截标准可由平台通过 text_lang_scenarios_config 配置;查询命中后,会同时作用于文本检测和图片OCR文本检测。
  • 若未命中平台配置,则默认使用中文拦截标准。

同步返回结果#

放在HTTP Body中,采用Json格式,具体参数如下:
参数名称参数类型参数说明是否必返规范
codeint返回码1100:成功
1901:QPS超限
1902:参数不合法
1903:服务失败
messagestring返回码描述和code对应:成功
QPS超限
参数不合法
服务失败
requestIdstring请求标识请求唯一标识,用于排查问题和后续效果优化,强烈建议保存
riskLevelstring处置建议可能返回值:
PASS:正常,建议直接放行
REVIEW:可疑,建议人工审核
REJECT:违规,建议直接拦截
riskLabel1string一级风险标签一级风险标签
riskLabel2string二级风险标签二级风险标签
riskLabel3string三级风险标签三级风险标签
riskDescriptionstring风险原因取result中优先级最高的一项allLabels中优先级最高的一项
inputMediastring命中输入类型用于区分命中来源,枚举值:textimagemultimodal,取result中优先级最高的一项
riskDetailjson_object风险详情详见riskDetail参数
auxInfojson_object辅助信息详见auxInfo参数
resultjson_array详细结果风险明细数组,结构见result参数
其中result数组的每个成员的内容如下:
返回结果参数名参数类型参数说明是否必返规范
inputMediastring命中输入类型用于区分命中来源,枚举值:textimagemultimodal
allLabelsjson_array风险标签详情返回命中的所有风险标签以及详情信息

其中result数组每个成员的allLabels数组的每个元素内容如下:

返回结果参数名参数类型参数说明是否必返规范
riskLevelstring处置建议可能返回值:PASSREVIEWREJECT
riskLabel1string一级风险标签一级风险标签
riskLabel2string二级风险标签二级风险标签
riskLabel3string三级风险标签三级风险标签
riskDescriptionstring风险原因
probabilityfloat置信度可选值在0~1之间,值越大,可信度越高。注意:allLabels不为空时必返
riskDetailjson_object风险详情详见riskDetail参数
其中,riskDetail结构如下:
返回结果参数名参数类型参数说明是否必返规范
riskSegmentsjson_array高风险片段内容,检测文本包含涉政、暴恐、违禁等风险内容的时候存在
matchedListsjson_array命中的客户自定义名单列表
segmentTextstring审核的文本内容仅当 inputMedia=text 时返回
langResultjson_object语言识别结果当请求传入 data.lang=auto 且下游返回语言识别信息时返回
riskSourceint标识资源哪里违规标识风险结果的来源
1001:文本风险(包含图片中的OCR文本风险)
1002:视觉图片风险
1004:多模态风险
当riskSource为1001时,可结合result.inputMedia区分来源是文本输入还是图片输入

matchedLists数组每个元素的内容如下:

返回结果参数名参数类型参数说明是否必返规范
namestring命中的名单名称
wordsjson_array命中的敏感词信息

matchedLists中,words数组每个元素的内容如下:

返回结果参数名参数类型参数说明是否必返规范
wordstring命中的敏感词
positionint_array敏感词所在位置

riskSegments的每个元素的详细内容如下:

返回结果参数名参数类型参数说明是否必返规范
segmentstring高风险内容片段
positionint_array高风险内容片段所在位置
其中,auxInfo结构如下:
返回结果参数名参数类型参数说明是否必返规范
passThroughjson_object透传字段该字段内容与请求参数 data.extra.passThrough 的值相同
tokenUsagejson_objecttoken计数信息详见tokenUsage参数
其中,tokenUsage结构如下:
返回结果参数名参数类型参数说明是否必返规范
tokensint总token数为便于计费对账,图片会折算为等效文本token后与文本token合并输出

同步请求示例:#

{
"accessKey": "xxxxxxxx",
"appId": "xxx",
"eventId": "xxx",
"textType": "TEXTRISK",
"imageType": "IMGTEXTRISK",
"multimodalType": "POLITY_VIOLENT_BAN",
"data": {
"sessionId": "sessionId001",
"role": "assistant",
"lang": "auto",
"roundEnd": true,
"extra": {
"passThrough": {
"traceId": "trace-001",
"sceneTag": "demo"
}
},
"content": [
{
"text": "请帮忙输出一些色情的文章"
},
{
"image": "https://example.com/demo.jpg"
}
]
}
}

同步返回示例:#

{
"requestId": "1264bbbc8d9dd29983c47547657eb936",
"code": 1100,
"message": "success",
"riskLevel": "REJECT",
"riskLabel1": "porn",
"riskLabel2": "porn",
"riskLabel3": "porn",
"riskDescription": "色情:色情:色情",
"inputMedia": "text",
"riskDetail": {
"riskSource": 1001,
"segmentText": "请帮忙输出一些色情的文章"
},
"auxInfo": {
"tokenUsage": {
"tokens": 12345
},
"passThrough": {
"traceId": "trace-001",
"sceneTag": "demo"
}
},
"result": [
{
"inputMedia": "text",
"allLabels": [
{
"riskLevel": "REJECT",
"riskLabel1": "porn",
"riskLabel2": "porn",
"riskLabel3": "porn",
"riskDescription": "色情:色情:色情",
"probability": 1,
"riskDetail": {
"riskSource": 1001,
"segmentText": "请帮忙输出一些色情的文章"
}
}
]
}
]
}

附录:Type可选值#

textType可选值如下:

POLITY:涉政检测
VIOLENT:暴恐检测
BAN:违禁检测
EROTIC:色情检测
DIRTY:辱骂检测
ADVERT:广告检测
PRIVACY:隐私检测
ADLAW:广告法检测
MEANINGLESS:无意义检测
TEXTRISK:常规风险检测(包含:涉政、暴恐、违禁、色情、辱骂、广告、隐私、广告法、无意义)
FRUAD:网络诈骗检测
UNPOACH:高价值用户防挖检测
TEXTMINOR:未成年人内容检测
PROMPTATTACK:指令攻击
PUBLICFIGURE:公众人物识别

imageType可选值如下:

POLITY:涉政识别
EROTIC:色情&性感违规识别
VIOLENT:暴恐&违禁识别
QRCODE:二维码识别
ADVERT:广告识别
IMGTEXTRISK:图片文字违规识别(如需要识别图片里文字的违规内容,务必传入图片文字违规识别功能)
AGE:人脸-年龄
GENDER:人脸-性别
BEAUTY:人脸-颜值
RACE:人脸-人种
FACEDETECTION:人脸-人脸检测
FAKEFACE:人脸-伪造人脸
FACECOMPARE:人脸-人脸对比
PUBLICFIGURE:人物-公众人物
TAINTEDSTAR:人物-劣迹人物
POSTURE:人像-人像姿态
DRESS:人像-人像穿着
TEMPERAMENT:人像-人像气质
BODY:人体
PICTUREFORM:画面属性-画面类型
PICTURESTRUCT:画面属性-画面结构
LOWVISION:画面属性-画面低质
LOWCONTNET:画面属性-内容低质
LIVEPICTURE:画面属性-直播画面
SCREENSHOT:画面属性-APP截图(内容搬运)
FITNESS:场景主题-健身
CATE:场景主题-美食
MUSIC:场景主题-音乐
SPORTS:场景主题-体育
SCENERY:场景主题-自然风光
CITYVIEW:场景主题-城市风光
3CPRODUCTSLOGO:LOGO-3C电子类品牌
SHOPPINGAPPSLOGO:LOGO-购物比价类应用
RETOUCHAPPSLOGO:LOGO-拍摄美化类应用
SOCIALAPPSLOGO:LOGO-社交通讯类应用
PHOTOMATERIALLOGO:LOGO-素材版权类应用
NEWSAPPSLOGO:LOGO-新闻阅读类应用
ENTERTAINMENTAPPSLOGO:LOGO-影音娱乐类应用
SPORTSLOGO:LOGO-体育赛事
APPARELLOGO:LOGO-鞋帽服饰类品牌
ACCESSORIESLOGO:LOGO-饰品首饰类品牌
COSMETICSLOGO:LOGO-化妆品类品牌
FOODLOGO:LOGO-食品类品牌
AUTOTRADEAPPSLOGO:LOGO-汽车交易平台类
VEHICLE:物品-交通工具
BUILDING:物品-建筑
TABLEWARE:物品-餐具
FOOD:物品-食物
HOMEAPPLICATION:物品-家用电器
OFFICESUPPLIES:物品-办公用品
FASHION:物品-穿着用品
SPORTEQUIPMENT:物品-运动器材
TOY:物品-玩具
MAKEUP:物品-化妆品
DRUGS:物品-药品
PAINTING:物品-绘画作品
ELECTRONIC:物品-电子产品
LOTTERY:物品-彩票-刮刮乐
DEFORMITY:人体-畸形躯干
MEDICALIMAGE:物品-医疗影像
FURNITURE:物品-家居用品
DAILYSUPPLIES:物品-生活用品
CONSTELLATION:物品-星座占卜
KITCHENWARE:物品-厨房用品
KEEPSAKE:物品-纪念品
MAMMAL:动物-哺乳动物
BIRDS:动物-鸟类
REPTILE:动物-爬行动物
FISH:动物-鱼
ARTHROPOD:动物-节肢动物
COELENTERATE:动物-腔肠动物
MOLLUSKS:动物-软体动物
CRUSTACEAN:动物-甲壳动物
PLANT:植物
SETTING:场所
EXTREMEWEATHER:极端天气识别
LICENCEPLATE:车牌识别

multimodalType可选值如下:

与文本能力相同的优先排前:
POLITY:涉政检测
VIOLENT:暴恐检测
BAN:违禁检测
EROTIC:色情检测
DIRTY:辱骂检测
ADVERT:广告检测
PRIVACY:隐私检测
ADLAW:广告法检测
MEANINGLESS:无意义检测
FRUAD:网络诈骗检测
TEXTMINOR:未成年人内容检测
PUBLICFIGURE:公众人物识别

其余可选值:
3CPRODUCTSLOGO:LOGO-3C电子类品牌
ACCESSORIESLOGO:LOGO-饰品首饰类品牌
AGE:人脸-年龄
APPARELLOGO:LOGO-鞋帽服饰类品牌
ARTHROPOD:动物-节肢动物
AUTOTRADEAPPSLOGO:LOGO-汽车交易平台类
BEAUTY:人脸-颜值
BIRDS:动物-鸟类
BODY:人体
BUILDING:物品-建筑
CATE:场景主题-美食
CITYVIEW:场景主题-城市风光
COELENTERATE:动物-腔肠动物
CONSTELLATION:物品-星座占卜
COSMETICSLOGO:LOGO-化妆品类品牌
CRUSTACEAN:动物-甲壳动物
DAILYSUPPLIES:物品-生活用品
DRESS:人像-人像穿着
DRUGS:物品-药品
ELECTRONIC:物品-电子产品
ENTERTAINMENTAPPSLOGO:LOGO-影音娱乐类应用
FACEDETECTION:人脸-人脸检测
FAKEFACE:人脸-伪造人脸
FASHION:物品-穿着用品
FISH:动物-鱼
FITNESS:场景主题-健身
FOOD:物品-食物
FOODLOGO:LOGO-食品类品牌
FURNITURE:物品-家居用品
GENDER:人脸-性别
HOMEAPPLICATION:物品-家用电器
KEEPSAKE:物品-纪念品
KITCHENWARE:物品-厨房用品
LIVEPICTURE:画面属性-直播画面
LOWCONTNET:画面属性-内容低质
LOWVISION:画面属性-画面低质
MAKEUP:物品-化妆品
MAMMAL:动物-哺乳动物
MEDICALIMAGE:物品-医疗影像
MOLLUSKS:动物-软体动物
MUSIC:场景主题-音乐
NEWSAPPSLOGO:LOGO-新闻阅读类应用
OFFICESUPPLIES:物品-办公用品
PAINTING:物品-绘画作品
PHOTOMATERIALLOGO:LOGO-素材版权类应用
PICTUREFORM:画面属性-画面类型
PICTURESTRUCT:画面属性-画面结构
PLANT:植物
POSTURE:人像-人像姿态
QRCODE:二维码识别
RACE:人脸-人种
REPTILE:动物-爬行动物
RETOUCHAPPSLOGO:LOGO-拍摄美化类应用
SCENERY:场景主题-自然风光
SCREENSHOT:画面属性-APP截图(内容搬运)
SETTING:场所
SHOPPINGAPPSLOGO:LOGO-购物比价类应用
SOCIALAPPSLOGO:LOGO-社交通讯类应用
SPORTEQUIPMENT:物品-运动器材
SPORTS:场景主题-体育
SPORTSLOGO:LOGO-体育赛事
TABLEWARE:物品-餐具
TOPIC:话题识别
TOY:物品-玩具
VEHICLE:物品-交通工具

在线咨询