3D互动数字人接入指南-不支持语音交互

3D互动数字人是虚拟数字人开放平台提供能够支持用户与3D数字人进行实时交互的数字人产品能力，需要配合产品使用。

目前互动数字人支持文本交互方式，同时在数字人说话中可以支持通过特定话术进行打断，实现更加友好的双工语音对话体验。

适用于一些需要真人与数字人进行交互的场景，如线下大屏，数字人客服等场景。

下述介绍接入3D互动数字人需要提前完成的步骤，每个步骤都需要完成才能顺利接入3D互动数字人。

• 具体参考

• 具体参考

• 进入，创建机器人，机器人类型选择“在线文本机器人”

• 配置对应知识库

• 从智能对话机器人控制台获取对应机器人的机器人id

互动数字人的创建和配置与播报数字人大体相同，具体创建和配置流程可以参考：，下面针对互动数字人特有的一些配置做一些介绍。

4.1

• 在上述图中所示位置添加第三步获取到的智能对话机器人的机器人id，密钥ID和密钥Secret是阿里云账号的AccessKey ID和AccessKey Secret（，建议通过子账号的方式获取AK&SK）。

4.2 配置

智能打断开启则数字人在收到用户明确的打断指令，或者智能对话机器人吐出新的答案时，会自动打断数字人正在进行的播报；关闭则数字人在播报答案过程中将忽略真人说话的信息。

下面介绍接入互动数字人的完整步骤以及涉及到API

虚拟数字人开放平台的服务端API采用OpenAPI形式对外输出，具体对接方案见：。

下面介绍通过Java调用OpenAPI启动一路数字人实例的代码示例，获取到返回的sessionId以及token。

代码示例：

参考，可在线直接填写参数并执行测试。

互动数字人需要客户端通过WebSocket协议与服务端进行语音流的传输，下面将为您介绍如何通过WebSocket对接互动数字人。

1. 与虚拟数字人开放平台建立WebSocket长连接

• 如何与虚拟数字人开放平台建立WebSocket长连接，请参考：。

2. 通过WebSocket发送互动数字人对话请求

在建立与虚拟数字人开放平台WebSocket服务端连接之后，客户端需要按照互动数字人的对话协议发送对应的请求数据。

2.1 启动对话，初始化对话配置

通过websocket发送启动对话消息，协议如下：

• 参考websocket接入文档，发送该消息需要在消息体前面增加一个5，表示是业务消息。

2.2 等待服务端启动完成

服务端收到启动对话消息之后会进行对话的启动，启动完成之后会下发一条启动完成的消息，结构如下：

收到该消息，且status=true之后，才能进行后续的语音流的发送，在此之前发送语音流会被服务端直接丢弃。

2.3 持续发送语音流数据

语音流的发送建议每隔100ms发送一次，发送最快不要小于50ms，发送太快可能会导致无法识别。语音数据在发送前需要进行base64编码。同时语音流需要连续发送，如果没有声音可以发送静音包，长时间不发送音频流可能会导致对话中断。

服务端在收到客户端发送的语音流之后，会调用语音转文本服务，最终拿到文本调用智能客服机器人的对话服务，如果客户端发送的是文本，则直接拿文本调用智能客户机器人的对话服务（调用的机器人实例是在互动数字人应用配置页面配置的机器人信息），最终拿到智能客服机器人的回复文本，触发数字人播报对应的回复文本。在这过程中服务端会返回客户端识别到的文本，以及智能客服机器人的回复文本，下面是返回的具体协议。

2.4 服务端返回语音文本识别结果

服务端在语音转文本服务识别到一句完整的句子时会将识别到的文本返回给客户端。

2.5 服务端返回对话回复结果

服务端在语音转文本服务识别到一句完整的句子时会将识别到的文本调用智能客服机器人的对话服务，拿到对应的对话回复文本，从而驱动数字人播报对应的回复文本，同时服务端会将回复文本返回给客户端。

2.6 停止对话

在完成一通对话之后，客户端可主动发起停止对话。

在停止对话之后，如果对应的数字人实例没有停止，可以重新启动对话服务。

接入RTC客户端可参考文档：。需要使用到第二步中获取到的Channel信息。

下面介绍通过Java调用OpenAPI启动一路数字人实例的代码示例，需要使用到第二步中获取的sessionId。

代码示例：

参考，可在线直接填写参数并执行测试。

针对运行中的数字人实例，如果sessionId丢失将无法调用StopInstance接口停止，此时可通过调用QueryRunningIntance接口获取到正在运行中的数字人实例列表，从而获取到对应的sessionId。

代码示例：

参考，可在线直接填写参数并执行测试。

8.1 智能打断

智能打断是互动数字人在语音对话过程中支持的智能打断数字人播报的能力，开启后可在通过互动数字人实现真人与数字人进行语音对话过程中，实现真人说：“不要说了”、“别说了”、“停”等具有明确打断含义的话时自动打断数字人播报。