如何让Android平台像网络摄像机一样实现GB28181前端设备接入?

发布时间 2023-09-10 11:48:12作者: PTTLINK

 

技术背景

好多开发者在做国标对接的时候,首先想到的是IPC(网络摄像头),通过参数化配置,接入到国标平台,实现媒体数据的按需查看等操作。

像执法记录仪等智能终端,跑在Android平台,对接GB28181平台的需求也非常大,网上相关demo也不少,但真正设计符合相关协议规范、功能完善、长时间稳定运行的并不多。基于此,华脉智联研发了Android平台GB28181接入模块,目前功能设计,总的来说,IPC有的功能要有,IPC缺失的,但是对业务诉求有要求的,也要有,比如MobilePosition实时位置上报,实时快照、本地录像、屏幕采集、拉取RTSP或RTMP对接到GB28181平台、实时动态水印、实时音量调节、外部编码前后对接等:

 

[视频格式]H.264/H.265(Android H.265硬编码);

[音频格式]G.711 A律、AAC;

[音量调节]Android平台采集端支持实时音量调节;

[H.264硬编码]支持H.264特定机型硬编码;

[H.265硬编码]支持H.265特定机型硬编码;

[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置;

[软编码参数配置]支持软编码profile、软编码速度、可变码率设置;

支持横屏、竖屏推流;

Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本);

支持纯视频、音视频PS打包传输;

支持RTP OVER UDP和RTP OVER TCP被动模式;

支持信令通道网络传输协议TCP/UDP设置;

支持注册、注销,支持注册刷新及注册有效期设置;

支持设备目录查询应答;

支持心跳机制,支持心跳间隔、心跳检测次数设置;

支持移动设备位置(MobilePosition)订阅和通知;

支持国标GB/T28181—2016平台接入;

支持语音广播及语音对讲;

[实时水印]支持动态文字水印、png水印;

[镜像]Android平台支持前置摄像头实时镜像功能;

[实时静音]支持实时静音/取消静音;

[实时快照]支持实时快照;

[降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测;

[外部编码前视频数据对接]支持YUV数据对接;

[外部编码前音频数据对接]支持PCM对接;

[外部编码后视频数据对接]支持外部H.264数据对接;

[外部编码后音频数据对接]外部AAC数据对接;

[扩展录像功能]支持录像相关功能。

技术接口设计

接口设计这块,我们分三个部分:一个是供Publisher实例调用的接口,一个是RTP发送相关的接口,还有一个是针对语音广播这块,实现的接收RTP数据播放接口。

先说供GB28181推送实例调用的接口:

/*+++++++++++++++GB28181相关接口+++++++++++++++*/
private native long nativeCreate(String server_ip, int
port, String server_id,
 String
server_domain, String device_id, String device_pwd,
 String
device_name, int tcpudp, int heartbeat_interval,
 int
reg_expire, String sdk_version);



private native void nativeRegister(final long ptr);
private native void nativeUnRegister(final long ptr);
/*+++++++++++++++GB28181相关接口+++++++++++++++*/

  

再说RTP发送相关的接口:

/*+++++++++++++++RTP Sender相关接口+++++++++++++++*/
public native void nativePushEncodedAudio(long handle,
int devId, byte[] data, int length);
public native void nativePushEncodedVideo(long handle,
int devId, byte[] data, int length);

/*+++++++++++++++RTP Sender相关接口+++++++++++++++*/

  

接收相关的接口

void sip_audio_decode_cb(AVFrame * frame, void *
userdata)
{
log_print(HT_LOG_INFO,"PTT- %s start
sip_audio_decode_cb",__FUNCTION__ );
 SUA * p_sua =
(SUA *) userdata;
 if (NULL ==
p_sua->media_info.audio_player)
 {
log_print(HT_LOG_INFO,"PTT- %s, p_sua->media_info.audio_player
is null###",__FUNCTION__ );
#ifdef ANDROID_AS
p_sua->media_info.dataQueue = new DataQueue();
p_sua->media_info.audio_player = new
OpenSlEsPlayer(p_sua->media_info.dataQueue, 8000);
p_sua->media_info.audio_player->play();
#endif
 }
 if
(p_sua->media_info.audio_player)
 {
 PcmData
*pdata = new PcmData((char *) frame->data[0], frame->nb_samples *
frame->channels * av_get_bytes_per_sample((enum
AVSampleFormat)frame->format));
p_sua->media_info.dataQueue->putPcmData(pdata);
 }
}

  

上述接口说过之后,大家可能疑惑,信令交互呢?信令交互,我们是在Android上层实现。

如基础参数配置:

GBParam(
 ip =
"222.185.255.66",
 port = 5060,
 server_id =
"34020000002000000001",
 server_domain =
"3402000000",
 device_id =
"34020000001320000609",
 device_pwd =
"123456",
 device_name =
"GB28181 Device",
 tcpudp = 0,
heartbeat_interval = 30,
 reg_expire =
3600
)

  

信令交互处理:

private val engineEventHandler =
IEngineEventHandler { type, state ->
 if (type ==
EventHandlerStatus.EventHandlerType.type_register) {
 when
(state) {
EventHandlerStatus.RegisterState.unregister -> { //反注册
logI("onState: id=${type.toCallTypeString()},
state=unregister($state)")
 }
EventHandlerStatus.RegisterState.register_fail -> { //注册失败
logI("onState: id=${type.toCallTypeString()},
state=register_fail($state)")
 }
 EventHandlerStatus.RegisterState.register_success
-> { //注册成功
logI("onState: id=${type.toCallTypeString()},
state=register_success($state)")
 }
EventHandlerStatus.RegisterState.register_forbidden -> { //注册失败,udp/tcp协议不对、密码不对等注册参数不对
logI("onState: id=${type.toCallTypeString()},
state=register_forbidden($state)")
 }
else -> {
logI("onState: id=${type.toCallTypeString()},
state=PUEVT_REG_PASS($state)")
 }
 }
 } else {
logI("onState: id=${type.toCallTypeString()},
state=${state.toEventString()}")
 }
 if (type ==
EventHandlerStatus.EventHandlerType.type_call_in) { //呼入事件
 when
(state) {
EventHandlerStatus.EventState.PUEVT_CALL_IN -> { //视频监控呼入
 }
EventHandlerStatus.EventState.PUEVT_CONNECT -> { //视频监控接通
 }
EventHandlerStatus.EventState.PUEVT_HANGUP -> { //视频监控挂断
 }
 }
 }
 }

  

除了基础的Camera接口外,5.0开始新的Camera2数据依旧可以正常对接,感兴趣的开发者可酌情参考。