526互联

ONVIF网络摄像头(IPC)客户端开发—RTSP RTCP RTP加载AAC音频流

发布时间 2023-04-20 19:43:34作者: liwen01

前言：

RTSP,RTCP,RTP一般是一起使用，在FFmpeg和live555这些库中，它们为了更好的适用性，所以实现起来非常复杂，直接查看FFmpeg和Live555源代码来熟悉这些协议非常吃力，这里将它们独立出来实现，以便更好的理解协议。本文主要介绍RTSP,RTCP,RTP加载AAC音频流。

说明：

(1)大华IPC摄像头作为服务端
(2)在ubuntu16.04中编译实现测试程序
(3)服务端IP: 192.168.0.120
(4)客户端IP: 192.168.0.128

协议介绍：

用一句简单的话总结：RTSP发起/终结流媒体、RTP传输流媒体数据 、RTCP对RTP进行控制，同步。RTSP属于四层网络当中的应用层，RTP,RTCP属于传输层。RTSP和RTCP协议在之前博客中已经介绍过，这里不再重复。可以参考博客：

《ONVIF网络摄像头(IPC)客户端开发—最简RTSP客户端实现》
《ONVIF网络摄像头(IPC)客户端开发—RTSP RTCP RTP加载H264视频流》

RTP加载音频流与RTP加载视频流有些不一样，加载视频流一般使用单一NAL单元模式和分片封包模式，加载音频使用的是组合封包模式(Aggregation Packet)。组合封包模式开始是12字节的RTP头信息，接着的是组合封包头长度(2)字节和组合封包头(2字节)，最后面是音频流数据，示意图如下：

AAC格式

在RTP流中传输的AAC音频流是不带有ADTS(Audio Data Transport Stream)信息的，所以客户端在接收到AAC数据流的时候需要自己手动添加上ADTS信息才能被正常的播放。ADTS格式如下：

上图来源于网络，AAC ES就是RTP接收到的AAC音频数据，其他参数值基本上都是固定的，需要填充的是采样频率，通道数和长度(注意：该长度=ADTS+AAC ES)。采样率定义如下：

There are 13 supported frequencies:
0: 96000 Hz
1: 88200 Hz
2: 64000 Hz
3: 48000 Hz
4: 44100 Hz
5: 32000 Hz
6: 24000 Hz
7: 22050 Hz
8: 16000 Hz
9: 12000 Hz
10: 11025 Hz
11: 8000 Hz
12: 7350 Hz
13: Reserved
14: Reserved
15: frequency is written explictly

声道定义如下：

0: Defined in AOT Specifc Config
1: 1 channel: front-center
2: 2 channels: front-left, front-right
3: 3 channels: front-center, front-left, front-right
4: 4 channels: front-center, front-left, front-right, back-center
5: 5 channels: front-center, front-left, front-right, back-left, back-right
6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
8-15: Reserved

启动音频流：
RTSP客户端发送DESCRIBE，服务端会回复一个SDP，SDP里面有描述了音频流和视频流信息:

v=0
o=- 2229913047 2229913047 IN IP4 0.0.0.0
s=Media Server
c=IN IP4 0.0.0.0
t=0 0
a=control:*
a=packetization-supported:DH
a=rtppayload-supported:DH
a=range:npt=now-
m=video 0 RTP/AVP 96
a=control:trackID=0
a=framerate:15.000000
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;profile-level-id=64002A;sprop-parameter-sets=Z2QAKqwsaoHgCJ+WbgICAgQA,aO48sAA=
a=recvonly
m=audio 0 RTP/AVP 97
a=control:trackID=1
a=rtpmap:97 MPEG4-GENERIC/16000
a=fmtp:97 streamtype=5;profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3;config=1408
a=recvonly
m=application 0 RTP/AVP 107
a=control:trackID=4
a=rtpmap:107 vnd.onvif.metadata/90000
a=recvonly

从上面可以看到trackID=0 是一个h264视频流，trackID=1是一路AAC音频流，并且可以看到音频流采样率为16000,profile=1，sizelength=13;等等。
为了测试音频流，这里直接写成固定的，在启动的时候直接启动trackID=1音频流：

SETUP rtsp://192.168.0.120:554/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif/trackID=1 RTSP/1.0
CSeq: 4
Authorization: Digest username="admin", realm="Login to F8990C5E0599500D",nonce="780e768a-7f13-4f66-a08c-99d76e99e518",uri="rtsp://192.168.0.120:554/cam/realmonitor?channel=1&subtype=0&unicast=true&proto=Onvif",response="920e21b61578599683bff9129352a6c7"
User-Agent: Caibiao_Lee
Transport:RTP/AVP;unicast;client_port=55182-55183

代码实现：
   这里贴出RTP数据包解析和ADTS头添加的测试函数：

/******************************************************** 
Function: RTP_Client_UnPackAACAndStore	
Description: 根据RTP协议解析网络接收到的AAC数据包,并且为AAC数据
    添加ADTS头信息，最后将数据写入到文件中去。
Input:	 
    *pu8Addr：RTP接收数据的地址
    s32Len  ：RTP接收数据的长度
OutPut:none
Return: 0 成功；非0 失败
Others: 
    注意ADTS头长度的填充，这个长度包括了它自己本身
Author: Caibiao Lee
Date:	2019-10-05
*********************************************************/
static int RTP_Client_UnPackAACAndStore(unsigned char *pu8Addr,int s32Len)
{
    RTP_HEADER_S *l_pstRTPHeader = NULL;
    RTP_PACKET_S   l_stRTPPack = {0};
    RTP_PACKET_S *l_pstRTPPack   = &l_stRTPPack;
    unsigned short l_u16HeadrLen = 0;
    unsigned short l_u16Header = 0;
    unsigned short l_u16WriteLen = 0;

    if((NULL==pu8Addr)||(s32Len<=0))
    {
        printf("input para error \n",__FUNCTION__,__LINE__);
        return -1;
    }
    
    l_pstRTPHeader = (RTP_HEADER_S*)pu8Addr;

    /**RTP 信息提取**/
    l_pstRTPPack->u8Version     = l_pstRTPHeader->bit1Version;
	l_pstRTPPack->u8Padding     = l_pstRTPHeader->bit1Padding;
	l_pstRTPPack->u8Extension   = l_pstRTPHeader->bit1Extension;
	l_pstRTPPack->u8Cc          = l_pstRTPHeader->bit4CsrcLen;
	l_pstRTPPack->u8Marker      = l_pstRTPHeader->bit1Marker;
	l_pstRTPPack->u8Pt          = l_pstRTPHeader->bit7PayLoadType;

	/**RTP 序列号**/
    l_pstRTPPack->u32SeqNum = 0;
    l_pstRTPPack->u32SeqNum = (pu8Addr[2] & 0xff);
    l_pstRTPPack->u32SeqNum <<= 8;
    l_pstRTPPack->u32SeqNum |= (pu8Addr[3] & 0xff);

	/**RTP 时间戳**/
    l_pstRTPPack->u32TimeStamp = (pu8Addr[4] & 0xff);
    l_pstRTPPack->u32TimeStamp <<= 8;
    l_pstRTPPack->u32TimeStamp |= (pu8Addr[5] & 0xff);
    l_pstRTPPack->u32TimeStamp <<= 8;
    l_pstRTPPack->u32TimeStamp |= (pu8Addr[6] & 0xff);
    l_pstRTPPack->u32TimeStamp <<= 8;
    l_pstRTPPack->u32TimeStamp |= (pu8Addr[7] & 0xff);

	/**RTP 同步源ID**/
    l_pstRTPPack->u32Ssrc = (pu8Addr[8] & 0xff);
    l_pstRTPPack->u32Ssrc <<= 8;
    l_pstRTPPack->u32Ssrc |= (pu8Addr[9] & 0xff);
    l_pstRTPPack->u32Ssrc <<= 8;
    l_pstRTPPack->u32Ssrc |= (pu8Addr[10] & 0xff);
    l_pstRTPPack->u32Ssrc <<= 8;
    l_pstRTPPack->u32Ssrc |= (pu8Addr[11] & 0xff);

#if 0
    printf("\n\n");
    printf("u8Version     :%d \n",l_pstRTPPack->u8Version);
    printf("u8Padding     :%d \n",l_pstRTPPack->u8Padding);
    printf("u8Extension   :%d \n",l_pstRTPPack->u8Extension);
    printf("u8Cc          :%d \n",l_pstRTPPack->u8Cc);
    printf("u8Marker      :%d \n",l_pstRTPPack->u8Marker);
    printf("u8Pt          :%d \n",l_pstRTPPack->u8Pt);
    printf("u32SeqNum     :%d \n",l_pstRTPPack->u32SeqNum);
    printf("u32TimeStamp  :%d \n",l_pstRTPPack->u32TimeStamp);
    printf("u32Ssrc       :%u \n",l_pstRTPPack->u32Ssrc);
    printf("pu32Paylen    :%d \n",l_pstRTPPack->u32Paylen);
#endif
    
    l_u16HeadrLen = pu8Addr[12];
    l_u16HeadrLen <<=8;
    l_u16HeadrLen = pu8Addr[13];

    l_u16Header = pu8Addr[14];
    l_u16Header <<=8;
    l_u16Header = pu8Addr[15];

    /**ADTS**/
    if(g_WriteFd>0)
    {
        /**for debug**/
        unsigned char ADTS[] = {0xFF, 0xF1, 0x00, 0x00, 0x00, 0x00, 0xFC}; 
        int audioSamprate = 16000;/**音频采样率**/
        int audioChannel = 2;     /**音频声道 1或2**/
        int audioBit = 16;        /**16位 固定**/
        switch(audioSamprate)     /**bit2~bit6 表示帧率**/
        {
            case 8000:   /**11**/
                ADTS[2] = 0x2c; 
                break; 
            case  16000: /**8**/
                ADTS[2] = 0x60;
                break;
            case  32000: /**5**/
                ADTS[2] = 0x54;
                break;
            case  44100: /**4**/
                ADTS[2] = 0x50;
                break;
            case  48000: /**3**/
                ADTS[2] = 0x4C;
                break;
            case  96000: /**0**/
                ADTS[2] = 0x40;
                break;
            default:
                break;
        }
        
        ADTS[3] = (audioChannel==2)?0x80:0x40;/**bit **/
        l_u16WriteLen = s32Len - 16 + 7;

        l_u16WriteLen <<= 5;     /**8bit * 2 - 11 = 5(headerSize 11bit)**/
        l_u16WriteLen |= 0x1F;   /**5 bit    1**/            
        ADTS[4] = l_u16WriteLen>>8;
        ADTS[5] = l_u16WriteLen & 0xFF;
        fwrite(ADTS,1,7,g_WriteFd);
       
        l_u16WriteLen = s32Len - 16;
        fwrite(&pu8Addr[16],1,l_u16WriteLen,g_WriteFd);
  
    }
    
    return 0;
}

参考博客：

《AAC的ADTS头文件信息介绍》
《多媒体封装格式详解--- AAC ADTS格式分析》

工程下载：

​​在 liwen01 公众号中回复 网络编程 获取工程代码，本章代码工程名为：RtspRtcpRtpLoad_AAC.tar.gz

---------------------------End---------------------------
长按识别二维码
关注 liwen01 公众号