iOS利用FFmpeg解码音频数据并播放

栏目: IOS · 发布时间: 5年前

内容简介:利用FFmepg解析并解码音频流数据,然后将解码后的音频数据送给Audio Queue以实现播放.利用FFmpeg解析音频数据流, 利用FFmpeg解码音频数据为PCM格式. 利用Audio Queue Player实现音频数据播放.本例以一个苹果原生相机录制的.MOV文件为例, 将该文件使用FFmpeg解析并解码,将解码后的数据放入传输队列中,然后开启audio queue player, 播放器在回调函数中轮循取出队列中的数据实现播放.

需求

利用FFmepg解析并解码音频流数据,然后将解码后的音频数据送给Audio Queue以实现播放.

实现原理

利用FFmpeg解析音频数据流, 利用FFmpeg解码音频数据为PCM格式. 利用Audio Queue Player实现音频数据播放.

阅读前提

代码地址 : Audio Decoder

掘金地址 : Audio Decoder

简书地址 : Audio Decoder

博客地址 :Audio Decoder

总体架构

本例以一个苹果原生相机录制的.MOV文件为例, 将该文件使用FFmpeg解析并解码,将解码后的数据放入传输队列中,然后开启audio queue player, 播放器在回调函数中轮循取出队列中的数据实现播放.

简易流程

FFmpeg parse流程

avformat_alloc_context
avformat_open_input
avformat_find_stream_info
formatContext->streams[i]->codecpar->codec_type == (isVideoStream ? AVMEDIA_TYPE_VIDEO : AVMEDIA_TYPE_AUDIO)
m_formatContext->streams[m_audioStreamIndex]
av_read_frame

FFmpeg解码流程

  • 从parse中的 AVFormatContext 获取音频流对象 AVStream . m_formatContext->streams[m_audioStreamIndex];
  • 获取解码器上下文: formatContext->streams[audioStreamIndex]->codec
  • 获取解码器实例: avcodec_find_decoder(codecContext->codec_id)
  • 打开解码器: avcodec_open2
  • 初始化音频帧: AVFrame *av_frame_alloc(void);
  • 将数据发给解码器: int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt)
  • 获取解码后的数据: int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);
  • 创建转码器: struct SwrContext *swr_alloc(void);
  • 设置转码器参数: swr_alloc_set_opts
  • 初始化转码器上下文: int swr_init(struct SwrContext *s)
  • 开始转码: int swr_convert(struct SwrContext *s, uint8_t **out, int out_count,const uint8_t **in , int in_count);
  • 获取转码后的data与size.

文件结构

iOS利用FFmpeg解码音频数据并播放

快速使用

  • 设置音频格式ASBD

    AudioStreamBasicDescription audioFormat = {
        .mSampleRate         = 48000,
        .mFormatID           = kAudioFormatLinearPCM,
        .mChannelsPerFrame   = 2,
        .mFormatFlags        = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked,
        .mBitsPerChannel     = 16,
        .mBytesPerPacket     = 4,
        .mBytesPerFrame      = 4,
        .mFramesPerPacket    = 1,
    };
    
  • 配置播放器

    [[XDXAudioQueuePlayer getInstance] configureAudioPlayerWithAudioFormat:&audioFormat bufferSize:kXDXBufferSize];
    
  • Parse并解码音频文件数据

    - (void)startDecode {
        NSString *path = [[NSBundle mainBundle] pathForResource:@"test" ofType:@"MOV"];
        XDXAVParseHandler *parseHandler = [[XDXAVParseHandler alloc] initWithPath:path];
        XDXFFmpegAudioDecoder *decoder = [[XDXFFmpegAudioDecoder alloc] initWithFormatContext:[parseHandler getFormatContext] audioStreamIndex:[parseHandler getAudioStreamIndex]];
        decoder.delegate = self;
        [parseHandler startParseGetAVPackeWithCompletionHandler:^(BOOL isVideoFrame, BOOL isFinish, AVPacket packet) {
            if (isFinish) {
                [decoder stopDecoder];
                return;
            }
    
            if (!isVideoFrame) {
                [decoder startDecodeAudioDataWithAVPacket:packet];
            }
        }];
    }
    
  • 获取解码后数据并播放

为了每次能够重新播放,这里需要标记当前是否为解码的第一帧数据,以重新启动播放器. 另一点是使用NSTimer等待音频数据放入队列再开始播放,因为audio queue是驱动播放模式,所以必须等音频数据放入传输队列再开始播放.

#pragma mark - Decode Callback
- (void)getDecodeAudioDataByFFmpeg:(void *)data size:(int)size isFirstFrame:(BOOL)isFirstFrame {
    if (isFirstFrame) {
        dispatch_async(dispatch_get_main_queue(), ^{
            // First put 3 frame audio data to work queue then start audio queue to read it to play.
            [NSTimer scheduledTimerWithTimeInterval:0.01 repeats:YES block:^(NSTimer * _Nonnull timer) {
                
                XDXCustomQueueProcess *audioBufferQueue = [XDXAudioQueuePlayer getInstance]->_audioBufferQueue;
                int size = audioBufferQueue->GetQueueSize(audioBufferQueue->m_work_queue);
                if (size > 3) {
                    dispatch_async(dispatch_get_main_queue(), ^{
                        [[XDXAudioQueuePlayer getInstance] startAudioPlayer];
                    });
                    [timer invalidate];
                }
            }];
        });
    }
    
    // Put audio data from audio file into audio data queue
    [self addBufferToWorkQueueWithAudioData:data size:size];
    
    // control rate
    usleep(16*1000);
}

具体实现

1. 初始化解码器

从Parse模块中可以获取当前文件对应FFmepg的上下文对象 AVFormatContext .因此音频流解码器信息可以直接获取.

  • 获取音频流对象

    AVStream *audioStream = m_formatContext->streams[m_audioStreamIndex];
    
  • 获取解码器上下文对象

    - (AVCodecContext *)createAudioEncderWithFormatContext:(AVFormatContext *)formatContext stream:(AVStream *)stream audioStreamIndex:(int)audioStreamIndex {
        AVCodecContext *codecContext = formatContext->streams[audioStreamIndex]->codec;
        AVCodec *codec = avcodec_find_decoder(codecContext->codec_id);
        if (!codec) {
            log4cplus_error(kModuleName, "%s: Not find audio codec",__func__);
            return NULL;
        }
    
        if (avcodec_open2(codecContext, codec, NULL) < 0) {
            log4cplus_error(kModuleName, "%s: Can't open audio codec",__func__);
            return NULL;
        }
    
        return codecContext;
    }
    
  • 初始化音频帧

AVFrame 作为解码后原始的音视频数据的容器.AVFrame通常被分配一次然后多次重复(例如,单个AVFrame以保持从解码器接收的帧)。在这种情况下,av_frame_unref()将释放框架所持有的任何引用,并在再次重用之前将其重置为其原始的清理状态。

// Get audio frame
m_audioFrame = av_frame_alloc();
if (!m_audioFrame) {
    log4cplus_error(kModuleName, "%s: alloc audio frame failed",__func__);
    avcodec_close(m_audioCodecContext);
}

2. 将原始数据发给解码器

调用avcodec_send_packet将压缩数据发送给解码器.最后利用循环接收avcodec_receive_frame解码后的音视频数据.

int result = avcodec_send_packet(audioCodecContext, &packet);
if (result < 0) {
    log4cplus_error(kModuleName, "%s: Send audio data to decoder failed.",__func__);
}

3. 接收解码后的数据.

result = avcodec_receive_frame(audioCodecContext, audioFrame);

4. 将解码后的数据转码为iOS设备可播放的类型

 result = avcodec_receive_frame(audioCodecContext, audioFrame);
        while (0 == result) {
            struct SwrContext *au_convert_ctx = swr_alloc();
            au_convert_ctx = swr_alloc_set_opts(au_convert_ctx,
                                                AV_CH_LAYOUT_STEREO,
                                                AV_SAMPLE_FMT_S16,
                                                48000,
                                                audioCodecContext->channel_layout,
                                                audioCodecContext->sample_fmt,
                                                audioCodecContext->sample_rate,
                                                0,
                                                NULL);
            swr_init(au_convert_ctx);
            int out_linesize;
            int out_buffer_size = av_samples_get_buffer_size(&out_linesize,
                                                             audioCodecContext->channels,
                                                             audioCodecContext->frame_size,
                                                             audioCodecContext->sample_fmt,
                                                             1);
            
            uint8_t *out_buffer = (uint8_t *)av_malloc(out_buffer_size);
            // 解码
            swr_convert(au_convert_ctx, &out_buffer, out_linesize, (const uint8_t **)audioFrame->data , audioFrame->nb_samples);
            swr_free(&au_convert_ctx);
            au_convert_ctx = NULL;
            if ([self.delegate respondsToSelector:@selector(getDecodeAudioDataByFFmpeg:size:isFirstFrame:)]) {
                [self.delegate getDecodeAudioDataByFFmpeg:out_buffer size:out_linesize isFirstFrame:m_isFirstFrame];
                m_isFirstFrame=NO;
            }
            
            av_free(out_buffer);
        }
        
        if (result != 0) {
            log4cplus_error(kModuleName, "%s: Decode finish.",__func__);
        }
`

以上所述就是小编给大家介绍的《iOS利用FFmpeg解码音频数据并播放》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

JavaScript高级程序设计(第3版)

JavaScript高级程序设计(第3版)

[美] Nicholas C. Zakas / 李松峰、曹力 / 人民邮电出版社 / 2012-3-29 / 99.00元

本书是JavaScript 超级畅销书的最新版。ECMAScript 5 和HTML5 在标准之争中双双胜出,使大量专有实现和客户端扩展正式进入规范,同时也为JavaScript 增添了很多适应未来发展的新特性。本书这一版除增加5 章全新内容外,其他章节也有较大幅度的增补和修订,新内容篇幅约占三分之一。全书从JavaScript 语言实现的各个组成部分——语言核心、DOM、BOM、事件模型讲起,深......一起来看看 《JavaScript高级程序设计(第3版)》 这本书的介绍吧!

SHA 加密
SHA 加密

SHA 加密工具

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换