AudioUnit（一）

　　最近一直在做iOS音频相关技术的项目，期间在官方及网上的资料文档也学习了很多，当然，iOS平台中音频相关技术还是有很多方面的，这里我先总体概述下，然后以IOAudioUnit为例对其概念，基本用法和思路进行讲解，可能不够全面，一些细节需要自行查找相关文档。后面我会对github上一个开源的音频引擎框架进行源码分析，来展现在更复杂的音频技术应用场景下可能的设计及实现方式。
　　本文图片及大部分技术概念阐述均来自apple官网1、CoreAudio
　　CoreAudio是iOS和MAC系统中的关于数字音频处理的基础设施，它是应用程序用来处理音频的一组软件框架，所有关于iOS音频开发的接口都是由CoreAudio来提供或者经过它提供的接口来进行封装的。Apple官方对CoreAudio的框架分层图示如下：
　　coreaudiolayers。png2、LowLevel
　　该主要在MAC上的音频APP实现中并且需要最大限度的实时性能的情况下使用，大部分音频APP不需要使用该层的服务。而且，在iOS上也提供了具备较高实时性能的高层API达到你的需求。例如OpenAL，在游戏中具备与IO直接调用的实时音频处理能力IOKit，与硬件驱动交互AudioHAL，音频硬件抽象层，使API调用与实际硬件相分离，保持独立CoreMIDI，为MIDI流和设备提供软件抽象工作层HostTimeServices，访问电脑硬件时钟3、MidLevel
　　该层功能比较齐全，包括音频数据格式转换，音频文件读写，音频流解析，插件工作支持等AudioConvertServices负责音频数据格式的转换AudioFileServices负责音频数据的读写AudioUnitServices和AudioProcessingGraphServices支持均衡器和混音器等数字信号处理的插件AudioFileScreamServices负责流解析CoreAudioClockServices负责音频音频时钟同步4、HighLevel
　　是一组从低层接口组合起来的高层应用，基本上我们很多关于音频开发的工作在这一层就可以完成AudioQueueServices提供录制、播放、暂停、循环、和同步音频它自动采用必要的编解码器处理压缩的音频格式AVAudioPlayer是专为IOS平台提供的基于ObjectiveC接口的音频播放类，可以支持iOS所支持的所有音频的播放ExtendedAudioFileServices由AudioFile与AudioConverter组合而成，提供压缩及无压缩音频文件的读写能力OpenAL是CoreAudio对OpenAL标准的实现，可以播放3D混音效果5、不同场景所需要的APIService只实现音频的播放，没有其他需求，AVAudioPlayer就可以满足需求。它的接口使用简单，不用关心其中的细节，通常只提供给它一个播放源的URL地址，并且调用其play、pause、stop等方法进行控制，observer其播放状态更新UI即可
　　APP需要对音频进行流播放，就需要AudioFileStreamer加AudioQueue，将网络或者本地的流读取到内存，提交给AudioFileStreamer解析分离音频帧，分离出来的音频帧可以送给AudioQueue进行解码和播放可参考AudioStreamerFreeStreamerAFSoundManager
　　APP需要需要对音频施加音效（均衡器、混响器），就是除了数据的读取和解析以外还需要用到AudioConverter或者Codec来把音频数据转换成PCM数据，再由AudioUnitAUGraph来进行音效处理和播放可参考DouAudioStreamerTheAmazingAudioEngineAudioKit6、AudioUnit
　　iOS提供了混音、均衡、格式转换、实时IO录制、回放、离线渲染、语音对讲（VoIP）等音频处理插件，它们都属于不同的AudioUnit，支持动态载入和使用。AudioUnit可以单独创建使用，但更多的是被组合使用在AudioProcessingGraph容器中以达到多样的处理需要，例如下面的一种场景：
　　APP持有的AudioProcessingGraph容器中包含两个EQUnit、一个MixerUnit、一个IOUnit，APP将磁盘或者网络中的两路流数据分别通过EQUnit进行均衡处理，然后在MixerUnit经过混音处理为一路，进入IOUnit将此路数据送往硬件去播放。在这整个流程中，APP随时可以调整设置AUGraph及其中每个Unit的工作状态及参数，动态性的接入或者移出指定的Unit，并且保证线程安全。
　　C音视频学习资料免费获取方法：关注音视频开发T哥，点击链接即可免费获取2023年最新C音视频开发进阶独家免费学习大礼包！6。1AudioUnit类型：
　　IO：RemoteIO、VoiceProcessingIO、GenericOutputMixing：3DMixer、MutichannelMixerEffect：iPodEqualizerFormatConversion：FormatConverter6。2AudioUnit构建方式
　　创建AudioUnit有两种途径，以IOUnit为例，一种是直接调用unit接口创建，一种是通过AudioUnitGraph创建，下面是两种创建方式的基本流程和相关代码：6。3UnitAPI方式（RemoteIOUnit）createIOUnitBOOLresultNO；AudioComponentDescriptionoutputDescription｛0｝；outputDescription。componentTypekAudioUnitTypeOutput；outputDescription。componentSubTypekAudioUnitSubTypeRemoteIO；outputDescription。componentManufacturerkAudioUnitManufacturerApple；outputDescription。componentFlags0；outputDescription。componentFlagsMask0；AudioComponentcompAudioComponentFindNext（NULL，outputDescription）；resultCheckOSStatus（AudioComponentInstanceNew（comp，mVoipUnit），couldntcreateanewinstanceofRemoteIO）；if（！result）returnresult；configIOEnablestatusUInt32flag1；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertyEnableIO，kAudioUnitScopeOutput，kOutputBus，flag，sizeof（flag）），couldnotenableoutputonRemoteIO）；if（！result）returnresult；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertyEnableIO，kAudioUnitScopeInput，kInputBus，flag，sizeof（flag）），AudioUnitSetPropertyEnableIO）；if（！result）returnresult；ConfigdefaultformatresultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyStreamFormat，kAudioUnitScopeOutput，kInputBus，inputAudioDescription，sizeof（inputAudioDescription）），couldntsettheinputclientformatonRemoteIO）；if（！result）returnresult；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyStreamFormat，kAudioUnitScopeInput，kOutputBus，outputAudioDescription，sizeof（outputAudioDescription）），couldntsettheoutputclientformatonRemoteIO）；if（！result）returnresult；SettheMaximumFramesPerSliceproperty。ThispropertyisusedtodescribetoanaudiounitthemaximumnumberofsamplesitwillbeaskedtoproduceonanysinglegivencalltoAudioUnitRenderUInt32maxFramesPerSlice4096；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyMaximumFramesPerSlice，kAudioUnitScopeGlobal，0，maxFramesPerSlice，sizeof（UInt32）），couldntsetmaxframespersliceonRemoteIO）；if（！result）returnresult；SettherecordcallbackAURenderCallbackStructrecordCallback；recordCallback。inputProcrecordCallbackFunc；recordCallback。inputProcRefCon（bridgevoidNullable）（self）；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertySetInputCallback，kAudioUnitScopeGlobal，kInputBus，recordCallback，sizeof（recordCallback）），couldntsetrecordcallbackonRemoteIO）；if（！result）returnresult；SettheplaybackcallbackAURenderCallbackStructplaybackCallback；playbackCallback。inputProcplaybackCallbackFunc；playbackCallback。inputProcRefCon（bridgevoidNullable）（self）；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertySetRenderCallback，kAudioUnitScopeGlobal，kOutputBus，playbackCallback，sizeof（playbackCallback）），couldntsetplaybackcallbackonRemoteIO）；if（！result）returnresult；setbufferallocateflag0；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyShouldAllocateBuffer，kAudioUnitScopeOutput，kInputBus，flag，sizeof（flag）），couldntsetpropertyforShouldAllocateBuffer）；if（！result）returnresult；InitializetheoutputIOinstanceresultCheckOSStatus（AudioUnitInitialize（mVoipUnit），couldntinitializeVoiceProcessingIOinstance）；if（！result）returnresult；returnYES；6。4AUGraph方式（MultiChannelMixerUnitRemoteIOUnit）createAUGraphBOOLresultNO；resultCheckOSStatus（NewAUGraph（processingGraph），couldntcreateanewinstanceofAUGraph）；if（！result）returnresult；IOunitAudioComponentDescriptioniOUnitDescription；iOUnitDescription。componentTypekAudioUnitTypeOutput；iOUnitDescription。componentSubTypekAudioUnitSubTypeRemoteIO；iOUnitDescription。componentManufacturerkAudioUnitManufacturerApple；iOUnitDescription。componentFlags0；iOUnitDescription。componentFlagsMask0；MultichannelmixerunitAudioComponentDescriptionMixerUnitDescription；MixerUnitDescription。componentTypekAudioUnitTypeMixer；MixerUnitDescription。componentSubTypekAudioUnitSubTypeMultiChannelMixer；MixerUnitDescription。componentManufacturerkAudioUnitManufacturerApple；MixerUnitDescription。componentFlags0；MixerUnitDescription。componentFlagsMask0；AUNodeiONode；nodeforIOunitAUNodemixerNode；nodeforMultichannelMixerunitresultCheckOSStatus（AUGraphAddNode（processingGraph，iOUnitDescription，iONode），couldntaddanodeinstanceofkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；resultCheckOSStatus（AUGraphAddNode（processingGraph，MixerUnitDescription，mixerNode），couldntaddanodeinstanceofmixerunit）；if（！result）returnresult；opentheAUGraphresultCheckOSStatus（AUGraphOpen（processingGraph），couldntgetinstanceofmixerunit）；if（！result）returnresult；ObtainunitinstanceresultCheckOSStatus（AUGraphNodeInfo（processingGraph，mixerNode，NULL，mMixerUnit），couldntgetinstanceofmixerunit）；if（！result）returnresult；resultCheckOSStatus（AUGraphNodeInfo（processingGraph，iONode，NULL，mVoipUnit），couldntgetanewinstanceofremoteiounit）；if（！result）returnresult；UInt32busCount2；buscountformixerunitinputUInt32guitarBus0；mixerunitbus0willbestereoandwilltaketheguitarsoundUInt32beatsBus1；mixerunitbus1willbemonoandwilltakethebeatssoundresultCheckOSStatus（AudioUnitSetProperty（mMixerUnit，kAudioUnitPropertyElementCount，kAudioUnitScopeInput，0，busCount，sizeof（busCount）），couldnotsetmixerunitinputbuscount）；if（！result）returnresult；UInt32maximumFramesPerSlice4096；resultCheckOSStatus（AudioUnitSetProperty（mMixerUnit，kAudioUnitPropertyMaximumFramesPerSlice，kAudioUnitScopeGlobal，0，maximumFramesPerSlice，sizeof（maximumFramesPerSlice）），couldnotsetmixerunitmaximumframeperslice）；if（！result）returnresult；Attachtheinputrendercallbackandcontexttoeachinputbusfor（UInt16busNumber0；busNumberbusCount；busNumber）｛SetupthestruturethatcontainstheinputrendercallbackAURenderCallbackStructplaybackCallback；playbackCallback。inputProcplaybackCallbackFunc；playbackCallback。inputProcRefCon（bridgevoidNullable）（self）；NSLog（Registeringtherendercallbackwithmixerunitinputbusu，busNumber）；SetacallbackforthespecifiednodesspecifiedinputresultCheckOSStatus（AUGraphSetNodeInputCallback（processingGraph，mixerNode，busNumber，playbackCallback），couldntsetplaybackcallbackonmixerunit）；if（！result）returnresult；｝ConfigmixerunitinputdefaultformatresultCheckOSStatus（AudioUnitSetProperty（mMixerUnit，kAudioUnitPropertyStreamFormat，kAudioUnitScopeInput，guitarBus，outputAudioDescription，sizeof（outputAudioDescription）），couldntsettheinput0clientformatonmixerunit）；if（！result）returnresult；resultCheckOSStatus（AudioUnitSetProperty（mMixerUnit，kAudioUnitPropertyStreamFormat，kAudioUnitScopeInput，beatsBus，outputAudioDescription，sizeof（outputAudioDescription）），couldntsettheinput1clientformatonmixerunit）；if（！result）returnresult；Float64graphSampleRate44100。0；Hertz；resultCheckOSStatus（AudioUnitSetProperty（mMixerUnit，kAudioUnitPropertySampleRate，kAudioUnitScopeOutput，0，graphSampleRate，sizeof（graphSampleRate）），couldntsettheoutputclientformatonmixerunit）；if（！result）returnresult；configvoidunitIOEnablestatusUInt32flag1；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertyEnableIO，kAudioUnitScopeOutput，kOutputBus，flag，sizeof（flag）），couldnotenableoutputonkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertyEnableIO，kAudioUnitScopeInput，kInputBus，flag，sizeof（flag）），couldnotenableinputonkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；configvoipunitdefaultformatresultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyStreamFormat，kAudioUnitScopeOutput，kInputBus，inputAudioDescription，sizeof（inputAudioDescription）），couldntsettheinputclientformatonkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；UInt32maxFramesPerSlice4096；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyMaximumFramesPerSlice，kAudioUnitScopeGlobal，0，maxFramesPerSlice，sizeof（UInt32）），couldntsetmaxframespersliceonkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；SettherecordcallbackAURenderCallbackStructrecordCallback；recordCallback。inputProcrecordCallbackFunc；recordCallback。inputProcRefCon（bridgevoidNullable）（self）；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioOutputUnitPropertySetInputCallback，kAudioUnitScopeGlobal，kInputBus，recordCallback，sizeof（recordCallback）），couldntsetrecordcallbackonkAudioUnitSubTypeRemoteIO）；if（！result）returnresult；setbufferallocateflag0；resultCheckOSStatus（AudioUnitSetProperty（mVoipUnit，kAudioUnitPropertyShouldAllocateBuffer，kAudioUnitScopeOutput，kInputBus，flag，sizeof（flag）），couldntsetpropertyforShouldAllocateBuffer）；if（！result）returnresult；InitializetheoutputIOinstanceresultCheckOSStatus（AUGraphConnectNodeInput（processingGraph，mixerNode，sourcenode0，sourcenodeoutputbusnumberiONode，destinationnode0desintationnodeinputbusnumber），couldntconnectionodetomixernode）；if（！result）returnresult；resultCheckOSStatus（AUGraphInitialize（processingGraph），AUGraphInitializefailed）；if（！result）returnresult；returnYES；6。5AudioUnit数据的输入输出方式
　　Unit处理音频数据，都要经过一个输入和输出过程，设置输入输出的音频格式（可以相同或者不同），两个Unit对接即是将一个Unit的输入接到另一个Unit的输出，或者将一个Unit的输出接到另一个Unit的输入，需要注意的是在对接点要保证AudioFormat的一致性。以RemoteIOUnit为例，结构如下图所示：
　　一个IOUnit包含两个实体对象，两个实体对象（Element0、Element1）相互独立，根据需求可通过kAudioOutputUnitPropertyEnableIO属性去开关它们。Element1与硬件输入连接，并且Element1的输入域（inputscope）对你不可见，你只能读取它的输出域的数据及设置其输出域的音频格式；Element0与硬件输出连接，并且Element0的输出域（ouputscope）对你不可见，你只能写入它的输入域的数据及设置其输入域的音频格式。
　　如何将输入设备采集的数据抓出来，又如何将处理后的数据送到输出设备呢？通过AURenderCallbackStruct结构，将定义的两个回调静态方法地址设置到需要的Element01上，当Unit配置完毕并且运行后，Unit调度线程会按照当前设备状态及音频格式安排调度周期，循环往复的调用你提供的录制与播放回调方法，样例代码如下：forrecordcallback，readaudiodatafrombufferliststaticOSStatusrecordCallbackFunc（voidinRefCon，AudioUnitRenderActionFlagsioActionFlags，constAudioTimeStampinTimeStamp，UInt32inBusNumber，UInt32inNumberFrames，AudioBufferListioData）｛ASAudioEngineSingleUengine（bridgeASAudioEngineSingleU）inRefCon；OSStatuserrnoErr；if（engine。audioChainIsBeingReconstructedNO）｛autoreleasepool｛AudioBufferListbufList〔enginegetBufferList：inNumberFrames〕；errAudioUnitRender（〔enginerecorderUnit〕，ioActionFlags，inTimeStamp，inBusNumber，inNumberFrames，bufList）；if（err）｛HMLogDebug（LogModuleAudio，AudioUnitRendererrorcoded，err）；｝else｛AudioBufferbufferbufList。mBuffers〔0〕；NSDatapcmBlock〔NSDatadataWithBytes：buffer。mDatalength：buffer。mDataByteSize〕；〔enginedidRecordData：pcmBlock〕；｝｝｝returnerr；｝forplaycallback，fillaudiodatatobufferliststaticOSStatusplaybackCallbackFunc（voidinRefCon，AudioUnitRenderActionFlagsioActionFlags，constAudioTimeStampinTimeStamp，UInt32inBusNumber，UInt32inNumberFrames，AudioBufferListioData）｛ASAudioEngineSingleUengine（bridgeASAudioEngineSingleU）inRefCon；OSStatuserrnoErr；if（engine。audioChainIsBeingReconstructedNO）｛for（inti0；iioDatamNumberBuffers；i）｛autoreleasepool｛AudioBufferbufferioDatamBuffers〔i〕；NSDatapcmBlock〔enginegetPlayFrame：buffer。mDataByteSize〕；if（pcmBlockpcmBlock。length）｛UInt32size（UInt32）MIN（buffer。mDataByteSize，〔pcmBlocklength〕）；memcpy（buffer。mData，〔pcmBlockbytes〕，size）；buffer。mDataByteSizesize；HMLogDebug（LogModuleAudio，AudioUnitRenderpcmdatahasfilled）；｝else｛buffer。mDataByteSize0；ioActionFlagskAudioUnitRenderActionOutputIsSilence；｝｝endpool｝endfor｝endifreturnerr；7、不同场景下AudioUnit构建样例7。1IO无渲染
　　从输入设备采集过来的数据，先经过MutilChannelMixerUnit，再送到输出设备播放，该构建方式在于中间的Unit可对mic采集采集过来的数据进行声相调节以及音量的调节7。2IO有渲染
　　该构建方式在输入与输出之间增加了rendercallback，可以在硬件采集过来的数据上做一些处理（例如，增益、调制、音效等）后再送到输出播放
　　IOWithRenderCallback2x。png7。3仅输出并且带渲染
　　适合音乐游戏及合成器类的APP，仅使用IOUnit的output端，在rendercallback中负责播放源的提取整理并准备送播，比较简单的构建方式
　　输入端有两路音频流，都是通过rendercallback方式抓取数据，其中一路音频流直接给入到MixerUnit中，另一路先经过EQUnit处理后给入到MixerUnit中，8、Tips8。1多线程及内存管理
　　尽可能的避免rendercallback方法内做加锁及处理耗时较高的操作，这样可以最大限度的提升实时性能，如果播放数据或者采集数据存在不同线程读写的情况，必需要加锁保护，推荐pthread相关lock方法性能比其它锁要高音频的输入输出一般都是一个持续的过程，在采集与播放的callback中，应尽量复用buffer及避免多次buffer拷贝，而不是每次回调都重新申请和释放，在适当的位置加上autoreleasepool避免长时间运行内存不断上涨8。2格式
　　CoreAudioType中定义了AudioStreamBasicDescription结构，AudioUnit及其它很多音频API对格式的配置都需要用到它，根据需要将该结构的信息填充正确，下面是44。1K，stereo，16bit的填充例子audioDescription。mSampleRate44100；audioDescription。mChannelsPerFrame2；audioDescription。mBitsPerChannel16；audioDescription。mFramesPerPacket1；audioDescription。mFormatIDkAudioFormatLinearPCM；audioDescription。mFormatFlagskLinearPCMFormatFlagIsSignedIntegerkAudioFormatFlagIsPacked；audioDescription。mBytesPerFrame（audioDescription。mBitsPerChannel8）audioDescription。mChannelsPerFrame；audioDescription。mBytesPerPacketaudioDescription。mBytesPerFrame；
　　苹果官方建议在整个AudioProcessingGraph或者Unit之间尽量以相同的音频格式流通，尽管AudioUnit的输入输出可以不同。另外在Unit之间输入输出连接点要保持一致。8。3音质
　　在使用过程中，AudioUnit的format是可以动态改变的，但存在一种情况，Unit在销毁前最好恢复到默认创建时的format，否则在销毁后再重建Unit后，可能出现播放音质变差（音量变小，声音粗糙）的情况。在使用VoiceProcessingIOUnit过程，遇到在有些iphone上开启扬声器后，Unit从Mic采集过来的数据为空或者噪音的情况，从APPSTORE中下载了其它的VOIP类型的APP也同样存在该问题，后来将AudioUnitSubType改成RemoteIO类型后，问题消失，怀疑苹果在VoiceProcessingUnit上对回声消除功能的处理上有bug8。4AudioSession
　　既然使用了音频特性，就会用到AudioSession，随着功能需求跟进，与它相关的问题也瞒多的，比如路由管理（听筒扬声器、线控耳机、蓝牙耳机），打断处理（interruption、iphonecall）等，这里以AudioUnit为主，就不对它进行详细描述了，需要注意的是音频的路由变更（用户挺拔耳机，或者代码调用强制切换）涉及到iOS硬件上输入和输出设备的改变，IO类型Unit的采集和播放线程在切换过程中会阻塞一定时间（200ms左右），如果是语音对讲类对实时性要求较高的应用场景要考虑丢包策略。在APP前台工作时，iPhone来电或者用户主动切换到其它音频类APP后，要及时处理音频的打断机制，在恰当的时机停止及恢复Unit的工作，由于iOS平台对资源的独占方式，iPhone在通话等操作时，APP中的Unit是无法初始化或者继续工作的。
　　原文链接：iOSAudioUnit（涓）鎺橀噾