DatenLordiouringRust异步库实现方法

　　简介
　　iouring是Linux最新的异步IO接口，采用两个用户和内核共享的ringbuffer进行交互，性能优于之前的接口且限制更少。虽然iouring仍然处于开发迭代中，但是基本的IO接口已经基本定型，作为高效系统语言的Rust则成为使用该接口的不二之选。现在已经有许多针对iouring的Rust封装，但是有的存在soundness问题，有的存在性能问题，都不是安全高效IO的好选项。我们团队（DatenLord）也进行了自己的尝试，本文就是介绍我们的iouring异步库实现方法。Rust现有异步模式
　　Rust的异步库都有自己的异步IO实现方法，但是内部原理大同小异，都是Reactor模式，如下图所示：
　　Worker线程将关注的fd注册到Epoll等待队列中，Reactor线程通过Epollwait等待可以进行操作的fd，当有fd可以操作时，Reactor线程通知Worker线程进行真正的IO操作。在此过程中，Reactor线程仅仅起到等待和通知的作用，并不真正进行IO操作，并且这里的IO接口仍然是同步IO接口。这种模式就好比请人帮忙烧开水，但是泡茶的过程还是自己亲自来。
　　Reactor模式中，内存buffer一直在用户的控制下，在进行真正的IO操作发生前，随时可以cancel正在等待的请求，因此Reactor模式中不存在内存datarace的情况，接口也就顺势使用了reference，及借用机制。接口示例如下：fnreada（amutself，buf：amut〔u8〕）ImplFuturea，ResultusizeiouringRust底层封装
　　iouring的官方库只有C语言版本及liburing，因此Rust异步封装之前必须有一套可用的Rust底层封装。这一层封装大家有不同的选择：有的选择自己从头实现，如tokio的iouring；我们的选择则是复用liburing，先进行一层binding，然后在进行一层面向对象的封装，抽象出SQ，CQ和Register等，这一层抽象借鉴的tokio的iouring。前一种方法对实现具有更强的控制力，后一种方法则降低了维护成本。无论哪一种方法，最终的目的和效果是一样的搭建脚手架，为异步封装扫平障碍。iouring异步模式
　　iouring和Rust现有异步模型不同，该异步操作是由操作系统完成的，并不需要用户线程参与，该工作方式非常适合Proactor模式。下图为Proactor模式示意图：
　　根据图中所示，异步操作由Proactor线程完成，更准确说是由Proactor线程提交IO任务给内核，等内核完成了IO操作再讲结果通知给Worker线程。和Reactor模式相比，Proactor为用户完成了更多的任务，这就好比请人帮忙把烧水和泡茶的活一起干了，直接喝茶就行。iouringProactor设计
　　在决定了采用Proactor模式来完成iouring之后，我们还需要考虑iouring自己的特性。iouring在设计的时候只考虑了一个线程一个iouring实例，因此无论是内核接口还是libfuse的封装接口都不易实现多线程并发访问。基于这个考虑，有两个方法解决，第一个方法为iouring操作上锁，也就是间接的将多线程并发操作串行化；第二个方法为只用单线程进行iouring操作，其他任务给该线程提交任务。ringbahn采用了第一种方法，我们采取了第二种方法。第二种方法的好处在于，可以将连续的多个IO操作一次提交，在繁忙的系统中能够提高性能。
　　下图为我们的架构设计：
　　在我们的设计中，所有的WorkerTask通过全局的channel向SubmitterTask提交IO任务，当没有IO任务时SubmitterTask会在等待在该channel上，而当请求繁忙时SubmitterTask会打包多个任务一次性提交。CompleterThread会收取ring上完成的任务，并且唤醒等待这些任务的WorkerTask。
　　单个iouring实例同时处理的IO请求数目是有上限的，如果完成的任务不及时接收则会出现丢失的情况，因此我们维护了一个全局计数器来统计正在被处理的IO请求数目，当数目达到上限时则会挂起WorkerTask让其等待。内存安全
　　Rust语言的内存安全要求不能出现datarace和useafterfree的情况，而iouring的使用模型则存在现在的风险。操作系统会异步地操作内存buffer，这块buffer如果被用户同步操作测会出现datarace的情况。因此被Proactor线程占用的内存必须独占，否则任何被取消的IO操作都会导致内存被用户态同时使用。
　　为了达到上述目的，Reactor的基于reference的接口不能被使用，需要采用新的接口，如下所示：pubasyncfnread（fd：RawFd，buffer：Vecu8，count：usize，offset：isize，）（io：：Resultusize，（RawFd，Vecu8））
　　在该接口中用户会在IO操作过程中交出buffer所有权，在任务完成时返还buffer所有权总结
　　现有的Rust异步IO模型（Reactor）其实分为两步，第一步由操作系统通知用户哪些fd可以使用，第二步再由用户完成IO操作，操作系统仅仅负责通知，真正干活的还是用户自己。区别于该IO模型，iouring的IO模型为Proactor，所有的异步IO请求都是操作系统来完成，用户仅仅需要发送请求和接收结果。
　　我们DatenLord团队在充分考虑了iouring特点和Rust语言的需求后实现了一个iouring的异步库。这个库同时照顾到性能和易用性，方便用户迁移现有代码，同时该库不依赖于任何一部框架，可以和绝大多数已知的异步框架一起使用。此链接为该库的代码地址，欢迎大家提交PR和issue，帮助进一步完善功能。
　　作者施继成
　　后期编辑张汉东
　　转自《RustMagazine中文精选》