字节跳动年度技术盘点更新近3000万次代码，开源30余个重要

　　过去一年，字节跳动技术团队提交了近3000万次代码，在多个技术领域持续投入，从计算机视觉到自然语言处理，从大数据到安全，再到机器人等前沿探索，都有了新进展。
　　同时，字节跳动技术团队致力于开源社区建设，今年陆续开源了微服务中间件CloudWeGo、前端研发框架Modern。js、LightSeq训练加速引擎、Flutter调试工具UME、移动研发工具链MBox、GAN模型压缩算法OMGD等30余个重要项目。
　　我们选了10项有代表性的技术成果，与大家分享。BVC系列编码器夺得17项冠军
　　这是一段BVC2编码器初始化和启动过程的伪代码。
　　BVC系列编码器由字节跳动技术团队研发。今年4月，MSU2020全球视频编码器大赛公布完整结果，BVC系列编码器参加了17个项目，均排名最佳质量评比第一。
　　BVC编码器性能领先，同样质量的视频内容，可以节约815的带宽和存储成本。使用BVC编码器转码后，用户在地铁、野外等网速较慢的情况下，也能享受高画质、流畅的视频体验。
　　目前，这些技术成果已通过火山引擎开放给企业客户，并逐步应用到抖音、西瓜视频等产品中，进一步降低创作成本，显著提升广大用户的观影体验。
　　左为现行标准处理后，右为BVC2。0处理后，画质更清晰并行翻译技术首次夺冠，打破自回归模型绝对统治地位
　　上面这四行代码展示了并行翻译技术的训练过程。
　　6月18日，在WMT2021国际机器翻译大赛上，字节跳动技术团队以并行翻译系统参赛，获得德语到英语方向机器翻译比赛自动评估第一名。
　　这是并行翻译在国际大赛首次亮相，成功击败了从左向右逐词翻译的自回归模型技术，打破后者在机器翻译领域的绝对统治地位。
　　目前并行翻译技术已应用在火山翻译产品中，用以支持飞书、今日头条、西瓜视频等业务的翻译需求，并将通过火山引擎服务外部的企业客户。
　　左为从左向右逐词输出，右为并行翻译同步输出59年来，中国科学家团队第2次摘得ACL最高奖项
　　上面这个代码片段展示了词表学习方案VOLT的部分流程。
　　字节跳动技术团队在一篇机器翻译技术论文中提出了这一方案，通过最优传输算法计算最优词表大小，并生成适用于机器翻译任务的最优粒度词表。
　　相比于主流词表BPE，VOLT方案可以节省大约92的算力，不仅显著地提高训练的效率，还极大地降低了训练成本，可以说是真正的绿色环保方案，在工业应用方面有着巨大潜力，可以成为节能减排的利器。
　　在8月5日举行的国际顶级学术会议ACL2021中，字节跳动技术团队的这篇论文获得了最佳论文荣誉。这是ACL成立59年以来，中国科学家团队第2次摘得最高奖项。
　　VOLT是一项绿色环保方案业界首家720p1080p端上实时超分技术
　　上面这个代码片段展示了移动端实时超分的处理流程。
　　由于拍摄设备和网络传输等限制，很多视频质量不佳，无法满足用户对于极致高清画质的需求。超分技术可以有效解决这一问题，但算法往往需要很高的算力并导致极高功耗，无法在移动设备大规模落地。
　　字节跳动技术团队研发出了针对手机端720p1080p35fps以内视频的超低功耗超分辨率算法，将电流功耗优化至行业普遍指标的十分之一以内（20ma），彻底解决超分在移动端落地的行业技术瓶颈，为数亿用户带来高清画质播放体验。这一方案在业内属于首家，目前已在抖音、头条、西瓜视频等多个业务的视频播放场景落地。
　　iBOT自动学习海量图像，帮计算机理解现实世界
　　这段代码展示的是视觉大模型无监督预训练方法iBOT。
　　这种方法适用于计算机视觉领域，可以在海量的图像数据中自动学习结构和知识信息，帮助计算机更好地理解现实世界。计算机视觉是近年来人工智能增长最快的领域之一，应用前景广泛，包括智能汽车、无人机、智能眼镜等。
　　今年11月，字节跳动、约翰霍普金斯大学等机构组成的联合团队提出iBOT。在十几类任务和数据集上，iBOT达到了业界当前最高水平。
　　目前，这项技术已正式开源，并将逐步应用在字节跳动旗下各个视频业务、智能硬件、VRAR等技术领域。
　　左为车灯、狗耳朵等类别语义，右为条带、波纹等纹理语义无需图纸就能自主设计桥梁的机器人
　　这是一段智能机器人的代码片段。
　　这款机器人具备更智能的任务理解和操作抓取能力，不需要看图施工，可以自主设计架构，并完成工程模型搭建。此外，这款机器人还可以对不够完美的设计进行优化。当发现左侧桥面不够平整时，机器人会重新摆放积木；当桥梁搭建完成后，机器人会挪走多余的积木，最大程度节省材料。
　　机器人无图搭桥技术由字节跳动技术团队和清华大学合作完成，入选国际智能机器人与系统大会IROS2021。这类技术从研发阶段到商业化落地，中间还有很长的距离，但潜力很大，可以进一步帮助人们提升效率、降低成本。
　　给数据湖带来实时更新的超高速公路
　　这是一段实时数据湖集成的代码。
　　字节跳动技术团队基于开源大数据计算框架ApacheFlink和数据湖框架ApacheHudi，打造了流式数据湖集成解决方案，解决了Hive不支持更新的痛点，并且支持了纯流式数据写入，数据实时性上相比Hive有大幅度的提高。
　　这就好比我们在离线数仓和在线数据库之间，构建了一条更宽敞的超高速公路，端到端的数据同步更快，而用到的资源则更少。例如Mysql导入到Hive，端到端的数据延迟从一个小时以上降低到了510分钟，端到端计算资源大约节约了70。
　　依靠这条超高速公路，数据分析场景的实时性进一步提高，能帮助业务根据实时情况作出敏捷决策。
　　实时数据湖集成技术有助于业务敏捷决策云原生分布式数据库，解决海量数据实时分析难题
　　这是一段ByteHTAP数据库系统的伪代码。
　　ByteHTAP数据库是字节跳动技术团队研发的一款云原生分布式数据库，旨在提供基于海量数据做实时分析及商业决策的能力。
　　数据分析对于提升用户体验和产品竞争力至关重要。ByteHTAP数据库具备百万级QPS的写入能力，更新的数据在1秒以内可支持复杂查询，并保证数据的事务一致性。相比业界常规的将在线数据导入离线数据仓库做数据分析的方案，ByteHTAP能大幅降低硬件和运维成本。
　　目前，ByteHTAP数据库已支持字节跳动部分业务，并将通过火山引擎服务更多企业客户。
　　业界常规方案的延迟达到天小时级
　　ByteHTAP的延迟时间在1秒以内视频隐藏水印能力跻身行业前列
　　这是一段隐藏水印算法的代码片段。
　　隐藏水印也叫暗水印，在经过传播和处理之后，仍然可以提取出来。这种技术在数据安全和版权保护领域应用广泛，用以识别数据归属和版权，追踪数据流向和来源。
　　字节跳动技术团队基于多种融合算法，研发出隐藏水印算法，满足了中长视频、短视频、WEB平台等不同场景对视觉效果、码率等层面的极端要求，同时保证隐藏水印可以从容应对压缩、打码、裁剪、屏摄拍照等处理。
　　今年10月，这项算法获得数字媒体内容保护技术研究国家广播电视总局重点实验室ChinaDRM实验室的安全评估认证，这意味着字节跳动的视频隐藏水印能力跻身行业前列，正在参与行业标准制定。
　　添加隐藏水印前后节省大页内存管理开销，一年解决行业十年难题
　　这是一段Linux内核代码。
　　Linux是当下最常用的操作系统内核，稳定性高，支撑着众多企业服务器的运转。然而，一些Linux云计算场景会使用大页，带来额外的内存管理开销。对于规模庞大的服务器来说，这种损耗会成倍放大。这个问题已经困扰了行业十多年，一直没有解决办法。
　　字节跳动技术团队用一年时间找到了减少内存管理开销的方案，为公司使用大页场景业务节省1。56的内存。这意味着一台1024GB的服务器，最大能节省将近16GB的内存，可以为行业带来很大收益。
　　目前，这项方案已经开源，合入Linux内核主线，并得到业界的认可。
　　技术推陈出新，字节跳动不止。