《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎。 BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎。支持多个异构数据源之间的数据同步，提供批量、流式、增量场景下的全局数据集成解决方案。目前，它服务于字节跳动的几乎所有业务线，如抖音、今日头条等，每天同步数百万亿数据。为什么我们使用BitSail BitSail已被广泛使用并支持数百万亿的大流量。同时在火山引擎云原生环境、本地私有云环境等多种场景下得到验证。全局数据集成，涵盖批处理、流式和增量场景分布式云原生架构，支持横向扩展在准确性、稳定性和性能方面成熟度高丰富的基础功能，如类型转换、脏数据处理、流量控制、数据湖集成、自动并行计算等。任务运行状态监控，如流量、QPS、脏数据、延迟等。BitSail使用场景异构数据源中的海量数据同步流和批集成数据处理能力数据湖与仓库一体化数据处理能力高性能、高可靠的数据同步分布式、云原生架构数据集成引擎BitSail的特点低启动成本和高灵活性流批一体化和数据湖仓一体化架构，一个框架覆盖几乎所有数据同步场景高性能、海量数据处理能力DDL自动同步类型系统，不同数据源类型之间的转换引擎独立读写接口，开发成本低实时显示任务进度，正在开发中实时监控任务状态支持的连接 DataSource SubModules Reader Writer Hive Hadoop Hbase Hudi Kafka RocketMQ Redis Doris MongoDB JDBC MySQL Oracle PostgreSQL SqlServer Fake Print 环境设置 先决条件 Bitsail支持在本地IDE上运行集成测试。为此，您需要：JDK1。8maven3。6Docker 正确安装上述所需组件后，我们就可以在您的本地IDE上运行集成测试。 从源代码构建运行构建脚本以嵌入flink进行打包。bashbuild。sh如果你有自己的集群提供的flink包，你也可以不打包。mvncleanpackageplbitsaildistamDmaven。test。skiptrue 构建项目后，输出jar文件位于文件夹中bitsaildisttarget。 项目生产文件结构如下：bitsailarchive｛version｝SNAPSHOTbinbitsailStartupscriptconfbitsail。confbitsailsystemconfigembeddedflinkembeddedflinkexamplesexamplesconfigurationfilesexampledatasexamplesdataFakexxExample。jsonFakesourcetoxxexamplesconfigfilesxxPrintExample。jsonxxtoprintsinkexamplesconfigfileslibsjarlibsbitsailcore。jarenteringjarpackageconnectorsconnectorpluginjarsmappingconnectorpluginconfigfilescomponentscomponentsjars，suchasmetric、dirtycollectorclientsbitsailclientjar部署指南目前BitSail仅支持本地和Yarn上部署。其他平台的部署（例如原生kubernetes）将在不久后支持。 配置Hadoop 为了支持Yarn部署，需要在环境变量中配置HADOOPCLASSPATH。目前有两种方式设置：直接手动设置HADOOPCLASSPATH。设置环境变量HADOOPHOME。此环境变量指向环境中使用的hadoop目录。根据此环境变量，bitsail脚本可生成HADOOPCLASSPATH。if〔nHADOOPHOME〕；thenexportHADOOPCLASSPATH（HADOOPHOMEbinhadoopclasspath）fi 提交到Yarn BitSail目前仅支持flink的yarnperjob模式提交。 你可以使用binbitsail脚本将flink作业提交到yarn上。具体的执行指令如下：bash。binbitsailrunengineflinkconf〔jobconfpath〕executionmoderunqueue〔queuename〕deploymentmodeyarnperjob〔priority〔 上面中括号内的参数说明如下：必需参数：queuename：要提交的yarn队列jobconfpath：作业的配置文件可选参数：yarnpriority：作业在队列上的优先级namevalue：flink运行属性，以Dnamevalue方式添加在flinkrun命令后name：要添加的属性名value：要添加的属性值例如classloader。resolveorderchildfirst 提交一个示例作业 可以使用如下指令提交一个Fake2Print测试作业到default队列。bash。binbitsailrunengineflinkconfbitsailarchive0。1。0SNAPSHOTexamplesFakeProintExample。jsonexecutionmoderunp11deplo 本地提交 假设BitSail的安装路径为：｛BITSAILHOME｝。打包BitSail后，我们可以在如下路径中找到可运行jar包以及示例作业配置文件：cd｛BITSAILHOME｝bitsaildisttargetbitsaildist0。1。0SNAPSHOTbinbitsailarchive0。1。0SNAPSHOT END 开源协议：Apache2。0license 开源地址：https：github。combytedancebitsail
世界旅游地图揽胜大洋洲新西兰西岸区通过世界旅游地图来看世界各国的著名的旅游景点，领略世界的大好河山。大洋洲第二篇新西兰新西兰：西南太平洋的岛国。由南岛、北岛及附近一些小岛组成。面积平方公里。人口万。……行摄西藏隐世天堂措普沟措普湖【行摄西藏】隐世天堂：措普沟措普湖摄影文字阳光脚步有人说：内有苏杭，外有巴塘巴塘，有美丽如诗的措普沟措普沟，一个神仙居住的地方湛蓝的天、原始的树、……胡杏儿晒和老公浪漫约会照，头上白发抢镜，被指连生三儿影响身体今天情人节，单身狗都要被狗粮喂饱了，网络上满屏都是明星秀恩爱的新闻。中国香港女星胡杏儿也跟随大潮，在社交账号晒出与老公李乘德的亲密合照，秀了一波恩爱。胡杏儿晒出的多……夏季多喝汤，别忘记多喝这汤，补足营养，汤汁鲜美，助力孩子长个进入酷暑之后，太阳越来越毒辣，是我们阳气正盛，身体最旺盛的时候，这个时候的营养很容易消化，尤其是家里有孩子，一定需要补充营养。由于最近太炎热，身体特别容易出汗，会丢失一些营养成……杨鸣揪出辽篮水货！暂停期间痛定思痛，场边怒批了1分钟杨鸣揪出辽篮水货！暂停期间痛定思痛，场边怒批了1分钟CBA常规赛继续进行，大家都知道，刚刚结束的比赛中，北控男篮差一点就再次，掀翻了辽宁男篮，而这场比赛其实大家也都发现了……什么是数字货币？数字货币概念股一、数字货币按照央行数字货币研究所的定义来看，狭义的数字货币主要指纯数字化、不需要物理载体的货币；而广义的数字货币等同于电子货币，泛指一切以电子形式存在的货币，包括电子货……房琪新书真希望你也喜欢你自己摘录的优美句子第1章你不需要成为任何人1。这世界很喧嚣，做自己就好2。在我看来，生活是一款单机游戏，不能多人组局。虽然我们追求爱情、依赖亲情、珍视友情，但比起……巴黎女生也追赶的潮流今夏告别白衬衫和牛仔裤巴黎女生的品味无容置疑，在时尚界拥有无可撼动的地位，从她们护发的秘诀到搭配牛仔裤的方法，都吸引无数人参考。不过往常喜欢以白衬衫和牛仔裤迎接夏日的巴黎女生，在今年却迎来了一个新转……氢燃料电池汽车市场今年或将爆发2022年燃料电池汽车产销均呈现良好增长势头，2023年燃料电池汽车销量将实现翻番。根据中汽协最新发布的汽车工业经济运行情况，2022年11月，氢燃料电池汽车产销分别完成322……亚马逊大幅涨薪背后的囚徒困境欧美工资物价螺旋式上升已难避免？财联社（上海，编辑潇湘）讯，新的一年里你涨薪了吗？这个不少办公族每年伊始最为感兴趣的话题，却可能正令欧美经济陷入一场无解的囚徒困境之中。上周五，美国劳工部公布的数据显示，……神鸡营比赛Vs刘氏家族，吕德华巅峰赛1700不如韩涵，梦之队在今年末尾，全网突然火起来了一种主播战队，那就是以人气主播为名义，广邀一些巅峰赛当中的高分段选手组成的队伍，其实最早这种形式的队伍也特别的多，比如GFS战队，在全网当中，这支队……9大NBA常青树！效力最长的球员科比第七，威利斯45岁才退役勒布朗进入职业生涯第20年，除了老詹之外NBA常青树球员有谁？美媒统计了历史上在联盟效力最长的9大球员！在勒布朗詹姆斯正式效力进入20年前，排在老詹前面的分别是湖人两大传……