机器之心报道 编辑：陈萍、小舟 引入密集强化学习，用AI验证AI。 自动驾驶汽车（AV）技术的快速发展，使得我们正处于交通革命的风口浪尖，其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力，因此引起了工业界、政府机构、专业组织和学术机构的共同关注。 过去20年里，自动驾驶汽车的发展取得了长足的进步，尤其是随着深度学习的出现更是如此。到2015年，开始有公司宣布他们将在2020之前量产AV。不过到目前为止，并且没有level4级别的AV可以在市场上买到。 导致这一现象的原因有很多，但最重要的是，自动驾驶汽车的安全性能仍大大低于人类驾驶员。对于美国的普通驾驶员来说，在自然驾驶环境（NDE）中发生碰撞的概率约为1。9106permile。相比之下，根据加利福尼亚2021年的脱离报告（DisengagementReports）显示，最先进的自动驾驶汽车的脱离率约为2。0105英里。 注：脱离率是评定自动驾驶可靠性的重要指标，它描述的是系统运行每1000英里需要驾驶员接管的次数。系统的脱离率越低，意味着可靠性越佳。当脱离率等于0时，也就从某种程度上说明这个自动驾驶系统已经达到无人驾驶级别。 尽管脱离率会因为存在偏见而受到批评，但它已被广泛用于评价自动驾驶汽车安全性能。 提高自动驾驶汽车安全性能存在的一个关键瓶颈是安全验证效率低下。目前流行的是通过软件模拟、封闭测试轨道和道路测试相结合的方式来测试自动驾驶汽车的无损检测。这样一来，AV开发人员必须支付大量的经济和时间成本来评估，从而阻碍了AV部署的进展。 在NDE环境中，进行AV安全性能验证非常复杂。例如，驾驶环境在时空上是复杂的，因此定义此类环境所需的变量是高维的。随着变量维数呈指数增长，计算复杂度也呈指数增长。在这种情况下，即使给定大量数据，深度学习模型也很难学习。 本文中，来自密歇根大学安娜堡分校、清华大学等机构的研究者，他们提出密集深度强化学习（D2RL，densedeepreinforcementlearning）方法来解决这一挑战。 该研究登Nature封面。 论文一作封硕，目前是清华大学自动化系终身助理教授（TenureTrackAssistantProfessor），此外，他还是密歇根大学交通研究所（UMTRI）的助理研究科学家。他于2014年和2019年在清华大学自动化系获得学士和博士学位，师从张毅教授。2017年至2019年，他在密歇根大学土木与环境工程专业做访问博士，师从HenryX。Liu教授（本文通讯作者）。 研究介绍 D2RL方法的基本思想是识别和去除非安全关键（nonsafetycritical）数据，并利用安全关键数据训练神经网络。由于只有一小部分数据是安全关键的，因此其余数据的信息将被大量密集化。 与DRL方法相比，D2RL方法可以在不损失无偏性（unbiasedness）的情况下显著减少多个数量级的策略梯度估计方差。这种显著的方差减少可以使神经网络学习和完成DRL方法难以处理的任务。 对于AV测试，该研究利用D2RL方法，通过神经网络训练周围车辆（backgroundvehicles，BV）学习何时执行何种对抗性操作，旨在提高测试效率。D2RL在基于AI的对抗性测试环境下可以将AV所需的测试里程减少多个数量级，同时确保了测试的无偏性。 D2RL方法可以应用于复杂的驾驶环境，包括多条高速公路、十字路口和环岛，这是以前基于场景的方法无法实现的。并且，该研究提出的方法可以创建智能测试环境，即使用AI来验证AI。这是一种范式转变，它为其他安全关键系统进行加速测试和训练打开了大门。 为了证明基于AI的测试方法是有效的，该研究使用大规模实际驾驶数据集对BV进行了训练，并进行了模拟实验和物理测试轨道的现场实验，实验结果如下图1所示。 密集深度强化学习 为了利用AI技术，该研究将AV测试问题表述为马尔可夫决策过程（MDP），其中BV的操作是根据当前状态信息决定的。该研究旨在训练一个由神经网络建模的策略（DRL智能体），它可以控制BV与AV交互的操作，以最大限度地提高评估效率并确保无偏性。然而，如上文所述，受维数和计算复杂度的限制，如果直接应用DRL方法，很难甚至根本无法学习有效策略。 由于大多数状态都是非关键的，无法为安全关键事件提供信息，因此D2RL的重点是去除这些非关键状态的数据。对于AV测试问题，可以利用许多安全指标来识别具有不同效率和有效性的关键状态。该研究利用的关键性度量指标是当前状态特定时间范围内（例如1秒）内AV碰撞率的外部近似值。然后该研究编辑了马尔可夫过程，丢弃非关键状态的数据，并将剩余数据用于DRL训练的策略梯度估计和Bootstrap。 如下图2所示，相比于DRL，D2RL的优势是能够最大化训练过程中的奖励。 AV仿真测试 为了评估D2RL方法的准确性、效率、可扩展性和通用性，该研究进行了仿真测试。对于每个测试集，该研究模拟了一段固定距离的交通行驶，然后记录并分析测试结果，如下图3所示。 为了进一步研究D2RL的可扩展性和泛化性，该研究对AVI模型进行了不同车道数（2车道和3车道）和行驶距离（400米、2公里、4公里和25公里）的实验。本文对25公里行程进行了研究，因为在美国，平均通勤者单程旅行约为25公里。结果如表1所示： 参考链接： https：auto。ifeng。comqichezixun202003031390011。shtml https：www。nature。comarticlesd41586023007984
2021年美国电费均价0。87元，中国是多少？用真实数据来对电力使用情况最能反映一个国家和地区的经济发展水平，我国是世界第二大经济体，美国仍是世界第一大经济体，在电力使用上中国和美国的差别有多大？电价分别是多少？美国电力使用情况……智能经济助推实体经济高质量发展来源：人民网人民日报2022智能经济高峰论坛会议现场。本报记者张武军摄把握发展机遇营造良好生态人民日报社副总编辑崔士鑫习近平总书记指出人工智能是新一轮科……仅差官宣！篮网交易得到特纳，现役最强四巨头诞生北京时间9月10日，距离NBA新赛季揭幕战日期越来越近，联盟多支争冠球队开启抢人模式。继米切尔1换8加盟骑士之后，又爆出威少即将远走爵士的消息。反观篮网却一直按兵不动，最新消息……濠江葛洲打造最美侨村侨村，孕育了悠悠乡愁、联结着浓浓乡情，是海外乡亲魂牵梦系的精神家园。近年来，濠江区以侨为桥，推进侨村建设，讲好侨村故事，凝聚侨心侨力。在最美侨村濠江区葛洲社区，一条连接古……误入伪豪门的7位女星，眼高手低，负债累累，个个一言难尽嫁入豪门曾经是娱乐圈很多女明星的梦想。因为有的人认为当明星是吃青春饭的，说不定哪天就无戏可拍，进入豪门当起阔太不用再抛头露面赚钱，走到哪儿还被各种羡慕。有的人是当明……大S终究还是错付了？具俊晔宁愿去国外工作，也不和大S跨年中年人的爱情一般都很现实，毕竟是半路夫妻，大家更多考虑的是搭伙过日子，如何获得自己享受的同时，又不用付给对方太多，一副互相防备的样子。而大S和具俊晔现在大家眼中似乎就成了这样的……埃弗顿vs利物浦！埃弗顿坚持大巴开到底，利物浦的中场有惊喜今天跟大家聊聊默西塞德郡的德比，埃弗顿和利物浦。埃弗顿现在的主帅兰帕德，大家都很熟悉，切尔西的名宿。切尔西呢，也有一个特点啊，喜欢开倒车，喜欢摆大巴。而兰帕德……吃鸡SS20手册官宣图来了！奶牛和黑猫主题，淘汰效果是它务实、不浮夸！我是你们的好朋友，微笑十倍镜。吃鸡手游和平精英在近期不仅开启了体验服的测试，而且还曝光了很多的新军需，其中最吸引人的便是SS20赛季的手册，不过遗憾的爆出的只有名……江苏黄海森林我在黄海森林，找到了一个像白雪公主居住的小木屋，每次走进房间都会迎来森林的拥抱。在这儿的早晨，我都是被林间的阳光叫醒的，鸟儿给你带来清晨的问候，推开窗户，自然的画卷徐徐展开来，……泪目！离开也是周队！广东球迷为周鹏举行欢送会周鹏作为辽宁人，代表广东队打了16个赛季的CBA联赛，帮助球队夺取了8个CBA总冠军，特别是后面3个冠军杯，周鹏起到了非常重要的作用。是周鹏成就了广东宏远，同时广东宏远也成就了……广汽集团9月销量同比增长44。3新能源销量翻番出品搜狐汽车10月10日，广汽集团发布9月产销快报，9月广汽集团生产汽车228，067辆、销售汽车237，172辆，同比分别增长41。5和44。3。19月，广汽集团累计生……号称杀神的白起为什么不让士兵吃羊肉？现在一听到白起这个名字，也许很多人都只知道王者荣耀里的强力坦克边路英雄。那么现在来教一下大家怎么玩。321，加平A，怼他就完了。扯远了，进入正题。白起乃是战国……