军工，视觉，应用

　　纪雯，博士、研究员、博士生导师、IEEESeniorMember。
　　2003年、2006年分别于西北工业大学电子信息学院通信与信息系统专业获得硕士和博士学位。2007年在中科院计算所从事博士后研究，出站后继续留所从事研究工作，2010年聘为中科院计算所副研究员，2017年聘为中科院计算所研究员。
　　近年来主要研究领域为信息编码与多媒体通信网络。
　　作为项目负责人和技术骨干参加了国家自然科学基金、中科院创新工程项目、国家863计划等多项课题的研究。2009年赴香港理工大学、2014年赴美国普林斯顿大学进行学术访问。在国际国内期刊和会议上发表论文多篇，申请多项专利。
　　研究成果获2015年北京市科学技术奖二等奖、2016年北京市科学技术奖二等奖、2016年中国专利优秀奖、2017年CCF科学技术奖技术发明一等奖等。
　　信息编码与多媒体通信网络，涉及视频编码、视频传输、无线视频通信、信道编码、联合信源信道编码、信息论和优化方法等
　　在和201讨论合作，这种单位建立合作周期是按年算的，最快的方法是，这些单位先给个预研项目，研究以后要用的某个新的技术，之后进去，这个会容易些。否则就是产品级，做很多竞品测试。
　　可以调研一下现在我们国家武警装备，对比美国类似这种的装备，然后看哪些是美国有，中国没的，其中又需要视觉或视频信号的设备。做这个调研。
　　调研应用场景
　　混合现实近战护目镜
　　无人机作战
　　机器人，配送、化工安全检测
　　需要清楚，我们能做什么，我们的优势是什么？中美差距在哪儿？哪些是迫切解决的、不惜代价解决的问题？
　　生产力中心，所有的无人机、无人船、无人车都在这边。科技部重大科技专项。
　　美军将大量装备混合现实护目镜，步兵也逃不过IVAS，美利坚的战争意识到底有多强
　　2023032102：07：20
　　关键看国内竞品，这个技术难度不够高，国内应该有竞品
　　美军坦克也要换眼睛，新的视觉系统信息化是王道
　　美军的NGSW新枪高膛压不是重点，新的火控瞄准套装才是主角
　　在经历了一些技术困难和生产延误后，陆军的一部分单位将在2023年开始使用最新的混合现实近战护目镜。该护目镜是耗资220亿美元的综合视觉增强系统（IVAS）项目的成果之一，旨在使地面作战人员获得以往只有战斗机飞行员才享有的态势感知能力。
　　混合现实护目镜集夜视仪、训练任务增强工具、瞄准装置、无线链接和目标捕获整合装置于一体。据悉，陆军将在今年装备这款护目镜的两种型号，分别是5000具IVAS1。0型和5000具IVAS1。1型。
　　混合现实技术是虚拟现实技术和增强现实技术的融合发展，具有良好的虚实交融的真实感，已经成为军事相关领域的研究热点。在过去的三年里，美国陆军在微软公司HoloLens虚拟现实护目镜的基础上，增添了多项先进技术，以获得一种适合野外使用的装备，来完成官员们认为未来战斗所需的全部高科技工作。
　　事实上，美国陆军最初的计划是在2021年底部署IVAS护目镜，后来又将最后期限延迟至2022年9月。对此，美国官员表示，这样的延迟是有必要的，他们需要时间想出新的方法来提高护目镜的夜视质量，与此同时还要具备对该护目镜的成功至关重要的先进混合现实功能。
　　真实虚拟连续体示意图
　　美国陆军于2018年首次授予微软一份价值4。8亿美元的合同，用于制造先进智能护目镜的原型，称为集成视觉增强系统（IVAS）。尽管智能护目镜看起来很像微软市售的HoloLens增强现实（AR）耳机，但陆军要求IVAS做得更多。2021年，美国陆军与微软签订了价值220亿美元的合同，为其士兵打造类似HoloLens的智能护目镜。据《商业内幕》报道，一年多后，智能护目镜项目一直受到延误和性能问题的困扰，在美国陆军进行的一项测试中，六项要素中有四项未能通过。
　　据一位了解情况的微软员工说，在当时的操作演示中，该设备在六次评估活动中的四次出现了失败。据这名员工称，批评意见包括，该设备的显示屏发出的光芒在数百米外都能看到，这可能会暴露佩戴者的位置。测试人员还发现，戴上护目镜后，士兵的视野包括周边视野都受到限制，而且设备的体积和重量限制了士兵的行动。
　　MR，是英文MixedReality两个单词的缩写，中文翻译为混合现实。混合现实技术通过在在现实环境中引入虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感，具有真实性、实时互动性以及构想性等特点。
　　MR是一个快速发展的领域，广泛应用于工业、教育培训、娱乐、地产、医疗等行业，并在营销、运营、物流、服务等多个环节得到充分应用。混合现实涵盖计算机增强现实技术（AR）的范围，与人工智能（AI）和量子计算（QC）被认为三大未来将显著提高生产率和体验的科技。随着人类科技的迭代发展，尤其是5G网络和通信技术的高速发展，各行各业都将大规模应用MR技术。
　　在国际上，美国多部门部署VR研发计划，美国政府一直非常重视VR技术的研发与应用，国家科学基金会、国防部、国家航空航天局、交通部等部门均部署了一系列虚拟现实研发计划。在欧洲，欧盟H2020计划也开展了多项虚拟现实研究，主要研究方向涵盖虚拟现实硬件技术、虚拟现实软件技术、虚拟现实行业应用等，具体行业应用领域包括军事、国防、医疗、教育、房地产、体育、文化遗产等领域。
　　同时，MR技术所涉及的应用领域也在逐渐增加，MR技术与传统行业的结合，如MR教育、MR金融、MR工业等等，也已经拥有了诸多成功的落地场景。美军视觉增强系统（IVAS）是根据美国2018年《国防战略》确定的陆军技术革新项目，目的是将武器观瞄信息、位置（GIS）信息、通信信息、指控信息、情报信息、态势信息等一系列关键信息显示技术系统集成到单个设备中，以为士兵提供战斗、演练和训练的统一平台。
　　佩戴IVAS原型设备的士兵，枪口下方的黑色物体为摄像头
　　混合现实（mixedreality，MR）技术提供了一种真实世界和虚拟世界的融合环境，其最终目标是实现虚拟信息与现实世界的完美融合和实时交互，作为辅助技术，提高用户的任务认知能力和态势感知能力，是虚拟现实（virtualreality，VR）技术和增强现实（augmentedreality，AR）技术的进一步融合发展。
　　美军士兵正在测试IVAS护目镜样品
　　1966年，IvanSutherland发明了世界上第一个头盔显示器，并在2年之后创建了第一个增强现实系统，同时也是第一个虚拟现实系统。但是由于技术条件的限制，该系统只能融合显示简单的线框模型，用户体验不佳。随着计算机图形学、机器视觉等关键技术的不断进步，MR硬件设备和软件系统持续改善。
　　过去一百年来，坦克、战斗机和舰船不断出现革命性的发展，但陆军尤其是现代步兵的装备却一直停滞不前。美国陆军认为，IVAS（集成视觉增强系统）是步兵在21世纪所需的飞跃性技术。IVAS是围绕微软HoloLens2增强现实护目镜构建的多功能集成化系统，包括了坚固耐用的平视显示器（HUD）、线缆、冰球（puck）电脑背包、可穿戴电池、队内通讯设备以及充电器。
　　IVAS增强现实作战护目镜与战斗机的HUD非常相似，将关键信息投射到士兵视野中。拥有IVAS的士兵能够看到队内其他人的位置、战场上的置顶路径、地方阵地和其他数据，还能够从附近的夜视设备接收包括低光和热瞄准系统的信息。士兵可以通过安装在车体上的摄像头看穿他们乘坐的车辆墙壁，或者查看战场上空飞行的无人斤信息。IVAS甚至可以让士兵使用夜视与高级瞄准和杀伤力辅助系统（ATLAS）正确识别远处的敌军。
　　士兵用ENVGB夜视仪和兼容的步枪瞄具引导瞄准火力
　　此外，美国陆军还在部署增强型双筒夜视仪（ENVGB，EnhancedNightVisionGoggleBinocular），这是新一代的图像增强夜视仪，不仅能够提供立体的夜视功能，还可以无线连接到安装在武器上的夜视瞄准具。例如，拥有ENVGB套件的士兵可以将武器举过墙壁，瞄准目标并开火，避免将自身直接暴露在火力之下。
　　1997年，美国海军陆战队作战发展司令部概念司提出，城市将成为未来军事行动的主战场。城市分队的作战人员所处的环境较为复杂、混乱，对态势感知能力的需求较为迫切。美国ARA公司发布的ARC4军用增强现实软件系统一定程度上提高了分队人员的城市作战态势感知能力。ARC4集成了ARC4传感器组件的DARPAULTRAVis头盔套件，安装在增强型夜视镜上的ARC4头部跟踪传感器是ARC4系统用户界面。该引擎具有士兵户外位姿跟踪、地理配准信息的表达与可视化以及网络通信管理等功能。通过融合GPS、惯导、气压和DEM等数据，具有较高的地理配准精度，同时能够完成配准精度的实时在线评估。
　　ARC4系统用户界面
　　而2015年问世的微软HoloLens，带来了全新的混合现实体验。
　　微软发布的HoloLens全息眼镜
　　2021年的美国陆军官网发布的新闻稿称，IVAS旨在将多种技术整合到统一架构下，士兵可以借助同一平台作战、演习和训练。通过把现有的高分辨率夜视系统、热成像系统和单兵传感器集成到一起，美军地面部队捕捉目标和进行明智决策的能力有望压倒当前和今后的对手。
　　IVAS并非全新开发的产品，而是微软旗下HoloLens增强现实系统的军用衍生版本。早在2016年，该公司就开始面向民用市场销售第一代HoloLens系统。这也成为外界批评美国陆军的新合同无节制烧钱的由头。美军当时解释称最初的测试版IVAS确实是由民用HoloLens简单修改得来的，但它们在军事任务中的表现不够好，特别是难以在大雨中正常工作。此后，美军联合微软开发了代号能力级3的最新版本，并于2019年投产；其性能更强、成本也更高。
　　苹果也曾收购多家VRAR领域公司英国实体店AR活动UnitedVisions来源：苹果官网
　　美国陆军并没有从微软购买HoloLens，而是希望它将多种技术捆绑到一个平台中，供士兵用来训练、排练和战斗。这将要求头戴式设备包含高分辨率夜视、热传感器和车载传感器，以提高态势感知和目标参与度，而机器学习能力与AR相结合则提供逼真的训练环境。根据协议，微软计划在10年内交付120，000台IVAS设备，总价近220亿美元。
　　混合现实技术具有情景交融、真实感强，和沉浸感强的特点。MR可视化环境中包括了虚拟世界和现实世界，既需要VR技术的支持，也需要AR技术的支持。因此，MR系统具备场景采集系统、场景建模系统、场景注册系统，和成像系统4个基本子系统。
　　典型MR系统结构框图
　　当前的军事训练领域，存在着4个突出的矛盾：训练场地上的矛盾，各种装备间的战术协同矛盾，军事训练和安全性问题的矛盾，和训练成本和训练效果的矛盾。混合现实辅助训练可以在提高训练效果的同时，节省成本并确保士兵的安全，从整体上提高军事训练的效率。
　　早在2005年，美军就已经拥有了第一个意义上的MR士兵辅助训练系统HughesCE等开发的MR士兵训练系统。该系统使用的是头戴式显示器，士兵在训练过程中，可以感受到真实环境中的光线、声音，甚至百叶窗的变化，与计算机制造的虚拟对象在虚拟任务环境下作战一致，实现了概念意义上的混合现实。利用该系统进行训练，能够有效地提高士兵的战术素养、降低训练成本。最近的一个应用案例则是2019年，美国海军宣布引入微软高端MR眼镜HoloLens2用于军事训练辅助，在确保安全性基础上提高士兵军事素质和技战术水平，同时节约成本。
　　HoloLens的MR单兵训练辅助系统
　　像不像现在玩的游戏，没错，以前误人子弟的游戏成了战力的加成器，所以永远不要小瞧爱玩游戏的人，特别是喜欢整狠活的玩家！
　　去年十月，美军士兵项目执行办公室指挥官克里斯托弗施耐德（ChristopherSchneider）准将说，美国陆军将在明年交付5000个综合视觉增强系统（IVAS）1。0版本和另外5000个综合视觉增强系统（IVAS）1。1版本。以前的预算报告显示，美国陆军将购买4万台或更多的该设备。该项目曾几经波折，2021年10月12日，综合训练环境跨职能小组主任威廉格拉泽准将告诉《简氏防务》，陆军采购、后勤和技术部（ASAALT）助理部长办公室暂停了部队的集成视觉增强系统（IVAS），以重新确定项目的时间表和技术成熟度。
　　供电的保形可穿戴电池（CWB）看起来就像一片防弹插板
　　1。0版本和1。1版本综合视觉增强系统（IVAS）的联合实战比之前计划的2022年9月的首批部队装备日期有所延迟，而之前的另一个初始实战计划是在2021年底。但据美国陆军官员称，短期的拖延对于确保士兵接受该设备至关重要。施耐德说：在综合视觉增强系统（IVAS）准备好之前，我们不想急于将其投入使用。
　　美国陆军将把5000台综合视觉增强系统（IVAS）1。0设备送到训练与条令司令部下辖的单位，如机动卓越中心，用于训练和实验。另5000台综合视觉增强系统（IVAS）1。1设备将提供给尚未确定的作战单位，可用于驻军、野外训练和作战部署。诸如美第82空降师、第75游骑兵团和第101空降师等单位，由于其独特的任务，往往会首先得到这种技术。
　　映维网Nweon3月16号报道：美国陆军办公室士兵战士项目经理特洛伊德诺米（TroyDenomy）上校说美国陆军库存中没有一个系统能够为士兵提供像IVAS这样的一系列选择。它的变革性和颠覆性技术在世界任何地方都不存在。我们完全致力于IVAS。我们将为我们的士兵提供最佳版本的IVAS，帮助他们成功执行任务。
　　报道还称基于微软HoloLens的IVAS将改变士兵作战和训练的方式。这个全新的系统结合了昼夜全天候作战护目镜和混合现实平视显示器，可提供下一代态势感知工具和高分辨率模拟，从而提高士兵在作战环境中的机动性和杀伤力。IVAS可以通过传感、绘图和计算改进士兵的任务规划、决策和瞄准能力。
　　IVAS在2022年6月完成了作战测试。期间，士兵们在连级任务和实弹演习中使用IVAS1。0系统进行训练。与所有评估一样，美国陆军在确定重点改进领域的同时掌握了系统的基线能力。美国陆军认为IVAS成功地展示了它的作战潜力能力，但有三个方面阻碍了士兵的接受：可靠性、微光传感器性能和形状参数。参试士兵曾反映该系统耗电快，脱离载具（载具上有充电口）单独作战的话撑不了多久，而且原本设计用于在市内常规环境下使用的先进头盔，在实战测试中经常出现问题，温度稍一变化就会发生故障。集成了大量功能的护目镜变得非常重，参与测试的士兵普遍反映脖子累，无法长时间作战，转动脑袋都困难。
　　上战场要多带充电宝
　　美国陆军及其行业合作伙伴微软利用从测试中吸取的经验教训来解决问题并调整其部署计划。尽管对部署时间表进行了修订，但IVAS的开发过程将会比标准采办项目提前数年部署。作为项目主要承包商，微软公司也因为和美国军方走得太近而受到舆论压力。2019年，美国TheVerge网站曾曝光，有员工致信该公司执行机构，要求停止与军方的合作，理由是这个项目有助于将战争变成电子游戏，而且会让美国武装力量变得更加致命。
　　真的带了充电宝
　　据美军的宣传IVAS系统视野广阔，目镜视野可达8040度。内置的抬头显示器可以显示实时位置、数字3D地图，这对于复杂地形条件下的作战非常有效。通过计算机的空间计算以及对战场的激光扫描，士兵可以借助显示器对于整个战场有着更好的感知。IVAS系统的头部组件还携带了摄像机，由摄像机采集的视觉信息可实时上传，以作为指挥部的参考信息。与依靠无线电通信的传统指挥手段相比，视觉信息更具冲击力，更能体现战场真实环境。交互系统不仅可以实现人与IVAS系统的交互，更可以实现各个IVAS系统的交互以及IVAS系统与中枢节点、不同武器装备的交互，从而实现物联网技术在战场上的应用。
　　负责监督IVAS开发的美国陆军办公室士兵战士项目经理特洛伊德诺米（TroyDenomy）上校表示。我们正在利用快速原型设计和快速部署的灵活性来解决评估过程中发现的问题，并以创新和高效的方式进一步开发IVAS。
　　到目前为止，美国陆军已经进行了30多次士兵测试活动和100多次技术子测试，1千多名士兵为IVAS贡献了近10万小时的用户反馈。随着美国陆军开发IVAS1。2，这一过程将继续进行，并利用相关反馈完善形状参数的重新设计，在提高与其他平台的兼容性同时实现更平衡的重心和更少的视觉障碍。据曾参与测试的一位战车乘员的描述IVAS的出现彻底改变了作战方式，我们再也不用冒着危险把身体探出车外来看看发生了什么。在测试期间，IVAS与安装在战车上的摄像机结合，让车厢中的士兵能够穿透装甲看到战车外面的情况，这种功能与战斗机上的分布式光学孔径系统（DAS）十分接近。
　　另外，IVAS提供了一个可以提高态势感知、边缘战争计算以及与美国陆军综合战术网络集成的战术云包（TCP）。它同时将允许小队和士兵在战术边缘访问基于云端的人工智能机器学习工具。相关功能为士兵提供了更多的参考信息，以便他们做出明智、及时的决策，并提供了几乎无限的扩展机会。
　　F35飞行员头盔系统示意图
　　从接收小型无人驾驶系统的视频和数据，到与地面和空中平台传感器集成，美国陆军在演习中展示了IVAS在战场上的多种不同使用方式。
　　《大众机械》杂志网站分析认为，IVAS这类系统的作用在于让士兵更便捷地获得作战数据，它与战斗机飞行员的头盔显示器类似，都是在头戴式护目镜上投射信息。同时，IVAS还拥有夜视和红外摄像机，可以让使用者在夜间或透过烟尘等遮避物看清周边情况，并且识别和标记出不同类型的目标。通过进一步升级软硬件，IVAS今后还将具备人脸识别能力，有助于快速分析潜在威胁；在混乱的战场环境下，这项机能比依靠人眼识别更可靠。
　　配备IVAS系统的美军士兵在严寒中测试设备
　　美国陆军于2022年12月将IVAS1。2技术优化工作授予微软，而所述设备预计将于2024财年末投入生产，并最早从2025财年第4季度开始部署到作战部队。
　　大多数近战部队将获得IVAS1。2。除了可靠性和微光传感器升级外，这一版本同时改进了形状参数，以及提供分布式配重的低姿态平视显示器，从而改善用户界面和舒适度。总的来说，美国陆军计划部署大约12。15万台IVAS系统，并将其作为近距离作战士兵的标准装备。
　　日本VR成人展
　　不知道大家有没有发现什么不对，东亚某国用新技术看小电影，文明古国用信息技术带货，而美帝使用的新技术都往战斗上靠拢，关于这一点欢迎大家评论！
　　美海军陆战队无人机将装备视觉探测和测距系统执行ISR任务
　　日期：20220404
　　据英国无人系统技术网，2022年03月16日报道，美国海军陆战队与澳大利亚Senient视觉系统公司签署了一份无人机海上视觉探测和测距（ViDAR）系统合同。该产品可应用于海军陆战队中高空远程无人机系统执行情报、监视和侦察（ISR）任务，在两栖作战期间收集情报并增强态势感知能力。
　　ViDAR使用基于人工智能与深度学习的感知人工智能技术，通过光电或红外（EOIR）传感器对操作员或传统雷达难以探测到的图像流中的目标进行自动检测、定位、跟踪和分类，比如水中如人头大小的物体或隐形舰艇。针对海况6下的小目标第一次通过时的检测概率大于96，搜索范围也比没有配备ViDAR的无人机或有人机大300倍。
　　该合同还包括系统与机载平台的集成以及海上的能力验证，美海军陆战队将视试验情况确定是否扩大部署规模。