互联网、大数据、新媒体的崛起使虚实现实进入了一个全新阶段，航空航天、国家安全、数字娱乐、教育体育、设计创作等重要行业领域，迫切需要利用视频图像和三维模型等可视大数据，生成工作和生活需要的虚拟场景。可视大数据驱动的虚拟场景生成已成为虚拟现实的重要发展趋势与国际前沿热点，具有挑战意义的基础难题是：如何理解和描述可视素材涉及的对象、场景、行为、事件及其属性，并且根据素材内容及其蕴含的本质特征与客观规律，构建、编辑、合成、生成行业应用需要的虚拟可视场景。
实验室围绕数据驱动的虚拟场景生成，开展了相关理论方法与共性关键技术研究，取得了四个方面的创新成果。
（1）虚拟场景自动编辑生成
针对虚拟场景高效能高保真编辑生成难题，提出了特征结构保持的场景编辑自动传播模型，克服了过渡区域颜色分裂和变异问题，计算内存开销节省了90%；提出了邻域与特征域嵌入的对象精准提取方法，解决了难以估计卷积窗口等难题，在微软公司国际公开测评系统上，2012年11月开始、持续近2年，其3项性能指标均居第一；构建了场景保角低秩稀疏表达模型，提到了场景细节修复的效果；发明了中心环绕高帽变换和高帽选择变换，提出了多尺度特征驱动的场景细节及对比度增强方法。
（2）虚拟场景自动构建生成
针对虚拟场景自动化快速构建生成难题，提出了描述光影局部对比的基本单元、边缘特征保持的对象光影分层方法，发现了对象光影分布的规律，构造了光影属性模板，仅参考单幅图像即可非模型化迁移生成图像对象光影效果，提高了生成逼真度；提出了区域聚类及渲染联合驱动的镜面和高光等反射效果快速生成方法，速度比光线追踪方法平均提高约10倍；提出了结构自适应的部件级三维模型跨类演化生成方法，提高了虚拟场景的构建效率；构建了对象及部件的三维变形模板，提出了变形模板驱动的人体及其服装三维模型构建方法，仅需单目输入图像且生成的三维人体服装模型表面细节更逼真、部件结构信息更丰富；发现了室内场景的三维构建规则，提出了仅需单幅参考图像的室内三维场景迁移生成方法；探索出了适用于互联网大数据的虚拟场景构建生成技术的新途径。
（3）可视素材自动语义解析
针对场景、对象、部件的精确语义解析难题，发明了相似图像集的监督测地线传播模型，并提出了场景自动语义标记方法，在两个公开基准数据集上取得最高准确率；提出了检测器指导的弱标注视频对象自动语义分割方法，准确率提升一倍；发现了频域显著性的模板对比度计算规律，提出了频谱级联显著性滤波器监督学习方法，突破了显著性监督学习只能在时空域进行的传统观念；发现了场景层次的5个特征线索及其组合方式，提出了基于学习推理的图像场景分层与遮挡判定方法，提高了层次解析准确率；构建了三维面片特征的深度卷积神经网络，提出了基于深度卷积网络的三维模型部件级自动语义标记方法，在公开基准数据集上的平均准确率达到92%。
（4）研制了具有自主知识产权且较完整的数据驱动的虚拟场景生成技术系统、27个工具与装置，建立了21类且超过1000万样本的数据集
部分成果已应用于飞行器视频图像内容理解及态势感知、空军航拍素材处理与飞行仿真、公共安全监控视频内容分析及推演、移动产品视频图像素材处理与合成、电影数字作品创作及其内容制作、远程教育数字内容制作与共享服务、体育运动视频分析与模拟演练、数字艺术作品设计创作及其制作等，提高了我国相关行业领域的自主制作与开发能力，产生了显著的社会和经济效益。
该成果先后得到国家863计划、国家自然科学基金等的支持。发表顶级国际会议/期刊论文和SCI(E)论文66篇，申请发明专利97项（授权65项），获计算机软件著作权27项。上述部分成果获2014年度国家技术发明二等奖、2012年度教育部技术发明一等奖。
