团队简介：主要从事计算机视觉、机器学习技术、基于计算机视觉的遥感技术与安全等领域研究。承担国家自然科学基金面上（青年）项目、江苏省自然科学基金面上项目、江苏省高等学校自然科学研究面上项目等各类基础研究项目近20项，在IEEE Transactions、CCF-A类等期刊和会议上发表高水平学术论文30余篇。
团队骨干：
研究内容：
1. 基于多摄像头场景语义关联的跨模态群体行为识别：设计基于自监督学习和交叉注意力的模态对齐和模态信息交互方法，构建缺失模态恢复机制补齐缺失信息，实现泛化、鲁棒的多模态一致性融合；基于自注意力和无监督学习提取关键人物特征，采用超图神经网络构建层次化关系，利用预训练大模型增强特征的场景语义；借助社交网络构建多个摄像头的语义关系图，利用强化学习优化摄像头的选择和关键关系，提高群体识别的效率；建立基于强化学习的反馈知识挖掘方法，实现异常行为的可信溯源，设计联邦强化学习算法实现主体的隐私保障。
结合双重注意力精炼和迭代式标签学习的弱监督物品识别过程示意图
2. 场景语义先验驱动的低光图像小目标检测方法：针对低光场下的小目标识别，研究如何迁移预训练大模型的场景语义先验，增强低光场景下小目标的特征表示能力。从低光场景难泛化、小目标判别特征难提取以及有效训练样本难挖掘等关键挑战出发，提出联合特征对齐和光照感知的多任务学习框架，建立低光图像的强泛化特征表示；提出多层次场景语义驱动的小目标高判别特征学习框架，建立小目标的高判别特征表示；构建基于编解码网络协同优化的检测模型，实现端到端可优化的低漏检检测器；最终搭建一套面向视频侦查的低光图像小目标检测原型系统。
CSP检测器的网络架构图
ALFNet检测器的网络架构图
3. 面向动态复杂数据的多投影分类方法：借助半监督学习思想，针对动态复杂的大规模数据建立一个统一框架，提出基于半监督学习的多投影判别分类模型，并结合数据复杂和动态的特性，从数据分布的角度，重点探索类别不平衡和类增量学习的问题，改善多投影判别分类模型，弥补单个分类模型无法同时解决以上两个问题的缺陷，利用多投影判别分类模型预测得到的无标记样本标签可以实现自动化数据标注的目的。
半监督多投影分类模型示意图
4. 基于知识多层次挖掘的跨模态恶意软件对抗样本抵抗方法：构建基于知识多层次挖掘的跨模态恶意软件对抗样本抵抗方案，强化恶意软件检测，缓解对抗样本攻击在恶意软件检测场景下的威胁。对恶意软件检测过程与对抗样本的知识进行多层次挖掘，建立完善的检测过程定义和评估机制，以增强检测过程的描述能力；设计跨模态特征融合检测方法，弱化对抗样本在特定特征上的效果，构建面向多源异构数据的跨模态特征融合机制；实现面向对抗增强的多目标优化检测框架。为恶意软件检测中的对抗样本攻击问题提供新思路、新算法。
基于CPU缓存的跨VM程序追踪流程示意图
5. 无人机多光谱和LiDAR协同的精细尺度森林三维物候监测：协同多时相无人机多光谱和LiDAR数据，通过设计耦合冠层生理和结构的三维物候指标，构建单木级三维物候无人机遥感高精度监测技术框架，探索种间物候差异无人机遥感识别方法和垂直分层植株物候互作遥感监测方法，从而提升林分物候时空格局刻画精度。
不同树高的激光雷达样地点云、垂直剖面和冠层高度分布统计图
基于机载激光雷达点云的深度学习回归算法Deep-RBN示意图
代表性论文：
1.Yonggang Li, Rui Ge, Yi Ji, Shengrong Gong,Chunping Liu. Trajectory-pooled Spatial-temporal Architecture of Deep Convolutional NeuralNetworks for Video Event Detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 9(29): 2683-2692.
2.Shan Zhong, Zongming Bao, Shengrong Gong, and Kaijian Xia. Person Reidentification Based on Pose-Invariant Feature and B-KNN Reranking [J]. IEEE Transactions on Computational Social Systems, 2021, 5(8): 1272-128.
3.Shan Zhong, Pengpeng Song, Lifan Zhou, Shengrong Gongand Gengsheng Xie. DAR-ILL: Double-attention Refining and Iterative Labeling Learning for Weakly Supervised Object Detection [J]. IEEE Transactions on Cognitive and Developmental Systems, 2023.
4.Chao Su, Xuhua Ding, Qingkai Zeng. Catch You With Cache: Out-of-VM Introspection to Trace Malicious Executions[C]. 51st Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN), 2021, 16-31(9):1312-1325.
5.Chao Su, Qingkai Zeng. Survey of CPU Cache-Based Side-Channel Attacks: Systematic Analysis, Security Models, and Countermeasures[J]. Security and Communication Networks(SCN), 2021, 2-3(18):952-970.
6. Chao Su, Xiaoshuang Xing, Xiaolu Cheng, Rui Guo, Chuanwen Luo. LPAH: Illustrating Efficient Livepatching with Alignment Holes in Kernel Data[J].IEEE Transactions on Computers, 2024.
7.Liu W, Liao S, Ren W, et al. High-level semantic feature detection: A new perspective for pedestrian detection[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (CVPR). 2019: 5187-5196.
8.Liu W, Hasan I, Liao S. Center and scale prediction: Anchor-free approach for pedestrian and face detection[J]. Pattern Recognition, 2023, 135: 109071.
9.Yangtao Xue, Li Zhang. Laplacian pair-weight vector projection for semi-supervised learning[J]. Information Sciences. 2021, 573: 1-19.
10.Yangtao Xue, Li Zhang, Bangjun Wang, Zhao Zhang, Fanzhang Li. Nonlinear feature selection using Gaussian kernel SVM-RFE for fault diagnosis[J]. Applied Intelligence. 2018, 48(10): 3306-3331.
11.Yangtao Xue, Li Zhang. Adaptive pair-weight vector projection classifier for semi-supervised classification[J]. IEEE Transactions on Consumer Electronics, 2023.
12.Hao Liu; Fuliang Cao; Guanghui She; Lin Cao; Extrapolation Assessment for Forest Structural Parameters in Planted Forests of Southern China by UAV-LiDAR Samples and Multispectral Satellite Imagery, Remote Sensing, 2022, 14(11): 2677.
13.Hao Liu; Xin Shen; Lin Cao; Ting Yun; Zhengnan Zhang; Xiaoyao Fu; Xinxin Chen; Fangzhou Liu; Deep Learning in Forest Structural Parameter Estimation Using Airborne LiDAR Data, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 1603-1618.
