视觉质检
定义
视觉质检（Automated Visual Inspection）是利用计算机视觉技术，对产品表面缺陷、尺寸偏差、装配错误等进行自动化检测，替代或辅助人工目检。
演进路径
| 阶段 | 技术方案 | 优点 | 局限 |
|---|
| 人工目检 | 人眼 + 灯箱 | 灵活、适应性强 | 效率低、主观性强、疲劳误判 |
| 传统CV | 边缘检测、模板匹配、blob分析 | 规则明确、速度快 | 对光照/角度敏感、无法应对复杂缺陷 |
| 深度学习 | CNN（YOLO/ResNet/EfficientNet） | 泛化能力强、可检测复杂缺陷 | 需要标注数据、黑盒难解释 |
| 大模型视觉 | 视觉基础模型（SAM/GPT-4V） | 零样本/少样本、自然语言交互 | 推理成本高、实时性不足 |
典型缺陷类型
| 缺陷类别 | 示例 | 检测难度 |
|---|
| 表面缺陷 | 划痕、裂纹、凹坑、锈蚀 | 中等（需高分辨率） |
| 外观缺陷 | 色差、污渍、涂层不均 | 中等（需色彩校准） |
| 装配缺陷 | 缺件、错位、反装、多装 | 较低（形状差异明显） |
| 尺寸偏差 | 超长、超短、变形 | 较高（需精密标定） |
| 焊接缺陷 | 虚焊、漏焊、焊瘤、气孔 | 高（需特定成像） |
数据挑战
1. 缺陷样本少
- 正常品占 99%+，缺陷品极少 → 类别严重不平衡
- 解决方案：数据增强、生成对抗网络(GAN)、少样本学习
2. 长尾分布
- 常见缺陷有大量样本，罕见缺陷几乎没有
- 解决方案：分层检测策略（常见缺陷→专用模型，罕见缺陷→大模型）
3. 光照与角度变化
- 产线光照不均、产品姿态变化
- 解决方案：结构化光源、多角度成像、数据增强
方案设计（端到端流程）
数据采集 → 数据标注 → 模型训练 → 模型评估 → 边缘部署 → 结果反馈
│ │ │ │ │ │
相机/光源 标注工具 PyTorch mAP/召回率 工控机/GPU MES/[[QMS-质量管理系统]]
1. 数据采集
- 相机选型：工业面阵相机（静态检测）、线阵相机（连续检测）
- 光源设计：环形光、条形光、同轴光、背光
- 触发方式：传感器触发、编码器触发
2. 数据标注
- 工具：LabelImg、CVAT、Labelme
- 标注类型：分类标签、边界框(BBox)、语义分割、实例分割
- 标注规范：缺陷等级、缺陷位置、缺陷面积
3. 模型训练
- 分类模型：正常 vs 异常
- 检测模型：YOLO系列（实时）、Faster R-CNN（高精度）
- 分割模型：U-Net、Mask R-CNN（精确缺陷区域）
4. 边缘部署
- 硬件：工控机 + GPU（RTX系列）、Jetson边缘设备
- 推理优化：TensorRT、ONNX Runtime、模型量化
- 性能要求：通常需要 < 100ms/张的推理延迟
5. 结果反馈
关联指标