中期答辩材料

一、学术沙龙与合作

  • 时间： 2024/02/23 14:00-15:00
  • 合作单位： 上海交通大学类脑计算和机器智能实验室（Brain-like Computing & Machine Intelligence, BCMI）
  • 指导专家： 郑伟龙副教授
  • 讨论内容包括但不限于：
    • 脑电波（EEG）数据的采集方式
    • 现有公开数据集的特点及优劣
    • 脑电波分类模型的能力及问题
    • 运动想象（Motor Imagery）脑电范式
    • 实时脑电采集与在线处理的经验

二、专利申请

已向专利代理机构提交专利说明书，题为 “一款基于运动想象范式的通用实时脑机交互系统”。

三、项目简介与阶段性进展

项目目标

本项目旨在开发一款基于运动想象范式的实时脑电采集、处理与反馈系统，用户可通过脑电波在虚拟现实（VR）环境中实现自由移动。

当前进展

  1. 提出了 Deformable Conformer 模型，在公开数据集 BCIC-IV-2a 上达到了 SOTA 准确率（81.71%），相比原模型参数量更小、推理速度更快。
  2. 使用 Emotiv 设备，收集并整理本地离线数据集，并通过多种模型开展实验，评估数据集与模型质量。优质数据已开源至 GitHub。
  3. 在实时在线数据中，模型准确率达到了 75%。
  4. 搭建了 VR 迷宫 Demo，完成了从数据采集到 VR 控制的全链路实时系统。
  5. 提交了相关专利申请。

四、中期检查内容

1. 已取得成果

  • 参与学术沙龙，发表论文和申请专利。
  • 完成基于实时脑电交互的 VR 系统搭建。

2. 项目进展总结

  • 离线数据集已实现高效分类。
  • 实时数据采集与处理准确率持续优化中。

五、项目问题与解决方案

存在问题

  1. 分类准确率不足：实时分类准确率约为 75%，需进一步提升。
  2. 系统响应延迟：当前 VR 系统每 4 秒采集一次信号，输出的动作粒度较粗。
  3. 跨会话一致性问题：预训练+微调不如小批量训练效果好，原因在于不同时间点的脑电信号分布差异。

解决方案

分类准确率提升

  • 实时信号预处理：去噪、滤波。
  • 数据增强：补充实时采集的小样本。
  • 模型优化：设计适用于实时信号推理的架构（如 OvR、MoE、Bagging 等方法）。

系统流畅性优化

  • 在分类准确率提高的基础上，缩短信号采集时间，提高响应速度。
  • 提升动作颗粒度，例如细化为更小的移动单元。

跨会话一致性解决方案

  • 数据标准化与归一化，进行数据校准。
  • 扩展数据规模与模型容量。
  • 结合文献研究，探索改进技术。

六、未来计划

目标时间节点

  1. 2024年7月前： 提升实时分类准确率。
  2. 2024年10月前： 加入实时情感检测与反馈机制。
  3. 2024年12月前： 优化交互体验，提升系统稳定性。

七、经费使用情况

预算详情

开支科目 预算金额（元） 前半阶段预算（元） 后半阶段预算（元）
总经费 12500 5250 7250
计算分析测试费 2000 1000 1000
能源动力费 500 250 250
会议与差旅费 3500 1750 1750
文献检索费 500 250 250
论文出版与专利申请费 6000 2000 4000

八、周进展报告

周期 进展
12.11-12.17 1. 文献调研；2. 寻找合适的开源数据集与模型；3. 初步探索数据采集与分类流程。
12.18-12.24 1. 测试 FBCNet 模型；2. 学习 BCIC 数据集使用；3. 配置 Emotiv 设备进行数据采集。
12.25-12.31 1. 解决 Emotiv 数据与标准数据集电极点位不一致问题；2. 调整数据分布方法；3. 分配寒假任务。
3.4-3.10 1. 汇总 FBCNet 与 Deformable Conformer 模型结果；2. 提交实验数据分析报告。
3.11-3.17 1. 测试本地数据集信号质量；2. 与交大专家交流学术成果；3. 完成数据与模型的联通。
3.18-3.24 1. 配置实时推理环境；2. 优化实时分类系统参数；3. 开始学习 Unity 开发。
3.25-3.31 1. 开发 VR 迷宫 Demo；2. 完成实时信号采集与分类优化。
4.1-4.7 1. 完成全链路实时交互系统搭建；2. 录制 Demo 视频。

九、技术路线

  1. 使用 Emotiv 设备实时采集脑电信号。
  2. 数据通过深度学习模型分类，输出控制信号。
  3. 控制信号驱动 VR 系统渲染并反馈给用户。
  4. 系统拓展支持实时情感反馈。