低光照视频实时增强系统
C++17 + FFmpeg + ONNX Runtime + LLM Agent
从低光照采集到 AI 增强再到 RTMP 推流,端到端的实时视频增强解决方案。
基于 ONNX Runtime 的深度学习推理,对低照度复合退化图像进行实时增强,支持降噪、去模糊、亮度提升。
集成大语言模型 Agent,通过自然语言指令控制视频管线,实现智能化参数调优和场景切换。
内置 RTMP 推流模块,增强后的视频可直接推送至直播平台或流媒体服务器。
基于 Qt/QML + OpenGL 的桌面客户端,支持视频墙展示、实时预览和交互控制。
提供 Docker Compose 编排,支持 GPU 加速,一条命令启动完整的 Server + Agent 服务。
Server / Agent / Client 三层解耦,通过 WebSocket + TCP JSON 通信,各组件可独立扩展和替换。
三层解耦设计,各组件职责清晰,通信协议标准化。
| 组件 | 技术栈 | 职责 |
|---|---|---|
| Client | C++/Qt, QML, OpenGL | 窗口框架 / 播放渲染 / 业务界面 |
| Agent | Python, LangChain | 智能对话 / 流媒体控制 / 进程管理 |
| Server | C++, FFmpeg, ONNX Runtime | 采集解码 / 增强处理 / 编解码 / RTMP 推流 |
| Nginx-RTMP | Nginx, RTMP Module | 流媒体中转,推流 / 拉流 |
低光照视频经过 NightLight 实时增强后的对比效果。
Docker 一键启动,或手动构建。
# 构建并启动 Server + Agent docker compose up -d # GPU 加速模式 docker compose -f docker-compose.yml -f docker-compose.gpu.yml up -d # 健康检查 curl http://127.0.0.1:19102/health
# Server cd Server && cmake -B build -DCMAKE_BUILD_TYPE=Release cmake --build build --target ServerMainCoreV2 -j 8 # Client cd Client && cmake -B build -DCMAKE_BUILD_TYPE=Release cmake --build build --target nightlight_client_v1 -j 8