Skip to content

蝉大师总结

蝉管家/蝉剪

  • 常规业务开发 业务领域对象设计
  • 直播录制:分段录制和存储,解决录屏大面积丢失问题
    • 录制的 MP4 要先转 TS 存储,使用的时候再合并转 MP4 的原因:MP4 文件结构复杂,直接合并会导致索引、时间戳错乱,播放异常;而 TS 是流式容器,支持无缝拼接,合并简单且稳定
  • 直播切片裁剪:解决裁剪时音画不同步:ffmpeg 的 -ss 放输入参数后
    • 相关代码参考:supercontrol/cmd/videoclip/videocut/cutter_with_fragment.go
  • AI 排班
    • 通过 AI 人脸识别技术,能够自动分析直播间中不同主播的出现时间,实现智能化的主播排班管理功能
    • I 帧(视频关键帧)拿到视频里所有关键帧的位置:ffmpeg -i input.mp4 -vf "select='eq(pict_type,I)'" -vsync vfr keyframes_%03d.jpg
    • YOLOv8 目标检测框架:视频/图片 --> YOLOv8 检测人脸框 --> face-alignment 做人脸对齐 --> 提取人脸特征向量(ArcFace 等) --> 人脸比对/识别
  • 录屏侦探
  • 数据分析数据开发,涉及:并发控制、SQL 优化、数据库连接(3 个参数)、三方接口性能优化(缓存)
    • 三板斧:缓存 日志监控 性能分析
  • 服务部署 Jenkins/Kubernetes
  • GRPC 服务访问内部系统 CAS/统一支付网关

蝉镜/蝉镜直播/蝉鸣

  • 视频合成流程 分布式锁、异步任务调度、限流
    • 弹性扩容缩容:HPA 是 K8s 内置的水平自动扩缩容机制,默认基于 CPU/内存,也能配合自定义指标做业务维度的弹性调节
  • MCP:参考https://mcp.chanjing.cc
  • 服务部署 gitlabCI/CD+argoCD+k8s
    • 配合 CI/CD 做过 GitOps 流程,部署走的是 ArgoCD 自动同步
    • devops k8s 集群日常维护
    • 熟练掌握 K8s 中 Deployment、Job、Service、Ingress、ConfigMap 等核心资源的编排与优化;
  • OpenAPI 设计,webhook,常见的鉴权方式 aksk,accesstoken,apikey
    • 多租户 越权访问
    • 限流
    • 接口可观测性(监控/审计/追踪)
    • 签名机制、幂等控制、沙箱测试环境、自动化文档、细粒度权限体系、调用链追踪
  • 数字人克隆 唇型驱动 torch ffmpeg 虚拟摄像头 a-roll/b-roll
    • 分镜 A-roll B-roll
  • 直播服务架构:客户端-> API 端 -> 网关(直播服务调度器) -> 直播服务
  • 直播互动 链路追踪 OpenTelemetry 口播/文字回复
  • AI 基础设施中台搭建
    • 鉴权方式设计:AK/SK(AccessKey / SecretKey):偏向服务间调用
    • 音视频服务
    • 数字人合成/唇型驱动服务

出海

  • n8n,zapier,make 工作流平台接入
  • motion 图生视频, tts/stt/声音克隆, comfyui 文生图,换脸能力接入,GPT 能力接入(脚本)
  • 视频翻译:音频分离/音色克隆/音频转录/翻译/TTS 生成/字幕打轴/音视频变速/唇型驱动/视频合成
  • 商品采集,url2video 能力
  • 消息通知系统 站内 push 事件驱动架构???