BiliNote-MCP

⚡ 快速开始•📚 文档•🎬 真实案例•🗺️ 流水线地图•0 端到端•1 下载•2 转写•3 画面•4 弹幕•5 总结•6 导出•7 音频•8 任务•🏆 最佳实践•🤝 如何贡献•🙏 致谢

# 1) 一条命令装好 Skill + MCP（插件 marketplace，uvx 自动更新） claude plugin marketplace add HuangYincan/VideoNote-MCP claude plugin install videonote@videonote # 2) 安装时 Claude Code 会逐项提示默认值（风格/转写引擎/视频理解/评论等）； # 装完在会话里跑配置向导收尾： /videonote-setup # 3) （可选）LLM-Key/B 站扫码/CLI向导 # ! videonote setup # 4) 重启会话，对 agent 说「帮我给这个视频做笔记」+ 链接

[!TIP] 四种安装方式、配置细节、更新与安全见docs/04-使用手册.md。

- 📇 文档索引
- 🏗️ 架构设计
- 📖 使用手册—— 安装（4 种方式）· 配置（setup 向导 + CLI）· 环境变量 · 更新 · 安全
- 📜 更新日志

亮点：agent_direct 全流程（无 LLM key，Agent 读转写 + 帧图 + 评论自写笔记）·多源交叉整合（视频 × 论文 × 技术报告 × 开源清单）·精修保留原稿（note.md/note_original.md双份）·LaTeX mathnote PDF（自适应修复字体缺失 / 断行溢出 / 引用去重）。完整过程记录见examples/agent-direct-deepseek-v4-mathnote/README.md。

- 雅思：破误区 + 听/读/写/口语四科拆解 + 179 高频考点词 + 15 句逻辑框架
- 法医：从业 43 年法医「拉片」对比影视与现实，精修扩为 12 节
- Transformer：自注意力机制详解，18 张截图按讲课时间线分布

完整过程记录见examples/note-generation-example/README.md。

flowchart LR A["视频链接"] --> B["下载音视频<br/>+ 平台字幕"] B --> C["语音转写<br/>或直接用平台字幕"] B -. 可选 .-> D["逐帧画面理解<br/>关键帧 → 网格图"] B -. 可选 .-> E["弹幕 + 评论区"] C --> F["素材包<br/>转写 · 帧 · 评论"] D -.-> F E -.-> F F --> G["AI 总结 → Markdown 底稿<br/>正文 + 截图 + 「观众观点」"] G --> O1["便携笔记<br/>note.md + Assets/"] G --> O2["字幕导出<br/>SRT · VTT · JSON"] G -. Agent 生成 .-> O3["创意格式<br/>思维导图 · 闪卡 · LaTeX · typst"] G -. 可选 .-> O4["基于完整字幕精修<br/>保留原版对比"]

端到端模式只给一条链接即可：generate_note异步跑完整条流水线并返回task_id；用轻量get_task_status快照轮询到SUCCESS/FAILED/CANCELLED（单进程最多 3 个进行中任务，不要在同一消息里并行提交）。cancel_note协作式取消。「AGENT 直接生成」走prepare_note_material—— 只准备素材包、不调用配置 LLM，由 agent 自己读转写、看图、写笔记。

语音转写（ASR）由generate_note内部完成：优先平台字幕（含 B 站 AI 字幕），无字幕则转写。引擎可选：fast-whisper（本地）/groq/bcut/kuaishou（云端）/mlx-whisper（macOS Apple Silicon GPU）/funasr（中文最优，VAD + 自动标点）。引擎与模型管理走 CLI：! videonote transcriber set/download；状态查看get_config()。

generate_note直接支持视频理解参数：video_understanding=True+video_interval（默认 6s）+grid_size（默认 [3,3]），把网格图发给多模态 LLM「看」画面。

generate_note加include_comments=True+comments_limit（默认 20）会把弹幕刷屏与评论区高频观点整理进笔记，新增「观众观点」章节（需 B 站 SESSDATA；抓取失败不阻断任务）。

支持 9 种风格：minimal/detailed/academic/tutorial/xiaohongshu/life_journal/task_oriented/business/meeting_minutes；format=["screenshot"]产出便携笔记（note.md+Assets/，相对引用可整体搬迁）。供应商/模型/转写器配置一律走 CLI（! videonote providers set/! videonote transcriber set），只读查看get_config()。agent_direct由 AGENT 直接生成。

机械格式用export_transcript（srt / vtt / json）—— 确定性渲染（时间轴换算），不耗 LLM，返回file://路径。创意格式（思维导图 / 闪卡 / LaTeX / typst / 用户自定义模板）由Agent 基于 MD 底稿 + SKILL 模板生成（LaTeX 内置 Math Note / English Article 模板：数学/理工科笔记风、英文文稿/演讲大纲风；typst 内置 zju-lab 模板：理工科笔记/实验报告/论文风、带 ZJU 校徽）。

merge_audio把多段录音 / 会议分段 / 多个本地视频合并为 16kHz mono wav 再转写。音频预处理（16kHz 归一 + 超长 >1800s 自动分块，可选降噪）默认关、零硬依赖。diarize_media做说话人分离（pyannote可选重依赖，需 HF_TOKEN + 模型授权）。

每任务一个文件夹note_results/{task_id}/：raw/（下载媒体）+gen/（转写/笔记/帧/导出）+ 控制文件；全局任务索引在 SQLitevideo_tasks表（含语义标题）。list_tasks枚举全部任务（按语义标题识别）、cleanup_note(dry_run=True)先查后清、cleanup_note/cleanup_all按任务 / 全局清理（默认保留配置与模型）、health_check检查 FFmpeg / 数据库 / whisper 就绪。

flowchart TB DATA["data/ 数据根"] --> R["note_results/ 任务目录"] DATA --> DB[("video_note.db<br/>SQLite 全局任务索引")] R --> T1["任务 A<br/>note_results/{task_id}/"] R --> T2["任务 B<br/>…"] R --> T3["任务 C<br/>…"] T1 --> RAW["raw/ 原始材料<br/>音视频 · 封面"] T1 --> GEN["gen/ 生成材料"] T1 --> CTRL["status.json · result.json · manifest.json"] GEN --> T1A["transcript.json 转写全文"] GEN --> T1B["note.md 成稿笔记"] GEN --> T1C["Assets/ 笔记内截图"] GEN --> T1D["frames/ 关键帧原图"] GEN --> T1E["srt / vtt / json 字幕导出"] DB -. 索引 .-> T1

- 学习备考：端到端 + 视频理解 + 基于字幕的后续优化，把课程讲透。
- 会议纪要：merge_audio合并分段录音 →diarize_media说话人分离 →meeting_minutes风格。
- 讲座精读：端到端生成后，agent 基于完整字幕精修、按章节补齐细节。
- 视频赏析：开启弹幕 + 评论整合，笔记含「观众观点」章节。
- 端到端：一条链接用generate_note（下载/转写/总结/评论全流程内部完成）；只准备素材用prepare_note_material。
- 真实案例：完整案例过程记录见examples。

- 功能分支 → PR →dev（CI 冒烟必须绿）；dev稳定后 PR →main（保护分支，需 review）。
- 流程、分支命名与提交前自查见CONTRIBUTING.md。

感谢社区与所有贡献者，感谢Glama对 MCP server 的收录，以及所有开源依赖与上游流水线项目的启发。

Fetch and summarize YouTube videos by extracting their titles, descriptions, and transcripts.