04 NOTES
文件夹内容
初次测试
如果你足够幸运来到了这一步,你可能发现测试结果不尽人意,这是非常正常的。下面列出几个最可能踩的坑,不过具体问题还需根据具体情况分析。 数学公式渲染失败 应该90%的人都会遇到这个问题,manim的公式渲染依赖LaTeX,需要先下载LaTeX渲染器。建议使用MiKTeX,他是轻量版的LaTeX 工具链发行版,此外,如果你希望在电脑中渲染LaTeX你还需要perl。 生成内容极其简陋甚至没有manim 这一般是前期的planner出现问题导致的,ai可能直接硬编码了planner的角色,这会导致后期调用工具时根本没调用manim。正常来说应该角色之间相互分离,分别调用api,有各自专属的promp...
链路的链接与闭环
请先完成链路的链接与闭环然后再继续阅读。 在阶段一完成之后我们谈到剩余几个问题: 前端仍然是 mock 数据 console-demo.ts 里写死了项目状态、阶段、任务、事件、Agent、产物等数据。 前端和 backend 还没有真正接线 目前 README 也明确说当前版本优先验证页面壳、布局切分、组件职责和 API 接线点。 Worker 执行器还没有真正成为主链路 后端能接收 worker.progress / blocker / result,但真实 Manim Worker / HTML Worker / Reviewer 还没有被统一执行器调起来。 Context Packet...
现状分析
请先完成链路的链接与闭环,初次测试,tts然后再继续阅读。 在初次跑完之后是时候来复盘仓库和效果了: 1.
tts
请先完成链路的链接与闭环然后再继续阅读。 在第一阶段形成的闭环中主要是针对视频生成,在生成完视频之后还需要配音字幕等角色,我们使用tts进行配音,即文字转语言模型。这里有两种思路,如果对音色要求不高可以找ai腔的音频,这种音频满大街都是,我们主要讲解另外一种思路。 这里需要用到F5-TTS和ffmpeg,自行下载即可。 F5-TTS是一种快速克隆声音、生成几段配音的配音方案,如果需要更精确克隆声音可以使用开源软件GPT-SoVITS,不过他需要GPU进行训练。 我们以F5-TTS为例,需要准备一段角色原声音频和对应的参考文本,然后完成第一次配音测试,可以看到,他直接只是用F5-TTS和ffmp...
