作者ZMTL (Zaious.)
看板AI_Art
标题[LLMs] 使用AI工具整理逐字稿？
时间Thu Aug 24 15:21:25 2023
不知道有没有版友愿意讨论一下这部分的心得，原本我以为很简单实际上意外的困难。
目前做法：
使用Word听写功能得到Word版的逐字稿(准确率大概7成)
然後用GPT4-8k Model下以下的Prompt:
{"role":"system", "content": "你是位专业的逐字稿整理师"},
{"role":"user", "content": "我会给你一份(主题说明)的讲座纪录，
请你帮我整理逐字稿，除了修正错字赘字外尽可能保留原本的用词。"},
实际问题：
1.GPT4目前只有8k，最多只能进4000tokens(约2500中文字)回4000tokens，
GPT3.5有16K，但幻觉很严重。
等於一次大概只能处理15分钟左右的逐字稿。
(不然就是等GPT4-32K开放)
2.目前我怎麽调Prompt都很容易进4000tokens回1500tokens，把逐字稿内容删减的太过头
其他选择：
OpenAI Whisper AI
好像无法区分讲者，所以我没试
有没有人专案上做过相关尝试或研究的？感谢
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.124.87.90 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/AI_Art/M.1692861690.A.A46.html
1F：推 AlanCloud: whisper不能区分讲者，你试试看用时间轴分，然後用其他 08/24 16:09
2F：→ AlanCloud: 可以分辨讲者的辨识也定义时间轴比对看看？ 08/24 16:09
3F：推 olctw: Whisper 产生的字幕档案搭配编辑软体已经相当准确与省下很 08/25 06:24
4F：→ olctw: 多时间，搭配影片区分应该还算容易 08/25 06:24
5F：→ ZMTL: 我的需求是从一段纯语音对话内容整理资料 08/25 12:13
6F：→ ZMTL: 刚刚用电脑跑Whisper Large模型，准度还不错，但无法辨识讲 08/25 12:13
7F：→ ZMTL: 者导致整理有点麻烦 08/25 12:14
8F：推 Supasizeit: 竹子稿一个字都不能错哩，所以还不是要重听重修 08/25 12:33
9F：→ Supasizeit: 我上次是整理论坛，ChatGPT 可以从语意中判断某段话 08/25 12:34
10F：→ Supasizeit: 谁讲的，蛮厉害的 08/25 12:34
11F：推 cgjosephlee: 长文本可以参考langchain map reduce summarizatiin 08/25 12:50
12F：→ cgjosephlee: 调整一下prompt 後3万字的总结效果也不错 08/25 12:51
13F：→ cgjosephlee: 我有写了个网页做这个 提供给你参考 08/25 12:51
15F：→ cgjosephlee: STT分讲者可以搜寻diarization, whisper.cpp 有实验 08/25 12:51
17F：→ cgjosephlee: 有兴趣我们可以再讨论，希望有帮上忙 08/25 12:51
18F：推 rent2ez: Vocol.ai怎麽做成可以分析讲者的阿？ 08/26 01:17
19F：→ rent2ez: 它不是也用chatgpt api吗？ 08/26 01:18
20F：→ ZMTL: 感谢讨论，我之後研究一下 08/26 11:35
21F：→ ZMTL: 我目前使用相当硬干的方式完成我的需求 08/26 11:36
22F：→ ZMTL: 1.提取Word转录的讲者 2.配对到Whisper逐字稿文本 08/26 11:36
23F：→ ZMTL: 3.把逐字稿文本每一段分开请GPT4修整精简 08/26 11:36
24F：推 andersonhaha: 用 Langchain 写了一段 audio to text/summary 08/27 08:41
25F：→ andersonhaha: 使用 gpt-3.5-turbo-16k 来处理 08/27 08:41
28F：推 venroxas: Azure的认知服务应该有机会解决 08/28 21:36
29F：→ ZMTL: @cgjosephlee 感谢，我正在阅读你的Langchain方法，很有帮助 08/29 15:19
30F：→ ZMTL: @andersonhaha 想请问这是部属在伺服器上的?不然我怎麽可以 08/29 15:20
31F：→ ZMTL: 连上去?好酷，不知道方不方便学习整个专案的建置 08/29 15:21
32F：→ ZMTL: @rent2ez 看了一下，有人用whisper ai实现辨识讲者，但不是 08/29 15:54
33F：→ ZMTL: openai原本模型有的能力，是另外挂了音调辨识的模型上去 08/29 15:55
35F：推 andersonhaha: 最近学的Langchain 程式，连结 whisper，在 strea 09/03 19:34
36F：→ andersonhaha: mlit 部署就可以直接使用了。只是Prompts 内容无法 09/03 19:34
37F：→ andersonhaha: 让使用者自填 。 09/03 19:34
38F：推 sajanny: 这是我最近在用的，逐字稿内容浓缩的还不错 09/24 05:41
40F：推 ping40336: Vocol.ai很赞欸 错字率低，也可以汇出Srt.txt档，方便 11/10 22:38