三花快讯 · 2024, 9月13日
Reader-LM：将 HTML 数据清洗为 Markdown 的模型
在 HTML2Markdown 任务上的表现远超 gpt4o 等大模型
Reader-LM 是 Jina AI 推出的一个开源小模型，专用于将网页 HTML 内容清洗为 Markdown 格式，提供了 1.5B 和 0.5B 两种参数。
他们本身也有一个同样功能的 Jina Reader 的产品，不过其技术原理是首先使用无头浏览器获取 HTML，然后使用 Readability 提取主要内容，最后使用正则和 Turndown 清理并转为 MD 格式，但存在解析错误或误删的问题，并且维护大量的正则还要支持多语言非常痛苦，于是该模型应运而生。
Reader-LM 在 HTML2Markdown 任务上的表现远超 gpt4o 等大模型，即使是 0.5B 版本也遥遥领先，最近也有类似的需求正好可以尝试尝试。
你可以在这里试用在线演示maxiw/HTML-to-Markdown，体感上比 markdownify 的效果要稍好一些。
商业转载请联系三花微信公众号获得授权，非商业转载请注明本文出处及文章链接，您可以自由地在任何媒体以任何形式复制和分发作品，也可以修改和创作，但是分发衍生作品时必须采用相同的许可协议。
本文采用 CC BY-NC-SA 4.0 - 非商业性使用 - 相同方式共享 4.0 国际 进行许可。