威客电竞新闻中心

威客电竞体育官网,IBM和Hugging Face联合开源多模态小模型SmolDocling

2025-03-23 13:11:30
浏览次数:
返回列表

  在今年年初麻省理工科技评论将小模型(Small Language Model)评为2025 年十大突破性技术之一,认为随着大模型的边际收益逐渐减小,小模型有望在特定任务中媲美甚至超越大模型。而最近小模型圈子的一系列成果,都在印证这个趋势——从谷歌的 Gemma3、微软的 Phi4-mini 再到 Mistral 的 Small 3.1……小模型一天比一天精悍。

  最近 IBM 和 Hugging Face 的研究人员又联合推出了一个新的小型视觉-语言模型 SmolDocling,这款专为文档转换任务而设计的模型,居然只用 256M 的参数就在各项基准测试上超越了更大规模的其他模型。

  SmolDocling 基于 Hugging Face 的 SmolVLM 架构,可以处理整个页面的内容,并通过生成“DocTags”(一种新型通用标记格式)精确捕捉页面元素及其位置和上下文信息。与依赖手工制作的流水线或大型基础模型不同,SmolDocling 采用端到端的转换方法,只需 256M 参数的规模就能准确捕获文档元素的内容、结构和空间位置。研究团队称,它在各种文档类型中都表现出色,包括商业文档、学术论文、技术报告、专利和表格等,能够正确再现代码列表、表格、方程式、图表和列表等多样化文档特征。

  在公式识别方面,SmolDocling 达到了 0.95 的 F1 分数,与 GOT 相当,且明显优于其他模型。该研究还首次对代码列表识别任务进行了评估,SmolDocling 在这一领域设立了初始基准,精确率和召回率分别为 0.94 和 0.91。

  布局分析任务中,SmolDocling 在 DocLayNet 测试集上的表现明显超过了 Qwen2.5-VL-7b。不过两个模型的得分都低于人类基线,原因主要在于数据集本身的复杂性。表格结构识别方面,尽管测试数据集的图像质量较低,SmolDocling 仍然表现出与更大模型相当的能力。

  从许多用户的实测表现上来看,模型的表现的确可圈可点。不过有用户反映,对于表格转为 markdown 或 HTML 的任务,SmolDocling 与其他多模态模型一样,偶尔会出现一些幻觉问题,但对于列边界不明确的表格处理表现还算不错。另一位用户评价道,对于如此小体积的模型来说,其表现还是很不错的,虽然相对来说不够准确,但有望成为 PDF 提取的实用工具。

  在实际使用中,SmolDocling 处理一页文档仅需 0.35 秒(在单个 A100 上),只占用 489MB 的显存,甚至可以在手机上就能使用。

  那么,SmolDocling 究竟是如何做到在如此小的参数规模下实现这种性能表现的呢?这就要谈到它的架构、训练方法和数据处理策略。

  从架构上来说,它所基于的 SmolVLM-256M 架构由两大核心部分组成:视觉编码器和语言骨干。视觉编码器采用 SigLIP base patch-16/512(93M 参数)作为视觉骨干,与 2.2B 版本的同一模型相比,其训练数据重新平衡,更加强调文档理解(41%)和图像描述(14%),结合了 Cauldron、Docmatix 数据集并添加了 MathWriting。模型采用比较激进的像素混洗方法,将每个 512x512 图像块压缩为 64 个视觉标记。

  语言骨干则使用 SmolLM-2 家族(135M 参数)的轻量级变体,并通过提高像素到标记的比率(每个标记 4096 像素)和引入子图像分隔符的特殊标记,进一步提升了标记化效率。

  研究人员开发的 DocTags 标记格式是 SmolDocling 的另一项核心。这是一种基于 XML 风格的结构化词汇,明确分离文本内容和文档结构,从而提高了图像到序列模型的性能。DocTags 使用开放和关闭标签包裹文本块,独立标签表示指令,支持全面的文档结构表示,包括页面、布局和元素位置。每个元素可以嵌套位置标签,使用固定网格坐标系(0-500)指定其在页面上的边界框。

  此外,DocTags 还集成了 OTSL 词汇表用于编码表格结构,支持列表处理、图片和表格的标题、代码格式保留等多种功能,为文档转换提供了统一而高效的表示方式。

  对于小模型来说,训练数据的质量尤其重要威客电竞体育官网,。而在 SmolDocling 的过程中,研究人员首先在预训练阶段利用了 DocLayNet-PT(140 万页带有弱标注的数据集)和 Docmatix(130 万文档)。

  其中,DocLayNet-PT 是从 DocFM 数据集中提取的,包含来自 CommonCrawl、和商业相关文档的特殊 PDF 文件,专门选择了具有视觉多样性的内容(方程式、表格、代码、图表、彩色布局)。研究团队通过一系列处理步骤添加了弱标注,包括 PDF 解析和增强,为每个页面提供布局元素、表格结构、语言、主题和图形分类的注释。

  此外,研究人员还针对布局、表格、图表、代码和公式等特定任务准备了专门的数据集。布局数据包括 DocLayNet v2(6 万页)、WordScape(6.3 万页)和 SynthDocNet(25 万页);表格数据来自 PubTables-1M、FinTabNet 和 WikiTableSet;图表数据基于 FinTabNet 的 9 万个表格生成,总计 250 万个图表;代码数据集包含 930 万代码片段,覆盖 56 种编程语言;公式数据集则包含 550 万个特殊公式。

  训练采用课程学习方法,威客电竞VKGAME,逐步对齐模型进行文档转换。首先将 DocTags 作为标记添加到分词器中,冻结视觉编码器,只训练网络其余部分,适应新的输出格式。接着解冻视觉编码器,在预训练数据集上训练模型,同时使用所有任务特定的转换数据集。最后,使用所有可用数据集进行微调,确保模型能够全面把握各种文档元素和特征。

  由此,SmolDocling 得以在文档处理任务上实现了良好的表现。并且,与传统的集成系统相比,SmolDocling 还展示出独特的鲁棒性优势。由于其转换输出是在单次处理中推断的,避免了错误在模型流水线中累积的问题。例如,即使表格位置识别不准确,SmolDocling 仍能正确重现表格结构和内容,避免了错误在处理流程中的累积。

  不过研究团队表示,其页面元素定位识别能力仍有提升空间,这也将是他们未来工作的重点。团队计划公开更多数据集,推动文档理解领域的发展。目前,SmolDocling 已在 HuggingFace 平台上提供预览版(链接:)。

  03月13日,韩国总统尹锡悦发布紧急令,凯发娱乐注册页面在哪找,168一路发,升博开户,kaiyun体育app官网

  03月13日,第四届中国人才势能大会举行 共探人力资源新趋势,dhy80999,威尼斯人官方体育,可靠的彩票网投,乐鱼电子官网

  03月13日,2500只大熊猫雕塑《PANDA GO!香港游》展览亮相在即,优博网站是什么,bet365外围官网,AG8亚洲游官网,百人牛牛游戏苹果版

  03月13日加拿大敏感技术研究机构清单包括中国机构 中方严正交涉88bifa下载天天发娱乐官网金宝搏bet188手机网址手机娱乐平台大全

  03月13日武汉:荷花绽放 赏荷正当时幸运快3彩票下载obo体育官网入口龙8国际电子网投英皇体育网页版

  03月13日辽宁省博士后事业高质量发展 累计招收万余人亚投彩票亚投彩首页赚钱斗地主爱博英超m6米乐真人……

  03月13日,澳大利亚楚商联合会与江西九江市访澳团举行经贸座谈会,BET亚洲网,视讯真人游戏注册,赌博提现游戏,巴黎澳门人线年张家界黄石寨扁带赛前三,环球体育,银河线上网址,mg游戏摆脱手机版技巧,bg是哪个平台

  03月13日西安一医院开“学堂”:助“特殊儿童”融入校园生活澳门体育开户m6米乐app官方澳门永利视讯下注188bet在线开户

  03月13日,开辟“深度共创”新模式 《你们说了算》之里院来福战开播,百乐门平台娱乐,mg平台登录网址,亚星手机版登录官网,威客电竞VKGAME,龙珠体育买球app

  03月13日,台湾师生西安行:品悟学府的“年轮”与“新枝”,网信彩票平台注册,AG线体育,雷速体育最新网页

  03月13日,自助人助加公平竞赛 中国队晋级世预赛亚洲区18强赛,c彩63彩票官网,K8凯发网址是多少,比威体育官网,天博官网APP下载

  03月13日斯洛伐克国家交响乐团南昌首场演出 奏响“新年乐章”半岛网网址半岛官网链接入口AG九游会jy葡京体育注册送18

  03月13日乌梅汤2.0版本正式上线 中药代茶饮你下单了吗?百乐棋牌安卓版筒子二八杠牌行aoa足球体育官方app新2足球网新2足球网址

  03月13日《三十三岁的决心》出版 青年作家宇澄书写当代女性ca88体育皇冠集团app在线下载必发开户泛亚电竞所有网站

  俄军总参谋长死亡?尚无证据,镜头下的笑容香港中国企业协会举办第九届运动会上线的游戏乐虎国际最新地址电竞竞猜平台哪个好威尼斯城注册送28

  体操男子双杠决赛,成为像孙颖莎一样的人香港安徽联谊总会第五届理事会就职典礼在港举行皇冠足球盘奥门真人发博鱼怎么开户鸿博体育登陆

  有哪些一听就知道是小学生的网名,守望先锋2星际牛仔联动皮肤遭吐槽U16国足被韩国队逼平,小组赛三胜一平365体育直播在线ylg官网大发在线开户皇冠游戏下载手机版

  江西晨报称男性消费力不如宠物,官方回应教师粗暴对待学生900余名人工智能应用技术技能人才相聚山东青岛同场竞技日博体育网官方注册沙巴体育投注 1234a火狐全站app官网米乐m6体育官网

  鲁豫调侃邓超有“班味儿”,你好,种地少年2中央气象台发布大雾黄色预警:河北河南山东等地有大雾金沙亚洲登录贝博体育官网平台登录188bet金宝搏体育线路电竞网址

  驯鹿宝贝,波西·杰克逊与奥林匹亚众神中方:将为推动加纳债务问题解决持续发挥积极作用乐鱼体育官方信誉好贝博在哪注册欧博投注登录BV伟德体育下载

  足协开会反思世预赛国足0-7日本,佐原老师与土岐同学(乡村行·看振兴)赣南黄元米果:传统美食助力乡村振兴mg现金平台ROR官方下载凯时娱乐官网乐动力体育网址

  国台办:赖清德当局如继续在“”邪路上冒进 必将给台湾民众带来更大伤害

搜索