Apple and Duke propose LensVLM, compressing long context into images with on-demand zoom
Apple's foundation model team and Duke University introduced LensVLM, a method that compresses long context into images and lets the model zoom into relevant pages on demand. In seven text QA benchmarks, it achieved 68.9% average accuracy with 4.3x effective compression, close to the 72.4% of full-text reference. The work was accepted at NeurIPS 2026, and a public 9B demo is available.
Coverage timeline
机器之心机器之心
Agent 执行长程任务时，代码、工具输出和交互记录不断累积，上下文也跟着变长。 生成摘要、压缩上下文，可以减少输入，却也可能删掉后续任务需要的细节。一段当时看起来无关紧要的记录，到了下一步，或许就是关键线索。如果模型只能看到压缩结果，就很难再把它找回来。 DeepSeek-OCR 展示了另一条路线： 让图像承载文字，用较少的视觉 token 表示文本信息 。压缩页面能够覆盖全文，但清晰度成了新的瓶颈。字符越小，模型越难辨认；压得太狠，答案就在页面上，模型却已经看不清了。 许多压缩方案对模型而言是一条单行道：压缩之后，它就无法按需回头查阅原文。那 如果给模型一个 “放大镜” 呢 ？ 苹果基础大模型团队与杜克大学提出 LensVLM ，让模型先浏览覆盖全文的压缩页面，再展开与问题有关的页面。在七项文本问答评测中，它以 4.3 倍有效压缩达到 68.9% 的平均准确率 ，接近完整文本参照的 72.4%。 这项工作近期被 NeurIPS 2026 接收，在 X 上也获得了较高关注，并引发了不少关于 “将文本转化为图像进行长上下文理解” 的讨论。Hugging Face 产品负责人 Victor Mustar 在 X 上介绍了该研究，相关帖文获得约 28 万次浏览。公开的 LensVLM 9B Demo 也已上线，读者可以体验模型选页、展开与作答的过程。 论文：https://arxiv.org/abs/2605.07019 模型：https://huggingface.co/apple/LensVLM-9B 代码：https://github.com/apple-aiml-research/ml-lensvlm Demo：https://huggingface.co/spaces/hugging-apps/lensvlm-9b-demo 文字变成图，省下了什么？ 语言模型通常将文字拆成文本 token；视觉语言模型则通过视觉编码器，将图像转换为视觉 token。一页图像如果容纳了足够多的文字，表示它所需的视觉 token 就可能少于直接输入原文所需的文本 token。 字号、页面尺寸和文字密度，因此都可以用来调节压缩率，无需重新设计文本词表。与先检索少量片段再阅读相比，压缩图片能够覆盖全文，让分散在不同位置的证据仍有机会被模型找到。 代价也很直接：字符越压越小，可能超出视
