百度新闻详情API:跳转链接解析与正文提取实操

百度新闻详情API

百度新闻详情这个接口,我踩过的坑属于“看起来跑通了,其实拿回来的全是废数据”那种。第一次对接,搜索接口返回了一堆结果,每条都带着标题、来源、发布时间,还有个 url 字段,我高高兴兴把这串 URL 存进数据库,第二天回头去抓正文,发现存下来的链接点开全是百度的跳转页,不是新闻原文。三百多条数据,正文一条都没抓到。那次之后我才明白,百度新闻这条链路上,链接本身就是一个需要处理的对象,不是拿来就能用的结果。

第一个坑:你拿到的链接,不是新闻的链接

百度新闻搜索返回的 url,绝大多数是 https://www.baidu.com/link?url=... 这种形式,后面跟一串加密参数。它是个跳转入口,你直接请求它,返回的是302重定向,真正的新闻地址藏在 Location 响应头里,有时候还要跟着跳两三次才能落到目标页。如果你的采集程序不处理重定向,或者只存了第一层URL就以为完事了,后面拿正文的时候自然是空的。

这里有一个地方需要说明一下。有些百度新闻结果还带一个 snapshot 快照链接,指向百度自己缓存的页面副本。快照的好处是稳定,目标站改版或者删稿了它还在;坏处是它可能比原文晚,而且快照页面的HTML结构跟原站不是一回事。想拿最新内容,跟重定向走;想做长期存档,快照是备选。两条路得分开处理,混着用会把自己绕晕。

还有一种情况更隐蔽:部分新闻源做了防抓处理,跳转过去返回的是一个中间页,正文用JavaScript动态加载。你以为拿到HTML就有正文了,解析出来全是空标签。

正文提取,难在“每个新闻源长得都不一样”

百度新闻本身不生产内容,它聚合的是各家媒体的稿子。人民日报、澎湃、界面、地方都市报,页面结构天差地别。你写一套正文提取规则,能适配三五个站就不错了,换一个源就得重新调。

我最早用的是“找最大的那段文本块”这种通用启发式,短稿还行,长稿经常把评论区、相关推荐、免责声明一起卷进来。后来改成按常见的正文容器class去匹配,比如 article-content、post-body 这类命名,命中率高一些,但依然有大量站点不按套路出牌。真正稳的做法是每个新闻源维护一套提取模板,新源进来先人工看一眼结构,把正文容器、发布时间、作者这几个选择器配上。这件事没有一劳永逸的解法,只能靠模板库慢慢攒。

字段口径:发布时间和来源,比正文更容易出错

正文抓下来了,字段对不上的问题才开始暴露。

发布时间是最容易踩的。百度新闻列表页给的时间经常是“3小时前”“昨天”这种相对表述,详情页的时间格式又因源而异,有的是 2026-11-13 10:23,有的是 2026年11月13日,还有的只给日期不给时分。更麻烦的是时区,部分源用的是UTC,你不做转换直接入库,排序就全乱了。我的习惯是统一转成带时区的时间戳再存,展示层再格式化成给人看的样子。

来源字段看着简单,其实有歧义。百度新闻返回的 source 有时候是媒体名,有时候是栏目名,还有时候是“综合”这种聚合标识。你要按媒体做统计,得先做一层清洗,把“澎湃新闻”和“澎湃”这种同义不同写法的归到一起。

正文里的图片和广告也得单独处理。新闻详情页的配图,src 经常是懒加载的占位符,真实地址在 data-src 里。正文中间插的“相关阅读”“广告位”,不剔掉的话,你做全文检索或者摘要提取的时候会被污染。

批量采集,别在验证码上把耐心耗干

单篇跑通之后,真正的考验是量。百度对高频请求的容忍度不高,请求密一点就开始弹验证码,或者直接返回一个空页面。你得控频率、换IP、维护Cookie,一套组合拳下来,采集程序的复杂度远超“调个接口拿数据”的预期。

而且百度新闻的页面结构不是静止的。它自己的搜索结果页会改版,目标媒体的页面也会改版,你上周调好的模板,这周可能就失效了。自己维护这条链路,本质上是在做一个持续对抗的工作,技术投入是个无底洞。

新媒体平台api数据接口

极致了数据在新闻资讯这类内容的采集上有覆盖,百度新闻的标题、正文、来源、发布时间、配图这些字段能结构化输出,跳转链接的解析和正文提取在他们那边已经处理掉了,你拿回来的是干净的数据,不是一堆需要二次加工的HTML。批量提交关键词或者指定新闻源,多并发拉取,返回JSON,配个定时任务就能持续跑。

接入方式按手里的牌选。有技术团队直接对接API,注册拿密钥,传关键词或链接,联调一两天能跑通;不想写代码的用飞书「多平台数据采集助手」插件,配置关键词和采集频率,数据自动写进多维表格,定时更新也能设;完全不想碰技术的,联系客服定制,告诉对方要采哪些源、什么频率、什么字段,直接交付数据表。

合规这条线得单独说。新闻正文是有著作权的,采集来做内部分析、舆情监测、选题参考,属于合理使用的范畴;整篇转载、二次分发、商业再利用,那是另一回事,得看源站的授权。公开可访问的新闻页面可以采,但别把采集结果当成自己的内容池往外发,这个边界要清楚。

总结

百度新闻详情API这件事,第一课不是“怎么解析正文”,是“你拿到的链接根本不是新闻链接”。跳转链接要跟重定向走,快照是另一条路,别混着用。正文提取靠模板库,通用启发式只能救急不能当主力。发布时间统一转时间戳,来源做清洗,图片看 data-src,这几个字段的口径对齐了,数据才能用。批量场景下自己维护反爬和模板的成本很高,极致了数据这边新闻采集的字段结构化输出,API、飞书插件、客服定制三条路按团队情况挑。最后记住新闻有版权,内部用可以,往外发要先想清楚授权。

上一篇:

下一篇:

相关新闻

客服微信

联系我们

18658854422

微信号: wx2026-maxiao

邮件:474804@qq.com

工作时间:周一至周五,9:00-18:00,节假日休息