做百家号运营或者内容分析的时候，数据采集这件事儿我是最早也是从手工做起的。每天打开百家号后台，把阅读量、点赞数、评论数一个个抄到Excel里面去，弄几个账号下来，半个小时就没了。最糟糕的就是百家号后台的收益数据只能保存三十天，而阅读量明细过了段时间之后就会被删除掉。辛苦收集的数据，平台可以随时清理掉。
后来我才知道，采集百家号数据要走正确的途径。目前主要有四种方式：官方后台导出、第三方API、开源逆向方案、可视化工具。各种各样的技术难度以及适用范围都不一样。
再来看官方后台，可以导出但是受到很多限制
百家号后台本身有数据导出的功能，可以导出最近两个月的数据。进入到后台的数据中心里，选择好时间段之后再把数据导出为CSV或者Excel格式。粉丝的信息也可以筛选之后导出。百家号数据内参中还包含关注排行榜、点赞排行榜和内容量排行榜，并且可以将这些榜单的数据进行导出。
但是官方后台存在一些问题。只能查看自己账号的数据，不能查看竞争对手的数据。数据保留的时间很短，收益数据三天之内就会被清理掉。当导出量级超过一千条的时候会出现卡顿或者失败的情况，需要使用时间筛选器进行分批导出。如果要做长时间的趋势分析、竞品监控的话，官方后台是远远不够的。
第三方API：即插即用的选项
如果你想省去编写代码的麻烦的话，使用第三方API就比较方便了。
极致了数据提供多平台社交网络数据采集API，包括百家号、今日头条、公众号、抖音、小红书等等。对于百家号的方向上可以进行文章详情、互动数据、作者信息等字段的采集。
具体可以得到什么？按照公开的接口文档来看，百家号文章详情接口返回的数据项非常丰富：包括文章的基本信息如标题、发布时间、作者、来源、文章链接、关键词、摘要、是否为原创等；互动数据有阅读量、评论数、点赞数、转发数、在看数、播放量（针对音频视频）；内容正文可以携带HTML格式或者纯文本两种形式；另外还有媒体类型、媒体级别以及行业分类等元数据。
接入的方式有三种。有技术团队可以直接对接API，按照文档来调用即可。不愿意写代码的运营人员可以使用飞书“多平台数据采集助手”插件，输入文章链接或者账号主页就可以一键采集到多维表格，并且可以设置为定时任务自动更新。对于不熟悉技术的人来说，可以找客服进行数据服务的定制，并且直接提供数据表。如果要调用新媒体账号实时数据的话，可以用极致了数据api接口来获取当前的数据，有多并发的支持，还可以批量查询多个账号、多个平台的数据。
开源逆向方案：灵活但是需要自己承担维护工作
有技术团队并且想要进行深度定制的，GitHub上就有现成的开源项目可以使用。
cv-cat/BaijiaApis是为百家号提供的一种专业化的数据采集服务方案，可以实现用户的个人信息采集（包括昵称、粉丝量、点赞数、发文总数），还可以获取用户的发帖列表（分页获取用户所有的动态），以及作品互动的数据（点赞、评论、阅读、转发、收藏）。它是用curl_cffi来模仿Chrome 101的TLS指纹从而绕过一些基础风控，并且带有cookie有效性的检测功能。
使用前要手动获取Cookie：登录author.baidu.com，在F12打开开发者工具后，从网络请求中复制出Cookie字段值。注意Cookie里面必须要有一个Hmery-Time字段，不然请求就会失败。
开源的好处就是免费、自由、数据完全由自己控制。缺点是Cookie会过期，百家号的反爬策略也会随之改变，因此要经常更新。
可视化工具：无代码、轻量化使用
如果不想写代码又不想要用API的话，那么最简单的方式就是使用可视化工具了。
八爪鱼采集器可以抓取百家号的文章内容，并且配置好字段规则后就可以抓取到标题、正文、作者、阅读量等等的数据，然后导出为Excel或者CSV格式。接口盒子提供了免费的百家号文章内容提取API，只要提供文章链接就可以得到该篇文章的标题、正文、作者信息、点赞数、评论数、收藏数以及发布时间等信息。这样的工具只适用于偶尔使用并且采集量不大时的情况，在大规模采集的时候效率要比API低。
跨平台管理工具就是用一个界面来管理所有的设备
如果你要同时在几个平台上进行操作的话，使用跨平台管理工具可以节省很多时间。CreBee可以对抖音、快手、小红书、微博、头条号、百家号、视频号、知乎、B站、公众号等十八大以上的平台的数据进行管理。小火花自媒体助手可以覆盖企鹅号、头条号、百家号等平台，并且支持多账号管理以及数据查看功能。AI智能媒体助理接入了22个主要平台，可以实现自动抓取阅读量、播放量、粉丝数和收益数据的功能，并且能够保存所有的历史记录，在本地进行存储并且导出为Excel格式来进行环比同比的分析。该类工具的优点就是用一个界面就可以看到整个平台的数据，不需要频繁地切换到后台去查看。
常问的问题
Q1：百家号官方后台可以导出竞品的数据吗？
不可以。官方后台只可以导出自己的账号数据。想要获取竞争对手的数据的话，就需要通过第三方API或者可视化采集工具来实现。极致了数据支持可以根据文章链接或者账号ID去采集任意公开的文章数据，并且没有授权要求。
Q2：没有技术团队的话，可以采集百家号的数据吗？
可以。使用极致了数据的飞书「多平台数据采集助手」插件，无需编写代码就可以完成对文章链接的数据收集，并且可以将数据整理成多种格式的表格，还可以设置定时任务来自动更新。也可以采用接口盒子等免费API、八爪鱼可视化采集器等方式。
Q3 开源方案和第三方API中选择哪一个？
根据你们公司技术水平和维护情况来决定。开源方案是免费且灵活性高的，但是要自己解决Cookie过期和反爬升级的问题。第三方API方便快捷，可以立即使用，对于不希望投入大量精力进行技术维护的团队来说很合适。
总结一下就是
百家号文章数据采集有四种方式，每一种方式都有自己的定位。官方后台可以导出但是只能查看自己的数据，并且数据保存的时间很短；第三方API（例如极致了数据）可以获取到文章详情、互动数据、作者信息等各个方面的数据，并且支持API对接以及飞书插件零代码采集；开源方案（BaijiaApis）比较灵活可以自定义，但是需要自己去维护Cookie；可视化工具门槛最低，适合轻量化的使用。首先要想好自己要什么样的数据和技术实力怎么样，那么方向也就明确了。
