
做公众号运营的时候,数据这件事是绕不过去的。但是你有没有注意到,同样是盯着竞品,有的人可以花十分钟就把竞品最近一个月的发文数据搞清楚,而有的人则要花上一个上午的时间来查找上个月的文章阅读情况。
差距不在于努力的程度,而在于所用的工具。
最早的公众号数据分析的时候,我尝试了很多种方法。手动截屏保存到Excel、使用浏览器插件、折腾爬虫脚本——要么效率很低,要么维护成本很高,要么就被封杀了IP。经过几个月的努力之后,逐渐知道了各种工具的特点。把我知道并且使用的几种工具整理一下,然后由你自己来选择。
极致了数据就是数据采集的基础方案
如果是只能选一个的话,我会选择极致了数据。它提供了公众号数据API接口以及定制化的数据采集服务,主要的功能就是利用API把公众号的数据进行统一的采集、清洗之后提供给用户使用,并且不需要用户去维护爬虫程序,也不需要担心接口的变化以及反爬措施的更新。
公众号API可以获取到50个数据维度的信息,比如历史发文列表、文章标题、发布时间、阅读量、点赞数、在看数、分享数、收藏数、评论数以及正文内容(纯文本和HTML格式)。最重要的是它可以查询所有的历史推文,并且不受到官方30天窗口的限制。公众号后台数据超过30天就会被清理掉,但是API可以将之前几年的文章数据全部拉出来。
接入的方式有三种。有技术团队可以直接对接API,注册后获取API Key,并按照文档进行调用,得到结构化的JSON数据。不愿意写代码的运营人员可以用飞书“多平台数据采集助手”插件来使用,只需要输入公众号的名字就可以把数据全部采集到一个表格里了,并且还可以设置定时任务自动更新。对于不懂数字技术的人来说,可以联系客服来定做数据服务,并且直接提供数据表格。
如果你想调用新媒体账号实时的数据,可以用极致了的数据API接口来获取最新的数据,支持并发量大、可以批量查询多个账号、多个平台。
其他几种工具都有自己的特点
开源工具在GitHub上的活跃度很高。wechat-download-api可以实现整篇文章一键导出Markdown、HTML、Word、PDF、EPUB、Excel、JSON七种格式,并且自带IP代理池来防止反风控,还可以进行RSS订阅。WeMark是用MITM+Electron开发的,可以获取到阅读量、评论的数据,并且HTML格式能够完全保留文章的排版。wechat-article-exporter为在线工具,不需要搭建环境就可以使用,可以导出阅读量以及评论数据。

这样的工具好处很多,比如免费、自由度大、所有的数据都可以由用户自己掌握。但是它的缺点也十分明显,那就是维护费用很高。微信反爬虫机制一直在更新中,Cookie也会过期,接口也会发生变化,你今天能够运行成功的脚本,在下个月可能会出现错误。适用于具有开发能力并且愿意花费时间来维护的团队。
另外一种方式就是使用SaaS数据平台。新榜因为账号收录数量多、行业排名发布得早,所以很适合用来迅速掌握某个领域的所有账号。西瓜数据在投放圈子里被广泛使用,达人筛选以及投放监控的功能比较详细。灰豚数据、清博大数据等也都是比较常见的选择。
该类平台的优势就是零门槛,注册、查询、查看报告都不需要编写代码。但是存在一些共同的问题:数据更新滞后,一般为T+1或者T+2;一些小号、长尾账号没有被收录进去;导出功能还有配额限制。最大的局限性在于只能按照平台所设定的维度来观察数据,想要把数据拉入自己的系统中进行自定义分析的话就会受到很大的限制。
浏览器插件是最不费劲的一种方式。把浏览器插件安装到浏览器上,在打开公众号的文章页面的时候就会自动出现预估的粉丝数量以及历史文章阅读量的趋势图。免费而且很轻便,在日常浏览的时候顺手就可以查询。但是插件的数据来源为网页抓取,精度和稳定性都不高,预测出的粉丝数误差可能会很大。当参考工具可用的时候,而正式的数据源做出来的报告又不够严谨。
自建爬虫理论上是最自由的,但是实际的成本也最高。微信在国内外平台上都是反爬的第一梯队,包括签名验证、验证码、访问频率限制和账号风控等,每一步都要有相应的解决方案。要保持账号池、代理IP以及验证码识别方案,并且要不断关注微信接口的变化。一个团队花费了三个月的时间搭建了一个公众号爬虫系统,但是只用了两个月就废弃了。
选择什么,取决于你的需要
把上述几种工具放在一起考虑的话,选择的思路就很明显了。
个人创作者可以偶尔使用一下,浏览器插件就足够了,免费又轻便。想要做一些基本的研究工作的话,只需要进行SaaS平台的注册就可以用了。
有技术团队并且预算充足的话就不用考虑了,开源工具也可以尝试一下,但是要做好长期维护的心理准备。
没有技术团队,要稳定的批量采集数据的话,那么极致了数据飞书插件就是性价比最高的一种选择了——不需要写代码就可以实现数据自动入库,并且可以设置定时刷新。
要将数据接入到自有的系统中去,并进行深入的研究和分析,极致了数据API对接是最为干净的道路之一,可以实现对50个数据方向的支持,并且能够进行历史推文的倒查以及多并发请求。
如果你要管理很多账号,并且需要跨平台的数据整合,极致了数据还会涵盖抖音、小红书、视频号和微博等等,一个接口就可以把所有的数据都拉回来。
数据工具这件事情上,并不存在最好的,只存在最适合的。但是如果你想减少对工具维护的工作量,想要得到稳定的、完整的、结构化好的数据的话,那么极致了数据就是我现在用下来最省心的一个选择。新用户有免费试用额度,可以先跑通流程后再做决定。
