
做海外社交媒体运营或者跨境电商的时候,Instagram的数据是避不开的。20亿活跃用户当中,都是高消费力的年轻人,谁不想要一份呢?
但是Instagram数据收集的方式和国内平台不同,有很多坑、很多限制。我刚开始做品牌出海时想要用竞争对手发布的帖子来做数据分析,费了很大力气才弄清楚其中的道理。把几种方法整理好之后再看自己适合哪一种。
官方API可以使用,但是有诸多限制
Instagram的官方API并不是一个完整的体系,而是由多个部分组成的,很多人的开始就走错了路。
当前Meta所用到的官方API有三种:Instagram Graph API是为商家及创作者设计的,在此可以进行内容发布的操作、评论管理以及分析等工作;Instagram API with Instagram Login(2024年底取代Basic Display API)给消费者的应用程序使用,只能获取用户的最基本信息和个人照片等数据,并且无法上传新的内容;Instagram Messaging APIs用于发送消息给用户。注意:上述三条都是对错误的理解。正确的是第四种解释方法——把所有的选项都列出来然后排除掉不符合的情况。NG API 会处理商业账户之间的私信。
数据采集的话,Instagram Graph API应该就是最好的选择了。但是该事物存在一些硬性的要求。

第一,要和商业账户或者创作者账户相关联。个人账户不能使用,因为你没有目标账号的授权,所以不能调用接口获取数据。
其次就是频度受到严格控制。每一个应用程序、每一台设备每个小时只能发出不超过二百次请求给服务器。批量获取几十个账号的信息,很快就会达到上限。
第三、私信的数据无法获取到。Meta平台政策上不允许使用Graph API来获取Direct Messages的数据,因此这条路也被堵死了。
简单的说就是官方API可以用来管理自己的商业账户,并且做一些基础的数据复盘工作。想要批量获取竞争对手的数据并进行深入的舆情分析,但是官方API设置的门槛把你们挡在了外面。
第三方工具:使用方便,但是要选择好
官方API不通的时候,使用第三方工具更为实际。该类工具可以分为两种。
其中一个是浏览器插件。例如I-Social Scraper,在Chrome中安装后可以对Instagram网页进行抓取操作,并且可以把获取到的信息保存为CSV或者Excel格式文件。另外有IGPost Export功能,只需输入用户名就可以把帖子的数据导出来做成CSV格式文件了,里面包含了点赞数量、评论数量以及发布的时间和网址等等信息。这样的插件很适合个人卖家或者是只监控几条账号的小团体使用,安装之后可以直接运行起来,没有任何难度。缺点是没有办法对大批量的账号进行统一管理,也无法把数据导出进行系统的分析。
另外一种就是云上采集API。例如在Apify平台上使用的Instagram Scraper插件可以按照关键词、话题标签或者用户名进行检索,并且获取到帖子、图片以及个人信息等信息并以json或者csv的形式输出出来,在完成一次查询之后会收取一定的费用,一般为每一千次四美元左右。Bright Data也提供了Instagram Scraper API接口,在一个请求中只能提交二十个网址,并且得到的是结构化的Json响应。该类服务不需要运营方自己去维护代码,适合没有技术团队但是又需要一定数据量的运营人员。
开源方案:灵活但是需要自己承担维护工作
有技术团队并且预算有限的可以使用GitHub上现有的开源项目。
cv-cat/InstagramApis是专门用来做Instagram数据收集的一个工具,并且可以获取用户的个人信息以及所有发布的作品链接等。该功能包含有从用户页面上获取基本信息的功能、自动滚动下载所有的文章网址、一级评论全部爬取下来、二级评论(楼中楼回帖)也进行递归式地去抓取,在用到 FastAPI 和 Uvicorn 异步服务器的同时还具有 Docker 一键安装的能力。但是要使用该功能,必须自己设置Instagram登录之后的Cookie。
阿尔伯特·奎亚纳/Instagram-TikTok-Scraper就是一种学术研究使用的数据抓取工具,在使用Playwright来实现对API的劫持以及游标分页的同时也提供了一套完整的、包含23种标准字段的数据输出格式,并且自带了语言识别与截屏的功能。
开源的好处就是免费、自由、所有的数据都由用户自己掌握。缺点就是维护费用很高,因为Instagram的页面结构以及接口参数都会发生变化,Cookies也会到期,反爬虫技术还会更新换代。适用于具有开发能力和愿意花费时间进行维护的团体。

极致了数据:多平台整合的一个方便的选择
如果不想去折腾官方API的权限申请,也不愿意去维护开源项目中的Cookie以及反爬虫的话,还有一个比较简单的方法。
极端的数据提供了多个平台的社会媒体数据采集API接口,涵盖了六十多家主要的媒体网站,其中包括Instagram、Tiktok、Youtube、x(前twitter)等等国外社交媒体网站和抖音、小红书、视频号、公众号等一系列国内应用软件。对于instagram方面来说,则是用户的个人信息资料、发帖的内容及形式(图片或者视频,并且附带说明文字与互动数量),还有公开留言和有话题的话题帖子清单这样的内容类型。
接入的方式分为三类。如果有技术团队的话可以直接对接API,并且按照文档来使用就可以了,不用再做签名以及权限申请的事情了。不愿意写代码的运营人员可以使用飞书“多平台数据采集助手”插件,在这里只需要输入账号链接就可以把各种信息都收集起来放到一个表格里去,并且还可以设置好定时的任务让它们自动更新。对于不熟悉技术和操作的人群来说,可以通过与客服沟通的方式来获取到想要的数据服务并拿到相应的数据报表。如果你想要调用新媒体账号当下的数据的话,就可以用上极致了数据的API接口来取得现在的数据,并且有很高的并发量和大批量地去检索不同账号、不同平台的信息的能力。

几条操作上可以做的建议
不管走哪一条路都要注意以下几点。
确定要采集的数据类型是什么。是仅仅根据帖子的互动情况来判断呢?也就是看看有没有人在评论区留言或者是否有人给这个话题贴标签等信息。需求不一样的话选择的道路就完全不同了。评论区的数据如果想要通过官方API获取到比较困难,一般会使用第三方或者是开源的方式来实现。
控制好频率不要太高。Instagram对于频繁请求非常敏感,在同个IP上短时间内的大量请求很容易就被检测到了。把每次请求之间的时间间隔设置为2-3秒,并且要保证批量的任务不会同时进行。
多样的数据放在一起来进行查看。如果你既经营着Instagram又在使用Tiktok的话可以把这两个账号的数据放到一张表格中来进行比较分析,从而看出两种社交网络上的用户喜好有什么区别。极致了数据支持跨平台的数据合并,在一个地方就可以获取到多种渠道的信息。
结论
Instagram的数据收集工作需要经过官方API才能完成,并且受到很多限制,在这里只能用来管理和自己的商业账号;而第三方工具则可以一键打开使用,在此之下也只需要进行一些基本的操作即可;至于开源方案虽然很自由但是维护起来的成本很高,所以更适合有一定技术水平的人群;最完美的就是能够提供各种平台的数据集成接口以及API调用的服务,在包括Instagram、Tiktok、Youtube在内的六十余个平台上都可以实现数据抓取,并通过API的方式接入到系统中来。
首先要确定自己想要获取什么样的信息和技术实力怎样,这样思路就会变得十分清晰。
