常见问题

前期入门

1. 什么样的产品无法使用AppAdhoc A/B Testing?

AppAdhoc A/B Testing支持通过前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Python、Java等)的多环境SDK集成安装来进行在线A/B测试,实现产品优化,对于没有相关产品的企业或者线下的测试暂时无法提供帮助。

此外,使用AppAdhoc A/B Testing需要集成SDK或API代码,因此依附于第三方平台无代码构建的产品,如通过第三方工具创建的H5页面等,也暂时无法使用。

2. 怎样的量级适合A/B 测试?

想要获得一个可信度较高的A/B 测试结果,日活最好能够保证大于1000,否则进行可信A/B 测试是比较困难的。

对于用户量较大的产品(月活上千万),AppAdhoc A/B Testing同样可以提供试验支持。但为保证试验的顺利进行,请在正式上线前与我们的工作人员联系沟通。

此外,在保证一定用户量级的情况下,试验时间也要运行充足,才能获得可信的A/B 测试结果。

3. 如果不会程序编码,是否能使用AppAdhoc A/B Testing?

AppAdhoc A/B Testing支持多种方式进行A/B 测试。其中,可视化编辑器只需将SDK集成到产品上,之后无需代码知识,就可以完成试验创建。所见即所得,轻松完成视觉上的产品变化。

4. 科学流量分割与随机流量分割的区别是什么?

如果试验流量分割是通过单纯的随机算法完成的,A和B两个版本的用户群体很可能就不具有代表性,无法进行对等的比较。如果试验结果显示B优于A有可能应用B版本到全体用户中之后,它的表现反而比A版本差。

AppAdhoc A/B Testing采用的科学试验流量分割,使得每一组试验对象具备一致的用户特征,对比结果是科学可信的。

5. 95%置信区间是什么意思?

置信区间描述了试验版本比对照版本提升的范围,95%指的是实际提升出现在这个范围内的概率。

查看置信区间,如果上下限同为正,说明试验版本比原始版本有了提升;如果同为负,说明试验版本不如原始版本。如果置信区间的上下限位一正一负,则说明试验版本和原始版本没有显著差别,或者试验数据还不足以判断结果,需要运行试验更长时间,收集更多数据。

以优化点击率为例,当试验版本在试验报告的数据中显示为“+55%[+50%,+60%]”。那么在95%置信区间下,版本上线后有95%的机率能够将真实点击率提升50%~60%,点击率提升低于50%的可能性小于5%,提升效果是真实的。

此外,需要注意版本试验时的用户流量大小,小流量的用户行为统计在流量放宽后关键指标数据可能会发生变化。建议用户在试验过程中,由小到大逐步增加流量分配,判断当前流量分配的数据结果是否具有普遍意义,最终选出最优版本。

6. 能否针对指定人群进行试验?

针对指定人群进行试验属于定向试验的功能范畴。AppAdhoc A/B Testing支持对以下用户属性设定标签:OS, OS 版本,浏览器,浏览器版本,设备类型,应用版本,SDK版本,屏幕尺寸等。当试验运行后,只有符合受众群体标签的用户才能进入试验。100%的流量为全部流量中所有符合分组标签的用户。

此外,您也可以通过代码自定义用户标签。请避免完全重复,或者过长的标签名称。标签之间平级不交叉,由用户自行定义。自定义的用户标签需要通过AppAdhoc SDK相关API设置和上传,请参考SDK集成文档

定向试验属于高级功能,如果您处于试用期,可与AppAdhoc工作人员联系开通权限。

安全性能

1. 如何保证用户隐私的安全性?

AppAdhoc A/B Testing与您共同尊重用户的个人隐私。

首先,我们采用https协议加密数据传输,软件和硬件部分做了群集和负载均衡。我们收集的优化指标,包括命名、定义与数据格式等,都是完全由客户自定义的,并不会获取用户的个人信息。

同时,平台服务器收集的只有数据,没有单位和详细定义。

最后,AppAdhoc A/B Testing可以为客户产品提供私有云解决方案,数据完全不经过我们。

2. AppAdhoc A/B Testing的服务器如果崩溃停止服务,是否会影响到用户产品的正常运行?

AppAdhoc A/B Testing非常重视容灾容错能力,我们有专门的工作人员实时监控服务器的运行状况,以保证服务器的正常稳定运行,因此服务器发生意外的可能性非常小。若因不可抗力导致服务器发生意外停止,也不会对产品的运行和用户的使用体验造成影响。

SDK集成

1. SDK的性能如何,是否会造成页面滞后或者其他影响?

AppAdhoc A/B Testing服务器的反应速度控制在几十毫秒,用户很难通过肉眼感知到页面的延迟加载。

为了减少页面加载时间,提升用户体验,在正式上线之前,我们已经对上百款手机进行了云测试,以保证SDK集成对用户产品的影响尽可能小。此外,我们的SDK已经针对流量进行了进一步优化,尽量减少流量的消耗。

2. 有试验正在运行,却收到了AppAdhoc A/B Testing关于SDK更新的通知,是否会影响试验结果?

AppAdhoc A/B Testing会在SDK更新的第一时间内推送更新公告,若您有试验处于运行状态,无需特地停止试验更新SDK。

为保证您现有试验的正常运行,旧版SDK的维护周期约在2-3个月,期间参与试验的用户将不会受到影响,更不会影响到试验结果的正常收集。但在开始下一次试验前,请务必集成最新的SDK,避免因此造成的数据误差,下载链接请参见SDK集成文档

运行试验

1. 怎么判断一个试验是否已经达到成熟的试验结果?

一般来说,为了获得更加可信的数据结果,试验运行周期应至少保证1-2个完整的自然周,如果遇到节假日,运行周期应适当延长。

如果置信区间同为正或同为负,得到的结果是可信的。如果置信区间为一正一负,则可以通过适当延长运行时间,或者调大流量的方式来调整试验。若仍然没有改善,可能是不同版本的效果差异不大,需要重新设计方案,并调整变量。

2. 每个试验都需要开发新的变量么?

不必须,试验变量可以很灵活的应用。

用户可以在导航栏内的「SDK集成」查看所有变量和优化指标的列表,已创建的变量(指标)可以用于多个试验版本,比如将按钮颜色设置为String类型的变量,就可以测试不同颜色。

3. 如果同时进行多个试验,不同试验之间会不会发生冲突?

-未分层试验:试验间的流量互斥,所有试验共用100%的流量,不同试验之间不会发生冲突。这样做一方面可以让用户体验更好,另一方面可以排除参与两个试验的用户带来的数据干扰。举例来说,若同时上线2个试验,设置试验A的流量为40%,试验B的可用流量为100%-40%=60%。也就是说,参与试验A的用户看不到试验B,反之亦然。

-分层试验:用户需注意设定分层条件,否则有可能会发生不同试验之间的冲突。具体分层条件,请参考流量分配文档

无论分层与否,为了保证试验结果的科学性,建议将所有版本(包括原始版本)的流量分配保持一致。

4. 新建试验之后,我需要在应用市场重新发布App才能进行试验吗?

在正式开始运行之前,需要将集成好SDK、配置好变量和指标的版本上传到应用市场中。之后,您就随时可以开始和停止相关的试验。

如果是对已经在代码中集成好的变量和指标进行修改,则无需重新发布APP。如果需要对试验变量和优化指标进行项目增减,那么应及时将代码同步并重新上传到应用市场。

5. 参与试验的用户是否必须连接到互联网,否则他们的行为数据将无法统计?

用户的离线状态对于试验的影响很小。

第一次进入试验版本,以及返回数据报告时,需要确保用户的网络连接正常。由于系统需要在网络环境下将用户分到不同版本,因此若尚未加载配置参数,用户进入应用程序时会默认进入原始版本,其行为数据也不会被收集到试验数据当中。

如果应用程序处于离线状态,AppAdhoc A/B Testing将使用配置参数的缓存版本。对于已加载的用户而言,在离线状态中的指标数据将储存在设备当中,一旦设备连接互联网,其累积的数据报告就会反馈到AppAdhoc A/B Testing。

6. 是否可以修改正在运行中的试验?如何操作?

在确保您的产品已经包含了试验变量与优化指标等功能模块的代码后,您可以随时更改更改试验变量、优化指标和流量分配,更改后即时生效。

  • 流量分配:我们建议从小到大逐步调整试验流量,通过观察试验数据结果,您可实时对试验流量进行调节。
  • 试验变量、优化指标:我们强烈建议您慎重操作。因为修改后的数据将会与之前的试验数据混合,可能造成结果不准确,不能确定究竟是什么原因造成的数据变化。如果您坚持要修改正在运行中的试验,我们建议您将现有试验停止,重新开始一个试验,以保证试验数据不被干扰或污染。

7. 停止的试验是否能重新开始?

试验停止后,显示的指标数据是在完整的试验周期内收集的。而在试验停止的时间段内,市场环境、用户群体等都可能会发生变化,不能保证试验数据的无缝衔接。

因此,为了保证试验数据参考价值,AppAdhoc A/B Testing不支持将已停止的试验重新开启。若重新开启试验,将会造成试验数据的混杂污染,数据结果不准确。如果需要重新开始一个试验,建议通过克隆该试验来完成。

8. 将试验完全停止后,用户看到的是哪个版本?

当试验选出最佳版本后,AppAdhoc A/B Testing支持“一键发布”新版本给所有用户。用户会在无感知的情况下,使用全新版本,无需经过应用市场审核。如果想进一步保证用户的良好体验,可以在新版本发布的同时,通过自己的用户沟通渠道通知用户。

若未使用“一键发布”功能,停止试验后,所有流量自动回归到当前试验的原始版本,用户将重新看到原始版本。

9. 为什么试验后台的UV数据和我自己统计的UV数据不一样?

在AppAdhoc的试验概况页面中,您会看到UV统计项。这是我们对有效进入试验的访客进行统计的一项优化指标,这个UV的定义的和传统意义上的UV还是有一些区别的:

传统UV: 使用该产品的独立访客

试验UV: 当用户进入网页/开启APP并触发所有试验变量后,才会判定其为1个有效的试验UV。

因此,您在试验中看到的UV和您自己统计的UV一般来说都是不一样的。

举一个极端的例子,如果参与试验的用户开启了APP,但是没有到达设置变量的页面(或者只触达了一部分页面)就退出了,那么我们的后台不会判定其为有效的试验UV,直到其再次开启并触发所有变量之后,才会被统计进去。

10. 在我发布或者结束试验后,用户的行为还会产生API消耗吗?

这取决于您在下次发版时,是否将上次试验的旧代码清除,这也是我们在合理优化配置试验资源中强调代码清除重要性的原因之一。

在您点击试验发布或结束后,我们服务器会给用户设备发送相应指令来引导其展示相应版本。如果您在之后新版本的源代码中及时清除了之前试验时的旧代码(即试验中多余的变量以及优化指标等集成代码),那么在用户更新了这个版本之后,将不再产生API消耗。

如果某些客户没有执行更新到这个新版本,那么遗留的代码将通过用户设备与我们服务器进行日常交互(因为它依然需要向服务器确认是否要进入某个试验中),从而产生一些API消耗。

账户

1. AppAdhoc A/B Testing服务是否免费?

AppAdhoc A/B Testing对新注册的用户提供30天的免费试用期。

在试用期内,所有功能和流量全部免费开放。超过试用期限后,功能自动关闭,只有升级到收费版本后才可以正常使用。点击了解更多付费用户特权

2. 与工作人员联系后,却一直没有收到邀请码,怎么回事?

不同的邮件运营商对邮件内容的判断标准不一,若未能在收件箱中查看到AppAdhoc A/B Testing激活邮件,请前往垃圾箱中检查。如果依然没有收到激活邮件,请及时与客服人员联系。

3. 同一个账户下,是否支持多个应用程序的A/B 测试?

支持。

如果您拥有多个不同的应用程序,直接在登录页面中手动添加即可。

4. 为何登陆到后台之后无法进行定向试验功能的操作?

AppAdhoc A/B Testing为用户设置了30天的免费试用期。在试用期内,如果需要定向试验等功能,请与我们的工作人员联系。我们会根据您的具体需求,为您开通相应权限。

若您的账户已超过免费试用期限,建议您根据需求升级到收费版本,以获得更全面的AppAdhoc A/B Testing服务。

results matching ""

    No results matching ""