之前保存来自网易的一篇文章,现在没有找到原文链接,见谅。当初看到这篇文章比较实用,按照本文的方式解决了一些实际问题。

聊聊问卷设计的细节。

1. 指示性说明

社会调查类的教科书里通常要求我们写上长长的一大段说明文字,但在互联网上有多少人会认真看一大坨文字?看看《don’t make me think》作者如何做的:从103个单词删减到41个单词(该书中文第二版,P34)!非必要信息不得出现在问卷的指示性说明中。

需要提及的核心信息无非就这几个:A.目的:帮助改进网易XX,也欢迎非网易用户作答 B.时间:3-5分钟 C. 匿名和保密 D.有奖:通过质量检核的完整答卷可参与抽奖。

2. 题目编制思路

image.png

3. 题目设置需注意的细节

  1. 简洁、明确:有时这两者是个矛盾,但尽量做到平衡。
    【例子】 您使用XX的历史多久?——简洁
    您第一次使用XX是什么时候?——简洁、通俗
    您第一次使用XX(不一定是目前最常用的这个)是什么时候?——稍微牺牲了“简洁”,但是更“明确”!
  2. 态度中立、无诱导性
    【例子】 您对目前常用的XX满意吗?
    您对目前常用XX的满意程度为?
  3. 选项设置需注意的细节
    1. 选项互斥
      【例子】 您平时上网较常浏览的内容为?
      A.热点/头条新闻 B.娱乐八卦 C.时事政治 D.游戏/动漫 ……
      选项A原本是为了对应于“每天都会看新闻头条、但对于内容领域没有特别偏好”的这样一部分人的行为;但A选项与后面选项存在着重叠,尤其A与C重叠的程度非常高。于是,删除C选项,把A选项改为“时事新闻”。
    2. 包含所有的可能
      能否做到这一点,就反映出准备阶段的工作是否充分。当怀疑选项设置可能不全时,可以再去找产品、设计、运营人员探讨、核对。
      此外,可以设置【其它】选项,以确保用户始终可以作出选择;同时,选择【其它___】选项的比例高低也反映了选项设置是否全面。
    3. 用户易理解
      【例子】询问用户使用的手机操作系统时,选项“iOS(iPhone)、symbian(塞班)”就比“iOS、symbian”更容易理解,虽然前一种表达貌似不伦不类。
    4. 变量的测量类型
      实际工作中,只大体区分为“类别变量”和“连续变量”两大类。就统计测量层次上来说, “连续变量”比“类别变量”级别高,包含信息丰富,也可以使用稍高级的统计方法。所以,可能的情况下,尽量让选项“变为连续变量”。
      【例子】 想了解用户平时分享站外内容的情况,两种选项设置(后一种更好):
      A.分享 B.不分享
      A.频繁 B.经常 C.一般 D.很少 E.从不
    5. 态度中立、无诱导性
      【例子】选项“时事政治”改为“时事新闻”;“愤青”改为“热衷点评时政的普通人”
    6. 随机顺序呈现
      若选项为事实性的、类别变量,而非按程度顺序递进的连续变量,那么选项应该随机顺序呈现给答题者,这样可以排除首尾选项或中间选项更易被选择的倾向。
    7. 避免反应心向
      反应心向是指回答问卷的人具有一种比较固定的作答倾向。有时可能是有意识的:讨好出题者;给别人留下好印象。有时可能是无意识的:习惯回答“是”、“同意”;社会赞许性——避免社会文化规范里不赞同、或负面的评价;回避、防卫敏感隐私问题或社会禁忌话题。
      在线下、面对面、有奖品的答题环境下,更易发生有意识的反应心向的问题。在互联网上、匿名的情况下,有意识的反应心向会减弱很多,无意识的反应心向也可以通过以下努力得到缓解。具体做法如下:
    8. 指示性说明部分:强调匿名和保密;强调认真、如实回答才能参与抽奖。
    9. 问卷中:非必要情况下,不要求用户填写收入状况、手机号码。即便确实是调查所需,也要说明缘由,且保留用户自主决定是否回答的权利。
    10. 问卷中:设计一些呼应的题目互相印证;并且可以适当采用反向计分的方式。
  4. 数据分析时:涉及自家产品和别家产品的满意度、好感度等这些态度评价的比较时,一定要小心得出结论(可能存在反应心向,用户对自己产品的评价很好)。
  5. 建立不同问题、选项间的呼应
    一方面,可以互相印证,提升问卷的信度(当然,没必要仅仅为此而增加题量——得不偿失)。另一方面,便于在统计分析时采用交叉分析/列联表的方法——这会为你的调查报告在“丰富、准确、有价值”方面提升很多!
    【例子】“选择目前这家XX作为您最常用的XX的主要原因为?”、“您对目前最常用这个XX主要不满之处为?”这两个题目的结果可以用来互相印证。
    【例子】“您在XX上比较关心什么类型的人?”“您在XX上感兴趣的内容为?”这两个题目可以用来做交叉分析,能找出“人”和“内容”最典型、最具代表性的组合。
  6. 题目的排序

image.png

总体的题目排序原则如上,有时也要考虑一些特殊情况,比如“接触产品时间有先后关系、操作流程有特定的顺序”,此时局部的题目则按“时间/流程先后”排序。

  1. 问卷题量

先看问卷法和量表法的区别:
image.png

可以这样通俗地理解:量表是许多专家、花了大量精力在编制环节(工具本身的信效度很高);测试时需要的样本量稍小一些,就能达到研究目的。问卷原本就需要大量代表性的样本才能实现目的,况且问卷本身的信效度还欠佳,更需要大量样本了。

为了得到大量的样本,且希望数据质量较高,问卷本身就会受到限制——题量要偏少。实际工作中,将问卷总题目数控制在 25 题之内,平均答题时间不超过 300 秒(事后统计)。