Use Guide.md 6.1 KB

#KdanAuto 使用帮助

##一、为什么要做这玩意? QA 做作为 ComPDFKit_Conversion(以下统称 SDK) 交付品质把关最后一环,人力投入不足,无法满足SDK 内容随测、以及每个版本的通测,更加没有人力去做每次提测版本的全文档、各种情况覆盖测试,SDK 交付品质难以得到保障。同时,如果品质出现问题,整个团队又需要消耗掉更多的时间和精力去应对各种突发状况。

SDK 测试大致工作量如下:

  • 转档SDK支持14种格式,每种格式又分别涉及注释、签名、表单等各情况测试;

  • 命令行工具各种参数组合保守估计多达300-400种,每一种参数组合按一个 PDF 文档(一页)算

  • 工作量(不算转档实际耗时,)只算对比结果,每轮通测所需要的人力消耗大致为(文档转换 14种格式 x 100份文档 / 10小时工作时间 / 60分钟 = 2.3 人.天)

  • 同时纯人工识别对照,还存在一定的失误率(例如一篇文章中,错了几个字,缺了几个字是无法肉眼察觉的)。

    Note:随测和功能通测都是最耗费人力的
    

##二、KdanAuto 能干什么? KdanAuto 里面直接集成转换 SDK,能够对指定目录内的文档,进行一键式自动转档,并同步将转换出来的档案与前一个(SDK)版本进行预览结果对照、生成对照报告。给 QA 后续将要执行的新功能测试做粗过滤、做参考。

同时可以对【命令行工具 注释、高亮、加水印、提取等编辑功能自动化执行生成的结果文档】做对照,粗过滤出存在差异的内容,供 QA 精准测试。

具体功能有

  • KdaAuto ->导入文档到不同格式转档目录 -> 执行一键转档 -> 自动对照转档结果(与之前版本结果的差别)->生成对照报告

  • 命令行工具->任意平台,命令行批量编辑(注释、加水印、高亮等)->将结果文档导入 KdanAuto -> 一键(与之前版本结果进行)对比->生成对照报告

  • 可考虑作为工程师自测工具,确保开发的功能块,不会对其它的功能模块产生影响

##三、具体有哪些功能?

###1、设置测试文件夹目录、建立文件夹、导入文件

点击 App 右下角“更多...” 按钮,在弹出的设置菜单中,设置自动化测试文件根目录(如下图所示)。

其中根文件目录中的子文件,可以手动创建,App 也能根据实际情况自动创建(从 App 导入文件时)

####【手动创建】

在根目录内,手动创建如下图所示目录结构(每种文件,对照测试)目录结构类似。

上述列表中,相关目录中的转档类型,留意与 App 配置目录保持一致

接着再可以考虑手动或自动往各类型的 “Origin Files” 测试(原)文档目录中导入测试文档

####【自动创建】

通过 App 给不同转档类型导入文件(支持文件复制 或 超链接导入),自动生成“Origin Files” 目录;在转档过程中,再自动生成“Result Files” 和 “Check Files”目录结构,如下演示操作

###2、执行测试 & 更新对照文档

第一次测试,由于没有对照文件,所以测试对照结果均会为0%(模拟SDK第一轮发版),这个时候是需要 QA 人力对所有文档做确认,看有哪些功能是有完善的,哪些是有欠缺的。

第一次测试的结果,可以存为对照结果(例如,我们可以拿线上已经发布上线的版本转档快照用作对照结果)。

在后续每轮次测试的时候,(之前已经有生成对照结果文档的测试档,)就会对应地对比出结果,如下演示

接着用将 PDF 库替换成新版本(例如从1.5.0 -> 1.6.0)(演示视频中的效果,是用 Pro Mac 将原文档进行适当的编辑,来模拟得出不同的结果进行演示)

    Note:
    - 第一次测试演示,没有对照快照,所以对照结果相似度为0%
    - 第二次测试演示,相同的3份文档,相同的库,对照会是完全一致的;
    - 第三次测试演示,对比出来有差异的项,是用 PDF Reader Pro,将原文档进行一定的修改,模拟不同 SDK 版本,转档出来的内容有差异时,会是怎样的对照效果

###3、勾选测试选项

常规格式,目前暂时只支持预览对照,后续再可以逐步添加对文档内容做更精准的对比测试,例如可以直接读取 Word 文档,看 PDF 转 word 文档的内容准确度。

目前可以支持从 每种类型选项中,按需逐个【勾选】或【取消】,也可以从菜单中,点击【全选】和【全部取消】

###4、导出测试报告 文字报告,在原本选择的测试目录(*文档五*)下,会生成文字报告;对照图报告导出如下

Note:
- 对照报告导出,可以只指定导出有差异的项;
- 对照报告导出,可以只导出某个文件,可以只导出某种格式,也可以全部导出

###5、命令行转档对照测试

  • S1、左侧列表中,选择 PDF 子选项,在右侧内容面板中添加文件,(留意最好添加软链接 ,原文档在 命令行工具中,只是做为识别文件索引)

  • S2、将命令行工具编辑生成的文件,复制到 “Result Files”目录中,留意保持与 Origin Files 中文件结构一致(包括名称和后缀)

  • S3、执行对照测试,第一次测试,对照结果会全为0%;

  • S4、查看对照结果,及导出测试报告(注:将内容更新作为对照后,第二次测试,会得到实际的对照结果,有版本更新后,将能得到相同文档,不同命令行库版本转换出来的内容差异;差异效果同转档对照)

横向对照效果,如果只是改变了文字,比较难发现有差异

覆盖对比能比较好发现,中间有多了什么,少了什么,以及文字有位移的情况