DocumentAIKit

Document AI Tools

更新时间：2023-05-17

在当前目录下，需要安装依赖包 运行命令 pip install -r requirements.txt

1. 通用

1.1 图片角度矫正

img_correct.py

• 运行指令 python img_correct.py --img_dir ./imgs --save_dir ./corrected_imgs
• 参数img_dir和img_path不能同时使用

参数名	数据类型	默认值	说明
--img_dir	str	' '	待矫正图片文件夹路径
--img_path	str	' '	待矫正图片的路径
--save_dir	str	./corrected_imgs	矫正后图片保存路径

对应项目--correct_imgs_rotation

1.2 pdf文件转图片

img_to_pdf.py

• 将多张图片组合成一个pdf文件
• 运行指令 python img_to_pdf.py --img_dir ./images --save_dir ./pdf_file

参数名	数据类型	默认值	说明
--img_dir	str	./images	需要转pdf的图片文件夹路径
--save_dir	str	./pdf_file	生成pdf文件的保存路径

pdf_to_image.py

• 运行指令 python pdf_to_image.py --pdf_dir ./pdf_file --save_dir ./pdf_images
• 参数pdf_dir和pdf_path不能同时使用

参数名	数据类型	默认值	说明
--pdf_dir	str	' '	需要转图片的pdf文件夹路径
--pdf_path	str	' '	需要转图片的单个pdf文件路径
--save_dir	str	./pdf_images	生成图片的保存路径

对应项目--pdf_rename_to_images

1.3 图片重命名

images_rename.py

• 运行指令 python images_rename.py --img_dir ./images --save_dir ./images_result

参数名	数据类型	默认值	说明
--img_dir	str	./images	待重命名图片文件夹所在路径
--save_dir	str	./images_result	重命名后图片的保存路径

命名规范：kdan_year-month-day_index[0:8]_uuid[0:4].jpg 对应项目--Images_rename

1.4 根据label截图保存

cut_roi_save.py

• 数据准备：labelme标注的原始数据集（图片和json文件在同目录下）；
• 运行指令 python cut_roi_save.py --input_dirs ./fold1 ./fold2 --label Table --save_dir ./images --size 300

参数名	数据类型	默认值	说明
--input_dirs	[str,str]	./fold1 ./fold2	待处理的多个文件夹（图片以及json）路径，每条路径之间用空格隔开
--label	str	Table	截取图片的标签名[Table,Figure]
--save_dir	str	./images	截取图片的保存路径
--size	int	0	等比缩放短边需达到的尺寸(如不设置此参数，则按原尺寸保存)

对应项目--screenshot_save_by_label

1.5 复制图片和对应json文件

data_copy.py

• 运行指令 python data_copy.py --anno_dirs ./fold1 ./fold2 --data_dir ./fold3

参数名	数据类型	默认值	说明
--anno_dirs	[str,str]	./fold1 ./fold2	待复制图片和json文件夹
--data_dir	str	./fold3	目标文件夹

对应项目--Data_Copy

train_and_val_divide_copy.py

• 对图片和对应json文件进行划分再复制
• 运行指令 python data_copy.py --anno_dirs ./fold1 ./fold2 --train_ratio 0.9 --train_dir ./fold3 --val_dir ./fold4

参数名	数据类型	默认值	说明
--anno_dirs	[str,str]	./fold1 ./fold2	待复制图片和json文件夹
--train_ratio	float	0.9	划分比例
--train_dir	str	./fold3	训练目标文件夹
--val_dir	str	./fold4	验证目标文件夹

对应项目--Data_Copy

1.6 半自动标注

infer_demo.py

• 运行指令 python infer_demo.py --model_path ./onnx_ile/picodet_l_416_lp_0826.onnx --class_file ./lp_label.txt --conf_Threshold 0.5 --img_dir ./images --result_dir ./result

参数名	数据类型	默认值	说明
--model_path	str	./onnx_file/picodet_l_416_lp_0826.onnx	本次使用onnx文件的路径
--class_file	str	./lp_label.txt	label文件（所有label以及对应id）路径
--conf_Threshold	float	0.5	类别置信分数，大于此分数的预测目标才会被保留
--img_dir	str	./imgs	需进行的标注的图片文件夹路径
--result_dir	str	./result	可视化的图片结果过图片保存路径

对应项目--semi_auto_labeling

auto_label.py

• 使用自己的SDK进行半自动标注
• 运行指令 python auto_label.py --mode ~.model --model_licence ~.txt --score 0.5 --image_dir ./images --view_result_dir ./result

参数名	数据类型	默认值	说明
--mode	str	~.model	SDK模型的路径
--model_licence	str	~.txt	SDK模型的licence
--score	float	0.5	类别置信分数，大于此分数的预测目标才会被保留
--image_dir	str	./images	需进行的标注的图片文件夹路径
--view_result_dir	str	./result	可视化的图片结果过图片保存路径

对应项目--SDK_Auto_Label

auto_add_label.py

• 使用自己的SDK在已有的标注下进行半自动添加标注，要根据添加的标签对应改动代码
• 运行指令 python auto_label.py --mode ~.model --model_licence ~.txt --score 0.5 --image_dir ./images --view_result_dir ./result

参数名	数据类型	默认值	说明
--mode	str	~.model	SDK模型的路径
--model_licence	str	~.txt	SDK模型的licence
--score	float	0.5	类别置信分数，大于此分数的预测目标才会被保留
--image_dir	str	./images	需进行添加标注的图片文件夹路径
--view_result_dir	str	./result	可视化的图片结果过图片保存路径

对应项目--SDK_Auto_Label

2. 检测

2.1 单个labelme格式数据集划分、转coco格式

labelme_to_coco.py

• 将单个文件夹（labelme标注格式）划分、转换为coco格式数据集
• 运行指令 python labelme_to_coco.py --labelme_dir ./images --save_coco_dir ./coco_dataset

参数名	数据类型	默认值	说明
--labelme_dir	str	./images	labelme标注格式数据集路径
--save_coco_dir	str	./coco_dataset	划分训练集、验证集并转换coco格式数据集保存的路径

对应项目--divide_and_convert_to_coco_single_fold

2.2 多个labelme格式数据集合并、划分、转coco格式

merge_and_divide.py

• 合并多个labelme标注格式的文件夹，并划分、转换为coco格式数据集
• 运行指令 python merge_and_divide.py --anno_dirs ./fold1 ./fold2 --train_ratio 0.8

参数名	数据类型	默认值	说明
--anno_dirs	[str]	./fold1 ./fold2	多个文件夹，空格隔开
--train_ratio	float	0.8	coco格式训练集比例

对应项目--merge_and_divide_to_coco_multi_folds

2.3 将Labelme导出的json文件转换成Label_Studio导出的json文件

Labelme2Lable_Studio.py

• 将多个labelme标注的json文件转换成可以导入到Label_Studio的json文件
• 运行指令 *python Labelme2Lable_Studio.py --labelme_dirs ./fold1 ./fold2 --project_id project_id

参数名	数据类型	默认值	说明
--anno_dirs	[str]	./fold1 ./fold2	多个存储Labelme导出的json文件夹，空格隔开
--train_ratio	int	project_id	对应到Label_Studio的项目编号

对应项目--Labelme_LabelStudio

2.4 将Label_Studio导出的json文件转换成Labelme导出的json文件

Label_Studio2Labelme.py

• 将Label_Studio导出的单个json文件转换成Labelme标注格式的json文件
• 运行指令 *python Label_Studio2Labelme.py --Label_Studio_json_dirs ./fold1 ./fold2 --Labelme_json_dir ./fold3

参数名	数据类型	默认值	说明
--anno_dirs	[str]	./fold1 ./fold2	多个存储Label_Studio导出的json文件夹，空格隔开
--train_ratio	str	./fold3	存放Labelme标注格式的json文件夹

对应项目--Labelme_LabelStudio

3. 分类

3.1 字体图片生成

generate_imgs_by_fonts.py

• 根据语料库内容生成对应字体的图片，白底黑字
• 运行指令 python create_imgs_by_fonts.py --font_dir ./eng_fonts --text_path ./text/eng_text.txt --save_dir ./output

参数名	数据类型	默认值	说明
--font_dir	str	./eng_fonts	字体文件目录
--text_path	str	./text/eng_text.txt	语料库文件路径
--save_dir	str	./font_img_dataset/windows	生成图片保存路径

对应项目--fonts_images_generate

3.2 语料库生成

generate.py

• 根据文字字典生成字体分类所需的语料库
• 运行指令 python generate.py --start 2 --end 30 --step 2 --dict_path ./chn_dict.txt --save_path ./text/text.txt

参数名	数据类型	默认值	说明
--start	int	0	生成单句语料的最小长度
--end	int	30	生成单句语料的最大长度
--step	int	2	单句语料长度的步长
--word_num	int	10	单句出现的次数
--dict_path	str	./chn_dict.txt	文字字典路径
--save_path	str	./text/text.txt	生成的语料库文件路径

对应项目--dictionary_generate

3.3 带角度图像生成

make_rotated.py

• 根据指定的图片，从0度开始以15度为角度增量，生成带旋转角度的图片，缺失部分用白色背景填充
• 然后将生成的图片划分为4类，img_0, img_90, img_180, img_270
• 运行指令 python make_rotated.py --img_dir ./images --save_dir ./images_rotated

参数名	数据类型	默认值	说明
--img_dir	str	./images	图片文件夹路径
--save_dir	str	./imgages_rotated	生成的旋转的图片保存路径

对应项目--text_image_orientation_dataset_generate

3.4 分类数据集划分

divide_train_eval.py

• 运行指令 python divide_train_eval.py --img_dir ./windows --train_ratio 0.8

参数名	数据类型	默认值	说明
--img_dir	str	./font_img_dataset/windows	待划分的图片文件夹路径
--train_ratio	float	0.8	训练集所占比例

对应项目--classification_dataset_divide

4. OCR相关（对应文件tw_idcard_generator）

• 项目结构说明

文件名	说明
bgs	存放背景图
fonts	存放字体文件
materials	存放各个工具中使用的字典、语料文件
cut_save.py	截取文件夹下所有图片的特定区域并保存
dict_generate.py	生成文字识别需要的字典文件
divide_rec_train_val.py	将文字识别数据集划分成为训练集和验证集
get_addr.py	爬虫获取身份证背面的住址
idcard_det_rec_generate_back.py	生成台湾身份证背面图片
idcard_det_rec_generate_forward.py	生成台湾身份证正面图片，并同时制作正面识别数据集
info_generate.py	信息生成，包括台湾身份证正面的姓名、生日、发证时间，id等

4.1 文字检测数据集生成（台湾身份证）

idcard_det_rec_generate_forward.py

参数名	数据类型	默认值	说明
--img_dir	str	./font_img_dataset/windows	待划分的图片文件夹路径
--train_ratio	float	0.8	训练集所占比例

以上所述的路径，相对路径、绝对路径均可

KDAN MOBILE SOFTWARE LTD. all rights reserved