作业github地址: paper_review
| 这个作业属于哪个课程 | 计算21级 |
|---|---|
| 这个作业要求在哪里 | 个人项目 |
| 这个作业的目标 | 项目管理实践及PSP表格熟悉 |
题目要求
题目：论文查重
描述如下：
设计一个论文查重算法，给出一个原文文件和一个在这份原文上经过了增删改的抄袭版论文的文件，在答案文件中输出其重复率。
原文示例：今天是星期天，天气晴，今天晚上我要去看电影。
抄袭版示例：今天是周天，天气晴朗，我晚上要去看电影。
要求输入输出采用文件输入输出，规范如下：
从命令行参数给出：论文原文的文件的绝对路径。
从命令行参数给出：抄袭版论文的文件的绝对路径。
从命令行参数给出：输出的答案文件的绝对路径。
我们提供一份样例，课堂上下发，上传到班级群，使用方法是：orig.txt是原文，其他orig_add.txt等均为抄袭版论文。
注意：答案文件中输出的答案为浮点型，精确到小数点后两位
开发环境
操作系统: Windows 11 21H2 X86_64
使用语言及版本: Python 3.9.13
IDE: VSCode
实现设计
1, 使用jieba库，根据语义将将文章分割为多个词语
2, 统计词频，生成一个list
3, 使用该list计算得到tf向量，然后计算余弦相似度
4, 输出结果
实际运行
python main.py D:\code\cyber_dingzhen\paper_review\text1.txt D:\code\cyber_dingzhen\paper_review\text2.txt D:\code\cyber_dingzhen\paper_review\output.txt
性能分析
通过cProfile测试性能后，使用snakeviz做可视化展示
异常处理说明
当无法读取、写入文件则抛出报错信息
PSP表格
| PSP2.1 | Personal Software Process Stages | 预估耗时（min） | 实际耗时（min） |
|---|---|---|---|
| Planning | 计划 | 20 | 20 |
| Estimate | 估计这个任务需要多少时间 | 5 | 5 |
| Development | 开发 | 60 | 60 |
| Analysis | 需求分析 (包括学习新技术) | 10 | 10 |
| Design Spec | 生成设计文档 | 10 | 8 |
| Design Review | 设计复审 | 5 | 2 |
| Coding Standard | 代码规范 | 10 | 5 |
| Design | 具体设计 | 10 | 10 |
| Coding | 具体编码 | 10 | 10 |
| Code Review | 代码复审 | 5 | 2 |
| Test | 测试 | 10 | 8 |
| Reporting | 报告 | 20 | 20 |
| Test Repor | 测试报告 | 5 | 5 |
| Size Measurement | 计算工作量 | 10 | 10 |
| Postmortem & Process Improvement Plan | 事后总结, 并提出过程改进计划 | 5 | 5 |
| 合计 | 195 | 180 |