系统测试报告 System Test Report

项目名称

AutoCoder

在这份系统测试报告中，我们将评估基于机器学习的故障分类系统在Web环境下的功能、性能和可靠性。该系统的主要目标是对故障进行分类，并根据输入数据预测可能的故障类型。下文将详细介绍测试方法、测试结果和结论。

操作系统：Windows10

浏览器：GoogleChrome 114.0.5735.199(正式版本) (64 位)

硬件配置：CPU: 10700 RAM: 16G

功能测试旨在验证系统是否按照预期执行故障分类和预测。我们将使用各种测试用例，包括边界情况和正常情况，来评估系统的准确性和一致性

性能测试将评估系统在Web环境下的响应时间和吞吐量。我们将模拟不同负载情况，并记录系统的性能数据，以确定系统是否满足性能要求。

可靠性测试将模拟不同场景，包括异常情况和高负载情况，以验证系统是否能够稳定运行，并在发生故障时能否正确处理。

根据功能测试的结果，系统使用赛方提供的训练集进行AutoML监督训练，对验证集进行验证，结果F1值在0.87上下。边界情况表现不够好。

使用AutoST半监督自训练时，F1值达到了0.95，边界情况有明显改善。

建议

性能测试显示，系统在正常负载下的平均响应时间为[响应时间]，吞吐量为[吞吐量]。系统在高负载情况下的响应时间有轻微增加，但仍在可接受范围内。

在可靠性测试中，系统在异常情况下也表现出稳定性，没有出现意外崩溃。系统在高负载情况下仍能正确处理请求。

但是在训练大模型时有概率卡顿、无响应，分析原因后发现是因为本算法在一些参数下会非常复杂，导致服务器算力不足。

同时在测试时发现，由于本系统提供了高度自由的上传机制，可能会受到跨站脚本攻击（XSS），当前使用的过滤和转义存在风险。

系统在Web环境下经过了全面的系统测试。系统在功能、性能和可靠性方面表现出色。它能够准确地进行故障分类和预测，响应时间和吞吐量也满足预期要求，同时在各种情况下都保持了稳定性。美中不足的是当多位用户同时训练大模型时容易导致卡顿和无响应。