模型训练相关的审查意见答复策略

作者：程源 资深专利代理师

随着ChatGPT的大火，人工智能模型的训练再一次成为各界关注的焦点。行业内涌现出许多与人工智能模型训练相关的专利申请。由于人工智能模型的中间数据处理流程类似于黑盒（输入数据直接得到模型输出结果，中间过程不可见），且人工智能模型的训练原理都是通过预测结果和实际结果（标注数据）的差异，来优化模型参数。许多人工智能模型新申请看起来大同小异，难以突出申请文件与对比文件的区别，这对审查意见的答复提出更高的要求。下面简单通过三个案例分析模型训练相关的审查意见答复策略。

（1）案例1：从模型的训练方式论述区别

对比文件的大致方法：首先将多目标图片输入到共享层，来进行特征提取，然后将提取到的特征图输入到ADPN（模块1）来实时准确地生成多目标区域，之后将生成的多目标区域输入到DALN（模块2），来推断区域中目标的类别和位置。

申请文件的大致方法：将图像输入目标识别模型得到图像中对象的类别和位置。目标识别模型结构包括：基础网络部分、第一分类网络和第二分类网络。其中，基础网络部分和第一分类网络负责识别对象的分类。基础网络部分和第二分类网络负责学习对象的位置，并通过全连接层输出对象位置坐标。

审查意见的核心观点为：对比文件和申请文件的模型架构（共享层相当于基础网络部分，ADPN相当于第一分类网络，DALN相当于第二分类网络），输入内容（均为图像）和输出结果（均为目标的分类和位置）基本一致。

核心区别点答复：对比文件中确定目标的类型，需要共享层，DALN和ADPN协作完成；例如，DALN的输出依赖于ADPN的输入。申请文件中识别目标的分类可以基于基础网络部分和第一分类网络部分，无需依赖第二分类网络部分。也就是说，申请文件中第一分类网络部分和第二分类网络部分的训练可以独立进行，而对比文件中DALN和ADPN无法单独结合共享层得到数据处理结果（类似于串行和并行的区别）。

可见，当两个模型的架构，输入和输出类似时，还可以关注模型处理过程中数据的流向，以及模型中不同模块间的依赖关系，从而说明申请文件与对比文件之间的差异。

（2）案例2：从模型的输入数据论述区别

对比文件的大致方法：获取对着装状态下服装表面进行拍摄的一组图像序列，对图像序列进行目标识别，得到含有服装信息的目标点坐标，目标点坐标是含有服装信息的位置坐标，根据目标点坐标和图像序列建模得到服装三维模型。

申请文件的大致方法：获取待建模对象在不同视角下的平面图像，并获取待建模对象的边界信息，边界信息用于指示待建模对象在平面图像中的实际边界，基于平面图像和平面图像的边界信息，对待建模对象进行建模。

审查意见指出核心思想都是：获取三维对象在不同视角下的平面图像，并根据这些平面图像对三维对象进行建模。对图像序列进行目标识别，得到含有服装信息的目标点坐标，相当于获取待建模对象的边界信息。

核心区别点答复：对比文件中目标点是指含有服装信息的坐标点，而服装信息是包含服装表面信息的（不只是服装的边界）。申请文件中，待建模对象的边界信息用于指示平面图像中的实际边界。因此，对比文件中的目标点与申请文件中的边界信息并不等同。在输入数据不同的情况下，模型的训练方法和数据处理过程显然也是不同的。

可见，当申请文件的核心思想和对比文件相同时，可以通过强调输入数据的不同来论述方法的不同。输入数据的不同可以考虑从以下一个或多个角度论述：①维度不同，如一种是输入的多维数据，一种是输入的一维数据。②数据预处理过程不同，如一个问题的多个答案，一种是采用不同模型针对同一个问题生成的答案，一种是采用同一个模型对一个问题的两种提问方式生成的答案。③针对相同的输入数据提取的特征信息不同，类似于案例（2）中的情况。

（3）案例3：从模型的分支（模块）论述区别

对比文件的大致方法：将样本图像分别输入至初始模型和预先训练的第一图像类别检测模型，基于初始模型输出的类别预测结果和样本图像的标注信息建立的第一损失函数，基于初始模型的目标层的输出信息和第一图像类别检测模型的目标层的输出信息建立第二损失函数，基于第一损失函数和第二损失函数对初始模型进行训练，得到第二图像类别检测模型。

申请文件的大致方法：对输入的图像进行特征提取，根据提取到的图像特征确定图像对应的预测标签以及预测图像信息，根据预测标签与图像的原始标签确定第一损失函数值，并根据预测图像信息和图像的原始图像信息确定第二损失函数值，通过第一损失函数和第二损失函数对模型进行优化。

审查意见指出核心思想都是：输入的都是图像，且都是通过第一损失函数和第二损失函数对模型进行优化，对比文件和申请文件的模型结构也相似。

核心区别点答复：对比文件中，初始模型和预先训练的第一图像类别检测模型，作用都是检测图像的类别（两个分支作用相同），并不能预测图像信息。申请文件中，一个分支用于预测图像类别，一个分支用于预测图像信息（两个分支作用不同）。因此，对比文件和申请文件的模型架构实际是不同的。此外，申请文件中，第二损失函数的构建为独立分支，不依赖另一个分支中的数据，而对比文件中第二损失函数的构建依赖于两个分支中的输出数据。也就是说，对比文件和申请文件构造的损失函数不同。

可见，当模型结构在形状上相似时，可以深入分析各个分支、模块的作用。任一个分支或者模块的不同，均会导致最终的训练结果不同。此外，在模型存在多个分支时，还可以结合损失函数进行分析，如分析对比文件和申请文件中损失函数的构建需要依赖哪些分支等。

除了上面三个案例提供的答复思路外，还可以考虑从以下角度论述区别：①模型输出结果的差异，如一种模型只输出位置信息，另一种模型可以输出位置信息和识别结果。②损失函数的优化改进，比如针对梯度的调整。③数据或者模块在训练过程中的作用，如图像在一个模型中用于确定另外两个图像间的关联，在另一个模型中用于确定对象的运动轨迹；又如，模块在一个模型中对模型中的网层进行训练后可以去除（辅助训练作用），在另一个模型中模型的输出依赖模块输出的中间结果。

总的来说，在答复人工智能模型相关的审查意见时，可以注重从上述角度对申请文件和对比文件中的细节进行对比，通过细节上的差异来说明模型整体训练过程，或者数据处理过程的差异。同样的，在撰写过程中，也可以基于审查意见的答复思路来对申请文件进行完善、扩展。以上仅为笔者在日常工作中对人工智能模型相关的撰写和答复的总结，若有不完善或不准确之处欢迎批评与指正。