2024年12月6日，OpenAI在发布会第二日宣布推出强化微调功能（Reinforcement Fine-Tuning），开发者可以使用极少训练数据在特定领域轻松创建专家模型。OpenAICEOSam Altman表示：强化微调的alpha项目现已启动，正式版将会在25Q1发布。
　　强化微调通过少量示例实现高效适应，重视高质量数据集合作。根据OpenAI，强化微调是一种先进的模型定制技术，允许开发者通过使用数十到数千个高质量的任务来定制模型，并根据提供的参考答案来评估模型的响应。这种技术通过加强模型在类似问题上的推理能力，提高了模型在特定任务和领域上的准确性。值得注意的是，OpenAI在强化微调研究计划中强调希望与愿意共享数据集的组织合作，利用这些数据进一步优化模型性能，进一步有望为具备优质数据集储备的相关领域公司带来商业化价值提升，如教育、医疗等领域，同时也有望为业内具备类似专业领域模型布局的公司提供产品能力参考。
　　强化微调研究计划内测结果表现出色，专业领域模型能力有望提升。强化微调技术目前处于内部测试阶段，计划在25年全面推出。强化微调研究计划具体内容：1）API访问权限：参与者将获得强化微调API的alpha版本访问权限，以便在专业领域进行测试。2）反馈与改进：OpenAI征求用户反馈，以便在API公开发布之前对其进行改进。3）数据集合作：OpenAI希望与愿意共享数据集的组织合作，利用这些数据进一步优化模型性能。在OpenAI内部测试中，微调后的o1模型在生物化学、安全、法律和医疗保健等解决复杂任务的研究领域取得出色表现。
　　我们认为强化微调功能有助于优化定制模型显著提升专业领域能力，建议关注1）在垂直领域有高质量独家数据集储备的公司，有望受益于模型专业领域能力提升带来的数据集使用变现率提升，如【中文在线】【上海电影】【视觉中国】【中国科传】【中信出版】等；以及2）各垂类领域AI应用及模型专业领域推理能力重点布局公司，如【昆仑万维】【朗玛信息】【盛天网络】【第四范式】【世纪天鸿】【科大讯飞】（计算机覆盖）等。
　　风险提示：行业竞争加剧、应用落地进展不及预期、政策监管风险。