都说医疗、金融等专业领域的语料数据稀缺，制约大模型AI发展，能不能让两个ChatGPT对聊，聊出点数据？近日，天桥脑科学研究院（TCCI）主办AI For Brain Science系列会议第二期“面向AI模型的数据生成方法及其对医疗领域的启示”。在上海交通大学计算机科学与工程系副教授吴梦玥主持下，青年科学家分享了关于破解大规模语言模型数据瓶颈的看法和实践。
【资料图】
“知识蒸馏”与快速构建专属GPT
国际上一项研究评估指出，ChatGPT回答癌症相关问题的水平已经与美国国家癌症研究所的官方回答持平。然而，ChatGPT只能通过受限的API进行访问。涉及到个人医疗，人们也普遍不希望将个人隐私信息分享给第三方公司。
针对这样的难题，加州大学圣迭戈分校博士生许灿文和中山大学团队的合作者提出了一种能自动生成高质量多轮聊天语料库的流程，利用ChatGPT与其自身进行对话，生成对话数据，再基于产生的对话数据调优、增强开源的大型语言模型LLaMA。他们从而获得了高质量的专属模型“白泽”，并在数天前推出2.0版本。这个名字的灵感来源是中国古代传说中的一种神兽，“能言语，达知万物之情”。
许灿文说，白泽在这个过程中并没有学会新的知识，只是提取了大模型中的特定数据，并且保留了ChatGPT分点作答、拒绝回答等强大的语言能力。这在专业上被比喻为一种“蒸馏”。他们进一步提出了反馈自蒸馏的概念，即利用ChatGPT当教官，对白泽回答的结果进行评分排序，从而进一步提高白泽模型的性能。
许灿文认为，白泽通过自动化的“知识蒸馏”，在特定领域达到ChatGPT的能力，成本却远低于ChatGPT，兼具经济意义和实用意义。在医疗领域，本地化或私有化建构的模型将有利于消除隐私顾虑，辅助患者诊疗。未来也许每个人都将有自己的专属AI助手。
数据生成新策：大模型优化医疗文本挖掘
ChatGPT具有创造性的写作能力，在医疗、金融、法律等标注数据很少的领域以及知识密集型领域表现出色。然而，具体到医疗文本挖掘，他们发现将ChatGPT直接应用大型模型处理医疗文本的下游任务，表现并不总是优秀。
莱斯大学博士生唐瑞祥和合作者提出了一种新策略：利用大型模型生成大量医疗数据，再通过小型模型对这些数据进行训练。实验结果显示，相较直接利用大型模型执行下游任务，这一新策略能取得更出色的效果，同时因为模型数据在本地，也大幅降低了潜在的隐私风险。
他们进一步指出，随着开源大模型数量的增加和大模型能力提升，其产生的文本数据与人类产生的文本数据的差别将越来越小，能否有效检测出数据是不是GPT生成的，将影响到广大用户对大模型AI的信任度。
大模型时代的数据生成有什么不一样？
那么，在没有GPT的时代，科学家们如何解决数据稀缺难题？大模型又带来了哪些新趋势？
上海交通大学博士生曹瑞升谈到，深度学习本质上是一种找出从输入x到输出y的映射过程，所以需要大量的(x, y)数据对来训练。在医疗这样不容易获得大量真实数据的领域，就需要人为生成更多的(x, y)数据对。
展望未来，曹瑞升总结了数据生成在大模型时代的几大新趋势。首先是构建更通用的模型，以确保其能应用于多样化任务。其次是从特定任务出发，进一步精细化地处理。例如，在医疗领域，甚至可以针对特定类型的抑郁症进行专业化的任务处理，提供更精准个性化的解决方案。最后，数据生成和模型训练的过程将从分离走向融合，而为了保证数据质量的硬性过滤也将逐渐被软性控制所取代。
作者：唐闻佳
编辑：唐闻佳
责任编辑：姜澎
*文汇独家稿件，转载请注明出处。
关键词：
