截至2025年1月,全国已有302款生成式人工智能服务通过备案,广大财务人员面对这么多AI工具,就像是满汉全席已经摆上桌,而我们却不知道如何“动筷”。 2025年1月20日,我国AI公司深度求索发布具备深度思考能力的DeepSeek-R1,也在会计圈引起广泛讨论。那么,AI大模型对会计类问题的回答水平如何?它们能否成为会计人的得力助手?除了DeepSeek,还有哪些AI工具值得一试?
基于上述背景,我们展开本次测评,以期选出当前阶段最适合财会人员使用的免费AI大模型!
PART1 众测主要结论
测评得分前三AI工具:DeepSeek、ChatGPT-4o、豆包。
在本次测试中,13款AI工具回答了27个问题。结果显示,测试问题评分最低为0分,最高为10分,中位数均不低于6分,平均分最低为5.6分。这意味着,使用其中任何一款AI工具,用户基本上都能获得“尚可”到“良”的回答质量。
AI工具回答问题质量总体进步迅速。
PART2 测试方案
【测评规则】 在本次测试中,20名志愿者共提出了27个与会计专业或职业相关的问题,其中包括主观题和客观题(中级会计师和CPA考试的各2道单选题,以及3道根据CPA单选题改编的计算题),并对13款AI工具的回答进行评分。
【测评对象】 本次测评选择的AI工具包括ChatGPT-4o和12个国内产品。ChatGPT-4o版的答案由在欧洲的参评人Alohaha2013提供。国内产品的候选标准是免费可用,且AI工具问答推荐较多。测评产品展示如下:
【打分细则】
PART3 测试结果展示
本次众测于2025年2月6日至11日进行,测评结果显示:13款AI工具对27道问题的回答评分中位数在6到9分之间,平均分介于5.6到8.2分。虽然最高分达到了10分,但也有部分回答得分极低,甚至出现0分的情况。总体来看,AI工具总体能给予一个“尚可”或者“良”甚至更好的答案,部分问题甚至能给出“优秀”答案,但也存在极差回答的情况。因此,选择合适的AI工具对获取高质量答案至关重要。
PART4 总结与思考
关于本次测试,本公众号有如下几点总结和思考:
根据众测结果,国内用户在询问会计类问题时,目前首推DeepSeek,豆包和KimiChat也是不错的选择。DeepSeek在27个问题中的表现总体达到“优良”甚至“优秀”水平,最低也能提供“尚可”的答案;ChatGPT4o和豆包的表现接近“优秀”,但质量下限较低;KimiChat总体表现“优良”,但个别题目得分仅为1分。其他AI工具也有一定潜力,值得尝试。
AI工具在会计类问题上已具备一定实用性,但回答质量参差不齐,甚至存在“一本正经说胡话”的现象,因此仍需专业人士把关,不可完全依赖AI。 AI工具在注册会计师考试题目上的表现显著提升,可能具备通过考试的能力。在测试题目中,第23和24题是中级会计师考试真题,13款AI工具全部答对;第25和26题是根据注册会计师考试真题改编的问答题,分别有3个和4个AI工具答错,其余均正确,总体得分率在73.54%。对比半年前(2024年8月)的测试结果,当时GPT-4等模型在注会考试类问题上表现不佳,而如今AI的成绩可能已有显著提升。
AI在理解和处理会计分录问题上的能力正在不断增强,较我们两年前测试时有明显的改善。测试题目第27题要求生成相关会计分录,DeepSeek和豆包均输出了正确分录。以下呈现DeepSeek的回答:
我们看到AI大模型的财务能力正以超越想象的速度进步,同时我们也感受到了财务人员在这一趋势下困惑与迷茫。
面对AI的冲击,想只会焦虑,用才有收获。 我们希望通过这次评测,降低信息不对称,让AI大模型的便利触达更多财务人。我们诚挚地邀请大家一起分享、传播这次评测的结果,让更多的行业同仁受益!
AI工具在会计领域的应用远不止用于回答问题,您对此有哪些探索的经验,欢迎留言分享。
附录
本测试中使用的免费国内大模型链接 DeepSeek https://chat.deepseek.com/ 云雀大模型(豆包) https://www.doubao.com/chat KimiChat https://kimi.moonshot.cn/ 讯飞星火 https://xinghuo.xfyun.cn/ 百川智能 https://www.baichuan-ai.com/home 天工 https://www.tiangong.cn/ 腾讯混元 https://hunyuan.tencent.com/ 商量 https://chat.sensetime.com/ 通义千问 https://tongyi.aliyun.com/qianwen/ 零一万物 https://platform.lingyiwanwu.com/ 智谱清言 https://chatglm.cn/ 文心一言 https://yiyan.baidu.com/
资料来源:财务数字化探索
组稿制作:谢朝喜
责任编辑:李前
内容审核:王涛
声明:本文所用素材部分来源于网络,如涉及版权问题,请及时与我们联系。