昨天高考结束了,最近这半年AI实在太过火热,我也每天都在使用AI工具。高考过后肯定会有人尝试使用AI解答高考题目,我就自我先测试一下,看看ChatGPT能力如何,我个人只测试了2023年全国新高考一卷的8个选择题,将题目转换成latex,分别测试了ChatGPT4+Wolfalpha plugin和Google Bard
结果就是ChatGPT4一次交互回答答对6题,有两题回答无法解决,有一个回答存在明显错误(2倍根号2小于根号5),在指出它的错误后,就给出了正确答案,还有一题三角函数我也无法给出提示,所以实在是解答不出来,所以综合来看可以认为它8道题对了7道,还有一道也不能判它错(它明确说了它不会,而不是直接胡说八道给了错误答案)
针对Bard,由于它不支持中文,所以我用GPT4将中文转成英文让Bard解答,Bard的结果就是8对4,每个回答都充满了自信
ChatGPT4+Wolfalpha的准确率确实是让我震惊了一上午,已经预料到它准确率会挺高,没想到能这么高。但是也可以看到它虽然给出了正确答案,但很多时候和正常做题的思维方式不一样,能计算的就直接暴力计算求解,不会和真正的考生一样,主要靠换算推理
另外也能直观的感受到,AI有它擅长的地方,也有不擅长的地方,作为用户应该学会如何扬长避短,至少要有一定的review能力,判断AI给出的方案是否合理,这样才能和AI友好合作发挥出它最大的能力
点击全文查看和AI的交互全过程
阅读全文