你又给我用 ChatGPT 生内容!有办法侦测 ChatGPT 生的内容吗?
ChatGPT 在生成内容方向可以说是非常厉害。对于自媒体经营者来说,它是一个非常棒、可以用来增加灵感的工具;对于创意产业更是如此,像是电影剧本构思,或是游戏环节的设计等等,ChatGPT 也能很快速地给出各种脑力激荡。
但是有利就有弊,由于 ChatGPT 的资料主要也是根据各种大数据训练出来的,它抓取的资料几乎也都是从网路上别人的内容东拼西凑。如果是将 ChatGPT 应用在学术界中,并且直接使用它来生产结果和提交,就很有可能导致论文抄袭和资料不完全正确的问题。
因此这一篇文章中我就想来分享,究竟有没有工具能够因应这种情况,可以用来协助侦测内容是否为 AI 撰写出来的。
在我的频道中我会带给大家更多网路斜杠的知识,并且分享实用的网路工具和资源,让大家也能活出自己的斜杠人生!
你又给我用 ChatGPT 生内容!有办法侦测 ChatGPT 生的内容吗?
ChatGPT 带来的是利还是弊?怎么使用才是正确的

ChatGPT 是由 OpenAI 团队开发的聊天机器人,透过大量数据喂养训练,内容来源包含维基百科条目、社群贴文和新闻、论坛等等。透过这种训练方式,让 ChatGPT 能够去分析你输入的内容,并根据上下文来生成专业且人性化的回复应答。

如果你懂得如何跟 ChatGPT 沟通,并且愿意去学习 Prompt Engineer(提示工程)相关的知识,它绝对会是一个非常实用而且有帮助的工具。然而科技的进步始终是一把双刃剑,有人懂得善用,有人却会选择投机。
要说 AI 的出现会降低生产的门槛是没错,但懂不懂得善用,还是会造就出人和人之间的差别。
延伸相关文章:
♠ 利用这 7 种 AI 工具提高生产力!ChatGPT应用让你变成生产力之王
AI 时代发展出来的新职业:Prompt Engineering
上方影片中我讲解了关于 AI 时代人们是否需要担心被 AI 取代的风险,以及顺应这个趋势下,到底该如何掌握 Prompt Engineering 这个技能。
AI 的确正在悄悄地创造一个全新的革命,国外也因应 AI 的到来,发展出了一种全新的职业叫做 Prompt Engineer(如下图)。根据维基百科的解释, Prompt Engineer 的中文叫做「提示工程」, 提示工程的典型工作方式是将一个或多个任务转换为基于提示的数据集,并通过所谓的「基于提示的学习(prompt-based learning)」来训练语言模型。

有点难理解对吧,其实白话就是你要知道怎么跟 AI 沟通,来拿到你想要的结果啦。目前不论是 ChatGPT,或是靠 AI 来生出艺术品的 Midjourney 和 Dalle.2 这些平台,都是透过输入文字的方式来产出结果。不同的问问题方式,会导致 AI 给出不一样的回复。
去搜寻一下,国外也真的有越来越多这种职缺啰!并不是我随便讲一个专有名词吓人。

延伸相关文章:
♠ 到底该怎么问 ChatGPT 问题,AI 时代你应该具备的 Prompt Engineer 技能
ChatGPT Prompt 学习书籍资源:The AI Advantage

在 The AI Advantage 这个网站,作者有做出了一本电子书,里面他整理了 400 多种 ChatGPT 在问问题时可以使用的模板,让你可以透过词语抽换的方式去做使用。

目前一本书只要 $24.95 美金(约相当于台币 $750)左右,下完单就会在 Email 收到这本电子书。
它里面分了 5 个领域的模板,分别是 Productivity(生产力)、Writing(写作)、Social (社群)、Health(健康)还有 Entertainment(娱乐)。它的每一类别中又包含了很多小类别,比如 Writing 里面包含写诗、写 Rap 还有写 Cover letter 等等,模板的长相就跟下方三张图一样,包含 Prompt 问句用法、Formula 词语替换的公式跟 Example 例句。

也就是说你可以直接复制它的问句模板,然后替换成自己的贴到 ChatGPT 去问问题。比方说下方的写故事模板,你就可以把主角、你写要写出什么跟两个人物这些地方替换,变成你自己的问题。

虽然书中是以英文问法提问为主啦,不过你其实只需要在问句后面加个[请用中文回复],这样 ChatGPT 就会给中文的回复啦!所以你不也太需要担心语言的问题。

我觉得他的书里面那些模板真的可以帮助你更快的在 ChatGPT 问出好的问题,让它给你生出更好的回复。所以也推荐想要学习 Prompt 的人可以买这本 ChatGPT prompt template 电子书来看看,其实也是一个蛮棒 Prompt 学习资源还有小投资!
接下来的 ChatGPT 内容侦测评测,我也会直接使用这本电子书的论文模板去做改写。
侦测 ChatGPT 生产内容的工具
在说完 ChatGPT 的出现可能带来的冲击还有因应 AI 时代新出现的职业之后,接著我们就来说说有关 ChatGPT 生产的内容是否可以被侦测这件事情,我想这也是蛮多学者或是教职人员会想要知道的事情吧。
不过我 Run 过一轮,也寄信问过很多平台,市面上的工具主要还是以侦测英文内容为主,能够针对中文内容做侦测的工具并不多。这也代表对中文市场来说,这种利用 AI Detector 来侦测 AI 内容的部分,还是一个很大的潜在商机喔!
主流的 3 个 ChatGPT 侦测工具
因此接下来要测试的内容,主要还是会先以英文的内容为主。那我会专注在 3 个比较主流的 AI 内容侦测工具,分别为由普林斯顿大学 Computer science 的学生研发的 GPTzero、加拿大 DNG.AI 公司研发的 GPT3 Content Detector 以及 ChatGPT 的研发团队 OpenAI
他们自己推出的 GPT-2 Output Detector Demo。
更多 ChatGPT 侦测工具
如果你想要测试更多工具,可以到 Futuretools 这个网站,点选 AI Detection,就会有更多可以去测试的工具啦!

另外一个网站就是 Chat GPT Detectors,这里也有很多 AI 内容侦测的工具,上面也有附上评分星等,你也都可以去尝试看看。

ChatGPT 侦测工具是否真的精准?
首先我先使用前面提到的 ChatGPT Cheat Sheet 这一本电子书,找到 essay 写论文相关的 Prompt 模板。

接著复制这一串丢到 ChatGPT,然后将论文的研究目的修改成『ChatGPT 诞生后,该如何增加我们自身竞争力的论文』,这个结果顺便也给你当作参考。

然后 ChatGPT 就生出了这一大段文章。里面说我们可以学习跟 ChatGPT 的沟通技巧 ,也就是前面提到的 Prompt Engineering 提示工程。然后可以去学习相关技术,比方说学程式、数据分析等等。

第三点说我们可以持续发展创意来跟 ChatGPT 擦出更棒的火花;最后是 Emotional Intelligence(情商),主要是在说 AI 无法分析人的情绪,所以我们需要将别人的情绪纳入考量,将 ChatGPT 的产出添加更多会让他人有共鸣的内容。

第一个 ChatGPT 侦测工具:GPTZero
将前面的一大串文章复制起来丢到 GPTZero 里面,按 Get Result 就能够立刻判断。

结果显示,这边它说看起来整篇完全都是 AI 写出来的,所以是有成功判断出来的。

第二个 ChatGPT 侦测工具:GPT-3 Content Detector
第二个我们丢到 GPT3 Content Detector,按下 Analyze,这个工具会分析得比较久一点。

结果出来了,这里写说 99% 都是 AI 生产的,所以也是能够正常判读出来。

第三个 ChatGPT 侦测工具:GPT-2 Output Detector Demo
最后是 ChatGPT 团队自己研发的 GPT-2 Output Detector Demo,把内容丢进去它就会开始分析了。(BTW 这个工具也可以丢中文的内容)

结果显示,有 99.98% 的机率是 AI 生成的。虽然这个 AI 内容侦测工具是建立在 GPT-2 旧版的运算模型,现在的 ChatGPT 版本是 GPT-3.5,但是还是可以侦测地出来是否为 AI 生的内容。

目前直接复制 ChatGPT 的内容贴上的方式,经过 3 种工具测试下来,都是可以很清楚的判断文章是 AI 生成的。
延伸相关文章:
♠ AI 即将改变整个学语言的方式!6 个使用 ChatGPT 学语言的方式
词语替换后,再来测试一次这些 AI 侦测工具
接下来我就要来试试看将内文做词语替换之后,会不会让 AI 工具没有办法去做判断。
这里我用 GPT-MINUS1 这个词语替换的平台,来帮我重写文章。所以我就贴上前面的内容,按下 Submit。

往下滑就可以看到词语改写之后的文章啦,然后复制新的文章,重新来做一次前面 3 种侦测工具的测试。

第一个 ChatGPT 侦测工具结果:GPTZero
结果 GPT-Zero 这个工具,说这个内容应该是人手写出来的。

第二个 ChatGPT 侦测工具结果:GPT-3 Content Detector
第二个 GPT3 Content Detector 它也改口,说这个内容应该是人为手写出来的。

第三个 ChatGPT 侦测工具结果:GPT-2 Output Detector Demo
最后一个 OpenAI 的工具结果也变成了 94.58% 是真的人为写出来的。

由此可见,以上三种工具在文章经过 AI 文章改写工具改写之后,都侦测不出来内容是 AI 撰写的了。
结论
测试完之后我的结论是,如果有人真的有心想要使用 ChatGPT 来生论文,真的还是防不胜防啦~而且这些工具的正确性,还是很难达到百分之百精准。但是就跟我最一开始说的一样,我仍旧不鼓励把 ChatGPT 生产的内容直接拿来当作结果提交。
虽然使用前面像是词语替换的方式,是有机会可以规避掉一些 AI 侦测工具的侦测,但是就跟刚刚我问 ChatGPT 的问题一样,我们要怎样变得更有竞争力,人机的合作,将 AI 生成的内容与自己的创意做结合是很重要的一环。
其次是 OpenAI 团队开发的 AI Detector 目前还是停留在 2.0 版本,说不定未来有更多资料和判断依据之后,词语替换的方式也很有可能可以被侦测出是 AI 写的也说不定,所以真的还是不要抱侥幸的心态。
好啦,如果这篇文章有让你学到东西的话,也欢迎订阅我的 Youtube 频道,才不会错过新的网路斜杠资讯。

