【ChatGTPのオープンソースソフトウェアを解析

質問

【ChatGTPのオープンソースソフトウェアを解析したことがある方、教えてください】チャットGPTは繋がりがある文字列をただ並べているだけで内容を理解して回答しているわけではないソフトウェアだそうですが、その文字列に繋がりが強い文字列を繋ぎ合わせるだけでなぜ意味があるような文章を生成出来るのですか？

ChatGTPは意味のない文字列の羅列でしかないと言いますが、意味のない文字列の羅列のはずの文字列と文字列の羅列が意味がある文章になって出力されるのかどういう仕組みなのか、ChatGTPのオープンソースソフトウェアを解析したことがある方、教えてください。

回答No.2

kurokuro_siro · ベストアンサー

さきほどに回答後にその旨書いてある記事をみつけましたので補足させていただきます。

記事には「OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています」とあります。

「ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能」gigazine 2023年02月24日
https://gigazine.net/news/20230224-colossal-ai-chatgpt/

お礼

皆さんありがとう

回答No.1

kurokuro_siro

適切な回答でなかったらすみません。
「ChatGTPのオープンソースソフトウェアを解析」することはできないのではないかと思います。
OpenAIからAPIが提供されている、それを使うことができるということであって、誰でもみられるところ（githubなど）にプログラムが置いてあるということではないと思います。
プログラムはどこかのサーバーの上にあって触れないけど、決まった形で情報を渡すと、決まった形で返してくれるという状態なのだと思います。

つながりがある文字列をただ並べているだけで意味があるような文章を生成できる理由は、学習量の多さ、やることが限られている（質問を適切な検索語に置き換え⇒参考データを集める⇒考える⇒文章で応答作る）ということからくるのではないかと推測しています。