最近XでClaudeを使ってみた的なポストがよく流れてきています。
聞くところには「ChatGPTよりもいい」と...?(まさか...?)
早速使ってみた結果、私は早速有料課金をしてしまった笑
そのため、利用した際の実例と、どのような点がChatGPTより個人的によいと思ったのかを本記事にて解説してまいります。
最後までお読みいただけると嬉しいです。
Claudeのランディングページ。シンプルで実用性重視の雰囲気
※本記事では2024年3月18日時点で最新のClaude 3 について解説します。
なぜこのサービスを使うか?
ChatGPTについては、新バージョンのChatGPT5の登場も噂されている
ものの。
個人的にはプロンプトの設計が悪いと質問内容が堂々巡り になるなど、
私のようにエンジニアとして使う範疇では、 まだAIと対話する限りでは実用的なレベルになっていない。どちらかというと未知の解決手段を見つける際に利用するなど、ブレストの相手として向いているレベルだな
と思っていたのも事実でした。
それは有料版に課金しChatGPT4の利用を行ってもなお、同じ感想にとどまっています。
今回のClaude 3はその認識を覆しうるものと理解しています。
Claude 3は何がすごいのか?
トップページには
Claude is a next generation AI assistant built for work and trained to be safe, accurate, and secure.
クロードは仕事用に作られた次世代AIアシスタントで、安全、正確、セキュアになるように訓練されている。
とあります。詳しくは解説しているページを見てほしいとのことですので以下のURLをクリックします。
参考URL: Meet Claude
- より進化した認識
- 視覚による分析
- コード生成
- 多言語化対応
など、日本人のプログラマ・エンジニアに最適化したようなパッケージとなっていることが想像できますね。
3段階のAIモデル
現在、Claudeの最新版3では3種類のモデルが用意されているようでした。
- Opus (最高だが遅い)
- Sonnet(中くらい)
- Haiku(低いが早い)
もちろん、それぞれユースケースによって使い分けていくことになると思います。
もうちょっと深掘りしてみる
先ほどの記事 によると、以下の図のように示されており
- 学部レベルの知識
- 大学院レベルの推論
- 高校レベルの数学
- 数学の問題解決
- 複数言語での数学
- プログラミングコードの人間による評価
- テキストの推論
- 複雑な評価?
- Q&A回答
- 一般常識
などで最も遅く、最も賢い「Opus」では他社製品を圧倒する性能を誇るとのこと。
SonnetでもGPT-3.5と比較して性能十分
やはり多言語間の解釈やソースコードなどの比較的難しい課題解決に自信を持っていることがこの図から伝わってきました。
特にソースコードの解釈に自信を持っているのは頼もしいなと思いました!
ChatGPT4と同じ質問をしてみて性能比較
Pythonでのソースコードの出力 を想定して、 両AIの最も高度なモデルで同じ質問 をしてみました。
AIごとのクセなどをあえて考慮せず、汎用的な質問内容にしています。
過去50年に亡くなった有名人を没年ごとに整理・リストアップし、標準出力するプログラムをPython言語で出力してほしいです。
下記の出力結果は、私の環境で行ったもので **出力内容や実行時間には当然ブレがあるかと思いますのであらかじめご了承ください。
また、各検索エンジンのスパム対策も兼ねて、 あえて結果は画像で貼り付けさせていただきます。
(スパムだと思われたらたまんないからね!)
ChatGPT4の出力結果
実行時間: 39秒
Claude3の出力結果
実行時間: 59秒
結果: Claude3の方が滑らかに感じた
いかがでしたでしょうか?
Claude3 Opusの方が若干完了までの時間が遅いものの、 まるで人間とペアプログラミングをするように 滑らかに回答 してくれていると思います。
かつ、日本語の質問というところから推論して、日本語の有名人に絞って例を挙げてくれるところなど 相手の立場を踏まえる能力が高いと感じました。
上にあげたセールスポイント通りの能力と思いましたがいかがでしたでしょうか。
ChatGPT4よりさらに、 設計前期の技術調査などでAI利用の幅が広がった な、と私は感じました!
補足
私が利用したClaudeの有料プランは2024/03/18時点で 月額20ドル です。
ChatGPT4と同価格帯なので、比較の上導入されることをオススメいたします。
無料プランであれば、中くらいのモデルであるSonnetが利用できるようです。(どのくらい出力スピードに差があるかは未検証ですので悪しからず)
参考URL: Claude.ai
まとめ
とはいえ、Claude3が決定だとはならず、ChatGPTもそろそろ5が登場し、少々話題が一段落した?Google Geminiなども追随して 大規模なAIモデル同士の競争は激化の一途を辿っていく のではないでしょうか。。
プログラマーとしてメンバの立場で仕事をさせていただく時、95%の完成度では許容できるものとはならず、99%、99.9999%の完成度でないとお客様が 納得していただけないというケースがほとんどである と自覚しております。
ですので、これからAIもそのように?指数的な性能を高め合うという日が近く来るのかなーと思っています。
この記事が何かのお役に立てれば幸いです。
最後までお読みいただきありがとうございました!