(アーカイブ)ゴールシークプロンプトテスト

[rensanrenren]

• このプロンプトをgpt-3.5とgpt-4で比較テストします。 ゴールシークプロンプト #4 (comment)

[rensanrenren]

GPT-3.5 出力結果

Process 1

[Step1] = プロジェクトの目標とスコープを明確化する
[Step2] = LLMのオープンソースの利用方法を調査する
[Step3] = 既存のAIサービスとの差別化ポイントを特定する
[Step4] = 新しいAIサービスのコンセプトを考案する
[Step5] = 必要な機能や要件を洗い出す
[Step6] = システムの設計を行う
[Step7] = LLMのオープンソースを統合し、開発環境をセットアップする
[Step8] = ソフトウェアの実装を行う
[Step9] = テストを実施し、バグを修正する
[Step10] = パフォーマンスの最適化を行う
[Step11] = セキュリティとプライバシーの検証を行う
[Step12] = ユーザビリティテストを実施する
[Step13] = ドキュメントの作成と整備を行う
[Step14] = リリース準備をする
[Step15] = サービスをデプロイする
[Step[END]] = サービスの運用と保守を行う

Process 2

[目標] = LLMのオープンソースを使って、差別化をはかり、新しいAIサービスを作る
[LLMのオープンソースの利用方法] = (LLMのオープンソースを統合し、開発環境をセットアップする)
[差別化ポイント] = (既存のAIサービスとの差別化ポイントを特定する)
[新しいAIサービスのコンセプト] = (新しいAIサービスのコンセプトを考案する)
[機能や要件] = (必要な機能や要件を洗い出す)
[システム設計] = (システムの設計を行う)
[実装] = (ソフトウェアの実装を行う)
[テスト] = (テストを実施し、バグを修正する)
[パフォーマンスの最適化] = (パフォーマンスの最適化を行う)
[セキュリティとプライバシー検証] = (セキュリティとプライバシーの検証を行う)
[ユーザビリティテスト] = (ユーザビリティテストを実施する)
[ドキュメント作成と整

備] = (ドキュメントの作成と整備を行う)
[リリース準備] = (リリース準備をする)
[サービスデプロイ] = (サービスをデプロイする)
[サービスの運用と保守] = (サービスの運用と保守を行う)

Process 3

[RenewedGoal] = [LLMのオープンソースの利用方法]を活用し、[差別化ポイント]を持つ[新しいAIサービスのコンセプト]を提供することで、[目標]を達成する。[機能や要件]を備え、[システム設計]に基づいて開発された[実装]は、[テスト]と[パフォーマンスの最適化]を経て高品質なものとなります。また、[セキュリティとプライバシー検証]を通じて安全性とプライバシー保護にも配慮し、[ユーザビリティテスト]によって使いやすさを確認します。[ドキュメント作成と整備]により、使用方法や仕様を明確化し、[リリース準備]を経て[サービスデプロイ]された後も、[サービスの運用と保守]を行い継続的な改善とサポートを提供します。

[rensanrenren]

GPT-4 出力結果

Process 1

以下にそのために必要な工程をStep by Stepで分解して洗い出し、順番に[Step#]に格納していってください。

Output Format

[Step1] = LLMのオープンソースのリポジトリを見つけ、その使用許可やライセンスを確認する。
[Step2] = LLMのオープンソースのリポジトリを自身のローカル環境にクローンする。
[Step3] = LLMのコードを理解するために、リポジトリのドキュメンテーションを詳細に読む。
[Step4] = プロジェクトの目的に合わせて、LLMのコードをカスタマイズする。
[Step5] = カスタマイズしたコードをテストし、期待通りに機能するかを確認する。
[Step6] = ユーザーインターフェースを作成し、ユーザーが新しいAIサービスを使いやすくする。
[Step7] = テストユーザーや潜在的な顧客からのフィードバックを収集する。
[Step8] = フィードバックに基づいて、AIサービスを改善する。
[Step[END]] = AIサービスを公開し、ユーザーに提供する。

Process 2

[Step#]に格納した手順から[Goal]に必要な変数を抽出し、それぞれに変数名をつけてください。

Output Format

[変数名1] = LLMのリポジトリ（オープンソースのLLMのリポジトリのURL）
[変数名2] = ライセンス（LLMのオープンソースのライセンス情報）
[変数名3] = ローカル環境（LLMのリポジトリをクローンするための自身の環境）
[変数名4] = ドキュメンテーション（LLMのリポジトリのドキュメンテーション）
[変数名5] = カスタマイズコード（プロジェクトの目的に合わせて変更したLLMのコード）
[変数名6] = ユーザーインターフェース（新しいAIサービスを使いやすくするためのインターフェース）
[変数名7] = フィードバック（テストユーザーや潜在的な顧客からのフィードバック）
[変数名[END]] = AIサービス（最終的に公開されるAIサービス）

Process 3

[Goal]の中身を新しく

追加した[変数名#]を使って書き直してください。

Output Format

[RenewdGoal] = [変数名1]を使って、[変数名2]の範囲内で、[変数名3]にクローンします。[変数名4]を理解した上で、[変数名5]を作成し、[変数名6]を通じてユーザーが操作できるようにします。[変数名7]を通じてサービスを改善し、最終的には[変数名[END]]を公開します。これにより、差別化を図りながら新しいAIサービスを作成します。

[rensanrenren]

今回はGPT-3.5の勝ち

[rensanrenren]

GPT-4 ブラウジングありでやっていたいので、デフォルトで出力してみる

GPT-4出力結果２回目

Process 1

オープンソースのLLM (Large Language Models)を用いて、差別化を図りつつ新しいAIサービスを開発する手順は以下のとおりです。

[Step1] = LLMのオープンソースを調査して、その仕様と機能を理解する。
[Step2] = 開発するAIサービスの具体的なコンセプトや機能を設計する。
[Step3] = 差別化を図るための独自の機能や要素を考え出す。
[Step4] = LLMを自身のサービスに適用できるようにカスタマイズする。
[Step5] = カスタマイズしたLLMと独自の要素を組み合わせてAIサービスを開発する。
[Step6] = テスト環境でサービスの機能とパフォーマンスを確認する。
[Step7] = 不具合や改善点があれば修正し、最適化を行う。
[Step8] = AIサービスのリリースと公開を行う。
[Step[END]] = フィードバックを収集し、サービスの改善と進化を続ける。

Process 2

上記の手順から必要な変数を抽出します。

[変数名1] = LLMの知識（LLMのオープンソースの特性と機能に関する知識）
[変数名2] = AIサービスのコンセプト（開発するAIサービスの設計案やアイデア）
[変数名3] = 差別化要素（サービスを他と区別するための特別な機能や要素）
[変数名4] = カスタマイズしたLLM（サービスに適用するために修正やカスタマイズを施したLLM）
[変数名5] = テスト結果（開発したサービスのテスト結果や改善点）
[変数名[END]] = フィードバック（ユーザーや市場から得られたフィードバック）

Process 3

新しく追加した変数を使用して、ゴールの内容を書き換えます。

[RenewdGoal] = LLMの知識を用いて、AIサービスのコンセプトを設計し、差別化要素を加えた新しいAIサービスを開発する。カスタマイズしたLLMを使用し、テスト結果とフィードバックに基づいてサービスを改善・進化させる。

[rensanrenren]

うまくいった

[rensanrenren]

プロンプトの改善

Process 1

以下にそのために必要な工程をStep by Stepで分解して洗い出し、順番に[Step#]に格納していってください。

Output Format

[Step1] = 同じプロンプトを２つのChatGPTに提供する。

[Step2] = ２つのChatGPTから出力された結果を受け取る。

[Step3] = 受け取った結果を比較し、それぞれの出力の優れた部分や改善点を洗い出す。

[Step4] = 各結果の評価基準を設定する。これは出力の適切性、明瞭性、情報の正確さなどに基づくことが多い。

[Step5] = 上記の評価基準に基づき、どちらの出力が優れているかを決定する。

[Step6] = プロンプトの改善案を考え、提案する。

[Step[END]] = 全ての結果と考察をまとめ、報告する。

Process 2

[Step#]に格納した手順から[Goal]に必要な変数を抽出し、それぞれに変数名をつけてください。

Output Format

[変数名1] = プロンプト (提供する問いや指示)

[変数名2] = ChatGPTの出力1 (ChatGPT1から得られるレスポンス)

[変数名3] = ChatGPTの出力2 (ChatGPT2から得られるレスポンス)

[変数名4] = 評価基準 (各出力を比較・評価するための基準)

[変数名5] = 優れた出力 (評価基準に基づいて選ばれた優れた出力)

[変数名6] = 改善案 (プロンプトの改善提案)

[変数名[END]] = 結果と考察のまとめ (全ての工程を終え、得られた結果と考察をまとめた報告)

Process 3

[Goal]の中身を新しく追加した[変数名#]を使って書き直してください。

Output Format

[RenewdGoal] = 同じ[変数名1]から[変数名2]と[変数名3]を得て、[変数名4]に基づき比較評価し、[変数名5]を決定する。さらに、[変数名1]の[変数名6]を提案し、最終的に[変数名[END]]を作成する。

[rensanrenren]

順番に実行していきます

[rensanrenren]

それでは、以下に具体的な手順を示します。

1. 同じプロンプトを２つのChatGPTに提供します。
2. ２つのChatGPTから出力された結果を受け取ります。
3. 受け取った結果を比較し、それぞれの出力の優れた部分や改善点を洗い出します。
4. 各結果の評価基準を設定します。これは出力の適切性、明瞭性、情報の正確さなどに基づくことが多いです。
5. 上記の評価基準に基づき、どちらの出力が優れているかを決定します。
6. プロンプトの改善案を考え、提案します。
7. 全ての結果と考察をまとめ、報告します。

このプロセスを通じて、それぞれのChatGPTの出力の品質を評価し、プロンプトの改善案を提案します。その結果、より良い人工知能と人間とのインタラクションが実現できると期待できます。

[rensanrenren]

次の作業を指示してください

[rensanrenren]

それでは次のステップに進みましょう。

1. プロンプトの選択: 最初に評価したいプロンプトを選びます。プロンプトは、ChatGPTが出力を生成するための質問や指示です。

2. ChatGPTの出力取得: 選んだプロンプトを2つのChatGPTエンジンに提供します。それぞれのエンジンから出力された結果を収集します。

3. 出力の比較と評価: それぞれのChatGPTの出力を比較します。明瞭性、適切性、情報の正確さなどを基に評価します。

4. 優れた出力の選択: 評価基準に基づいて、どちらの出力が優れているかを決定します。

5. プロンプトの改善案提案: プロンプトの改善案を考え、提案します。これは、特定の出力を得るためにプロンプトをどのように改良すべきかについての提案です。

6. 結果と考察のまとめ: 最後に、全ての結果と考察をまとめ、報告します。

この各ステップについて詳細にガイダンスが必要な場合、または特定のステップについて質問がある場合は、お知らせください。

[rensanrenren]

評価したいプロンプトは以下の通りです。プロンプト結果はすでに用意してあるので、以下のプロンプト自体は実行しないでください。以下のプロンプトを読み込んで理解できたら"はい"と回答してください。

プロンプト：
これは[Goal]を達成するための探索テンプレートです。

[Goal]= LLMのオープンソースを使って、差別化をはかり、新しいAIサービスを作る。

Process 1

以下にそのために必要な工程をStep by Stepで分解して洗い出し、順番に[Step#]に格納していってください。

Output Format

[Step1] =
...
[Step#] =
...
[Step[END]] =

Process 2

[Step#]に格納した手順から[Goal]に必要な変数を抽出し、それぞれに変数名をつけてください。

Output Format

[変数名1] = (変数の説明)
...
[変数名2] = (変数の説明)
...
[変数名[END]] = (変数の説明)

Process 3

[Goal]の中身を新しく追加した[変数名#]を使って書き直してください。

Output Format

[RenewdGoal] =

Run Process1 to Process3

[rensanrenren]

はい、指定されたプロンプトを理解しました。それでは次に進めます。

[rensanrenren]

#5 (comment)
#5 (comment)

[rensanrenren]

ありがとうございます。以下にそれぞれの出力の評価を行います。

1. 明瞭性: 両者ともに各プロセスに対する明確な手順を提供しています。GPT-3.5はより詳細な手順を提供していますが、GPT-4はより要約されたアプローチを提供しています。どちらも十分に明瞭です。

2. 適切性: 両者ともに指定されたプロンプトの目的を適切に理解し、それに基づいて適切な出力を提供しています。

3. 情報の正確さ: 両者ともにAI開発プロジェクトの一般的な手順を適切に理解し、それに基づいた手順を提供しています。しかし、GPT-3.5はより具体的なステップを含んでいるため、より詳細なプロジェクトの流れを理解するのに役立つと言えるでしょう。

4. 優れた出力の選択: どちらが優れているかは、特定のニーズや目的によります。より具体的で詳細な手順が必要な場合、GPT-3.5の出力が優れていると言えます。一方、大まかな手順としての概要が必要な場合、GPT-4の出力が適しています。

5. プロンプトの改善案: これらの結果を考えると、プロンプトを改善するためには、求めるレベルの詳細性を明確に指定することが役立つかもしれません。例えば、「具体的な手順を提供してください」または「大まかな概要を提供してください」といった指示を追加することが考えられます。

6. 結果と考察のまとめ: GPT-3.5とGPT-4は共にプロンプトの要求に基づいた適切な出力を提供しています。ただし、GPT-3.5はより詳細な手順を、GPT-4はより要約された手順を提供するという違いがあります。これは、各AIがどのように情報を理解し、処理するかによるものです。改善のためには、プロンプトにより具体的な指示を追加することで、期待する出力の精度を高めることができます。

[rensanrenren]

次の作業を行う前にこのくらいテレギアこの評価を1から10段階の暗いエリアで表してクライテリアで表してgbt3.5とGPT4の評価が見えやすく見やすいように表形式でそれぞれの項目ごとを数字で表して出力してください