Agentic Video Editing

Primitive-First Boundary

ScreenKite はエイジェンティックな編集をシンプルに保ちます。アプリは決定論的な編集プリミティブを公開し、エージェントは計画、トランスクリプトの推論、および編集方針の決定を担います。

この境界が重要です。ScreenKite は「現在のレイアウトはどうなっているか」「この範囲をカットして」「12.5秒から17.0秒にこのシーンレイアウトを適用して」といった指示に答える役割を果たします。一方のエージェントは、どのビートが重要か、どこにカットを入れるべきか、視覚素材の挿入が効果的か、そしていつ反復を停止するべきかを決定します。

Start With Facts

ベースラインとして以下の状態を読み取ってください：

• getProjectState(scope: "summary")（タイミング、トラック、全体的なプロジェクト状態のための軽量なインデックス）
• getProjectState(scope: "layout")（シーンコンポジションの信頼できる唯一の情報源）
• getProjectResources()（どのメディアが実際に存在するかを確認）
• exportTranscript(...)（発話タイミングや単語境界でのカットが重要な場合）

トランスクリプトに英単語の製品名、API、またはその他の固有名詞が含まれている場合、視覚素材やキャプションを生成する前にそれらを校正してください。間違った製品名が下流のすべての素材に広がるのを防ぐためです。

Recommended Loop

1. 計画を立てる前に、summary、layout、およびリソースを読み取ります。
2. タイミングやナレーションの内容が重要な場合は、トランスクリプトをエクスポートして確認します。
3. まずビートを計画し、どの範囲にカット、レイアウト変更、キャプション、または視覚素材が必要かを決定します。
4. アスペクト比を変更する前に setCanvas(..., dryRun: true) を実行し、複雑なレイアウト作業の前に setSceneLayout(..., dryRun: true) を実行します。
5. editTimeline、setSceneLayout、および manageEffects を使用して変更を適用します。
6. 各バッチ処理の後、getProjectState(scope: "visual") またはスナップショットを使って確認します。
7. タイムアウトしたミューテーション呼び出しを再試行する前に、プロジェクト状態を再読み込みします。

When to Use Each Primitive

• editTimeline（カット、トリム、および単語境界のクリーンアップ用）
• setSceneLayout（高度なレイアウト DSL を含む、時間スコープのコンポジション変更用）
• manageEffects（キャプション、ズーム、およびその他のエフェクトパス用）
• vfxExportVideoSegment と vfxOverlayProcessedClip（外部レンダリングによるラウンドトリップ用）
• exportArtifact（納品用ファイル、スナップショット、SRT、および指定範囲のエクスポート用）

Advanced Layout and B-Roll

ScreenKite の視覚的アプローチでは、画面録画が依然としてメインです。Advanced Layout と B-roll は通常、全画面を占有するのではなく、短時間の補助的な瞬間として使用されるべきです。

外部の視覚エフェクトをレンダリングし、それを <ScreenKite.Visual /> で配置する場合：

• アセットを、使用するターゲットの正確な幅、高さ、fps、およびフレーム持続時間に合わせてレンダリングしてください。
• レンダリングされたファイルを、多くが空の映像の中に浮かぶ小さなカードとしてではなく、完全な PiP フレームとして扱ってください。
• アニメーションは 入場 -> 安定状態での保持 -> 内部退出なし で設計してください。
• レイアウトの切り替わり時の退出処理は、ScreenKite の magicMove トランジションで処理させてください。

もし以前に長かったセグメントの上に短い高度なレイアウト・ウィンドウを再適用する場合は、余ったしっぽ部分を pictureInPicture に戻してクリアしてください。そうしないと、古い高度なセグメントが意図したウィンドウを超えて再生され続ける可能性があります。

Guardrails

• 単語の途中でカットしないでください。発話のタイミングが重要な場合は、常にトランスクリプトの単語境界を使用してください。
• タイムアウトした後でミューテーション呼び出しを再試行する前に、必ずプロジェクト状態を再読み込みしてください。
• オーバーレイのレンダリング結果をターゲットの幅、高さ、fps、およびフレーム持続時間に適合させてから、タイムラインに戻してください。
• 生成された出力は .skbundle の外に保持してください。
• 自己評価ループには上限を設けてください。視覚的なチェックが何度かパスしない場合は、ループを停止して、レイアウトやソースメディアを直接調べてください。