RAG 数据预处理效率

Name: indexion-segment AI Agent Skill
Availability: InStock
Rating: 4.4 (120 reviews)
Author: trkbt10

Before: 在没有此技能之前，用户需要手动或通过简单的脚本来分割长文本，以适应 RAG 或嵌入模型的输入要求。这个过程不仅耗时，而且难以保证分割的上下文质量，经常导致 AI 模型在理解复杂文档时出现偏差，影响最终的生成效果。 After: 此技能能够自动且智能地将文本分割成具有上下文意义的片段，显著减少了数据预处理所需的时间和精力。通过优化文本块的质量，该 Skill 提升了 RAG 系统的检索准确性和 AI 模型对长文档的理解能力，从而提高了整体应用性能。

ホーム/AI LLM エンジニアリング/indexion-segment

indexion-segment

by @trkbt10v

4.4(120)

この Skill は、ウィンドウ、TF-IDF、句読点、またはハイブリッド戦略を用いて、テキストを文脈的に意味のあるチャンクにインテリジェントに分割します。主に RAG（検索拡張生成）や埋め込みパイプライン用のデータ準備に利用され、テキストコンテンツが効果的に整理されることで、AI モデルが長文ドキュメントを理解し処理する能力を向上させます。

text-segmentationragllm-optimizationdata-preparationnlpGitHub

インストール方法

npx skills add https://github.com/trkbt10/indexion-skills --skill indexion-segment

compare_arrows

Before / After 効果比較

1 组

使用前

この Skill がない場合、ユーザーは RAG や埋め込みモデルの入力要件に合わせて長文テキストを手動または単純なスクリプトで分割する必要がありました。このプロセスは時間がかかるだけでなく、分割されたコンテキストの品質を保証することが難しく、AI モデルが複雑なドキュメントを正確に理解できず、最終的な生成結果に影響を与えていました。

使用後

この Skill は、テキストを文脈的に意味のあるチャンクに自動的かつインテリジェントに分割し、データ前処理にかかる時間と労力を大幅に削減します。テキストブロックの品質を最適化することで、この Skill は RAG システムの検索精度と AI モデルの長文ドキュメント理解能力を向上させ、アプリケーション全体のパフォーマンスを高めます。

SKILL.md

indexion segment

Split text into contextual segments using divergence-based, TF-IDF, or punctuation strategies.

When to Use

User needs to chunk text for RAG or embedding pipelines
User wants to split a document into meaningful sections
User asks to segment text for processing
Preparing text for similarity analysis at sub-document level

Usage

# Default window divergence strategy
indexion segment <input-file> <output-dir>

# TF-IDF based segmentation
indexion segment --strategy=tfidf <input-file> <output-dir>

# Punctuation-based segmentation
indexion segment --strategy=punctuation <input-file> <output-dir>

# Custom segment sizes
indexion segment --min-size=200 --max-size=3000 --target-size=800 document.txt output/

# Custom divergence threshold
indexion segment --threshold=0.5 document.txt output/

# Adaptive threshold mode (default)
indexion segment --adaptive document.txt output/

# Hybrid NCD+TF-IDF mode
indexion segment --hybrid --ncd-weight=0.6 --tfidf-weight=0.4 document.txt output/

# Custom window size
indexion segment --window-size=5 document.txt output/

# Custom output prefix
indexion segment --prefix=chunk document.txt output/

Options

Option	Default	Description
`--strategy=NAME`	window	Strategy: window, tfidf, punctuation
`--min-size=INT`	100	Minimum segment characters
`--max-size=INT`	2000	Maximum segment characters
`--target-size=INT`	500	Target segment characters
`--threshold=FLOAT`	0.42	Divergence threshold
`--window-size=INT`	3	Window size
`--adaptive`	true	Adaptive threshold mode
`--hybrid`	false	NCD+TF-IDF hybrid mode
`--ncd-weight=FLOAT`	0.5	NCD weight in hybrid mode
`--tfidf-weight=FLOAT`	0.5	TF-IDF weight in hybrid mode
`--prefix=NAME`	segment	Output file prefix

Strategies

Strategy	Description
`window` (default)	Sliding window divergence detection
`tfidf`	TF-IDF based topic change detection
`punctuation`	Punctuation/sentence boundary based

Workflow

Run indexion segment <input-file> <output-dir> to split text with defaults
Adjust --threshold and --target-size to tune segmentation granularity
Use --hybrid mode for better accuracy on mixed-content documents

ユーザーレビュー (0)

レビューを書く

効果

使いやすさ

ドキュメント

互換性

レビューなし

統計データ

インストール数4.9K

評価4.4 / 5.0

バージョン

更新日2026年6月30日

比較事例1 件

ユーザー評価

4.4(120)

37%

43%

13%

この Skill を評価

0.0

対応プラットフォーム

🤖claude-code

タイムライン

作成2026年6月9日

最終更新2026年6月30日