RDEToolKitを体験する

python3 -m rdetoolkit init sample_project

sample_project/
├── main.py                    # メイン実行ファイル
├── requirements.txt           # 依存関係
├── modules/                   # カスタム処理モジュール
└── data/
    ├── inputdata/            # 入力データ
    ├── invoice/              # メタデータファイル
    └── tasksupport/          # 設定・スキーマファイル

from rdetoolkit.models.rde2types import RdeInputDirPaths, RdeOutputResourcePath

def dataset(srcpaths: RdeInputDirPaths, resource_paths: RdeOutputResourcePath):
    """
    カスタムデータ処理関数

    Args:
        srcpaths: 入力ディレクトリパス
        resource_paths: 出力リソースパス
    """
    # 入力データの確認
    print(f"入力データディレクトリ: {srcpaths.inputdata}")
    print(f"インボイスディレクトリ: {srcpaths.invoice}")

    # 簡単なファイル処理の例
    import shutil
    from pathlib import Path

    # 入力ファイルを構造化ディレクトリにコピー
    input_files = list(srcpaths.inputdata.glob("*"))
    for file_path in input_files:
        if file_path.is_file():
            dest_path = resource_paths.structured / file_path.name
            shutil.copy2(file_path, dest_path)
            print(f"ファイルをコピーしました: {file_path.name}")

    # メタデータの設定例
    metadata = {
        "processed_files": len(input_files),
        "processing_status": "completed"
    }

    # メタデータをJSONファイルとして保存
    import json
    metadata_file = resource_paths.meta / "processing_metadata.json"
    with open(metadata_file, 'w', encoding='utf-8') as f:
        json.dump(metadata, f, ensure_ascii=False, indent=2)

    print("カスタム処理が完了しました")
    return 0

# サンプルテキストファイルを作成
echo "これはサンプルデータです" > sample_project/data/inputdata/sample.txt
echo "実験データ: 温度 25°C, 湿度 60%" > sample_project/data/inputdata/experiment_data.txt

cd sample_project
python main.py

入力データディレクトリ: /path/to/sample_project/data/inputdata
インボイスディレクトリ: /path/to/sample_project/data/invoice
ファイルをコピーしました: sample.txt
ファイルをコピーしました: experiment_data.txt
カスタム処理が完了しました
構造化処理が正常に完了しました

sample_project/
├── main.py
├── requirements.txt
├── modules/
│   └── process.py
├── data/
│   ├── inputdata/
│   │   ├── sample.txt
│   │   └── experiment_data.txt
│   ├── invoice/
│   │   └── invoice.json
│   └── tasksupport/
│       └── invoice.schema.json
└── output/                    # 新しく生成される出力ディレクトリ
    ├── raw/                   # 生データ
    ├── structured/            # 構造化データ
    │   ├── sample.txt
    │   └── experiment_data.txt
    ├── meta/                  # メタデータ
    │   └── processing_metadata.json
    ├── main_image/            # メイン画像
    ├── other_image/           # その他の画像
    ├── thumbnail/             # サムネイル画像
    └── logs/                  # ログファイル

# 構造化データの確認
ls -la output/structured/

# メタデータの確認
cat output/meta/processing_metadata.json

{
  "processed_files": 2,
  "processing_status": "completed"
}