bibi/src/merge_crawled_data-wos.py

from pathlib import Path
import pandas as pd
import csv

# 設定欄位長度上限為100萬個字元
csv.field_size_limit(1000000)

# 設定相對路徑
dbwebsite = 'WOS'
home_path = Path(__file__).parents[1]


def merge_txt_files_to_csv(input_folder_path):
    """
    將指定資料夾中的所有txt檔案合併成一個CSV檔案

    Args:
        input_folder_path (str): 包含txt檔案的資料夾路徑

    Returns:
        None
    """

    # 建立輸出CSV檔案的資料夾
    export_path = home_path.joinpath(f'crawled_data/export/{dbwebsite}')
    export_path.mkdir(parents=True, exist_ok=True)

    # 迴圈輸入資料夾中的所有子資料夾
    for folder_path in Path(input_folder_path).iterdir():
        if folder_path.is_dir():
            dbnm = folder_path.name  # 資料集名稱
            dfs = []

            for f in folder_path.glob("*.txt"):
                try:
                    df = pd.read_csv(f, sep='\t', engine='python', quoting=3)
                    dfs.append(df)
                except ValueError as e:
                    print(f"Error reading file {f}: {e}")

            # 有讀取到檔案才進行合併
            if len(dfs) > 0:
                # 將所有DataFrame合併
                combined_df = pd.concat(dfs, ignore_index=True)
                # 將合併後的DataFrame寫入CSV檔案
                combined_df.to_csv(export_path.joinpath(
                    f'{dbnm}.csv'), index=False)
                print(f'檔案已合併完畢: 路徑為{export_path}')
            else:
                print(f'{dbnm}沒有抓到檔案')


if __name__ == "__main__":
    # 設定輸入資料夾的相對路徑
    input_folder_path = home_path.joinpath(
        f'crawled_data/temp/raw/{dbwebsite}')
    # 呼叫合併函數
    merge_txt_files_to_csv(input_folder_path)