TSV重複行削除

表の中で行全体が完全一致する重複を取り除き、最初に出た行だけを入力順に残します。離れた行も比較します。

行全体が文字単位で完全一致するときだけ重複と判定します。大文字小文字・前後や内部の空白・全角半角・Unicodeの表現・末尾タブ・列数の違いを区別します。見出しも通常の1行として処理するため、同じ見出しの再登場も削除します。列数が不揃いでも処理します。残した行のセルの文字と列数は変更しません。入力を変更すると旧結果を消去します。

タブは常にセル区切りです。スペースやカンマは区切りではありません。引用符は通常の文字として扱い、CSVの引用符規則やセル内改行は解釈しません。CRLF・CR・LFは行区切りとして扱い、出力はLFに統一します。入力の先頭にあるBOM(不可視文字)は1個だけ除きます。

BOMを除いて未入力なら0行です。それ以外は空行も1個の空セルを持つ行として数え、末尾の改行でできる空行も比較対象です。同じ空行は最初の1行だけ残します。空行とタブだけの行、タブの個数が異なる行は別の行です。空文字はコピーできませんが、タブや改行だけの結果はコピーできます。

使い方:表を貼り付けて「重複行を削除」を押します。削除した行数と残した行数を確認し、結果をコピーします。行の削除により見出しやデータの意味が変わらないか確認してください。空白整理・並べ替えは行いません。

入力例(列の間はタブ):

商品	個数
ペン	2
ノート	1
ペン	2

出力例:

商品	個数
ペン	2
ノート	1

入力は1,000,000 UTF-16コード単位・20,000行・200,000セルまでです。一部の絵文字などは2コード単位です。先頭のBOMも文字数上限に含め、削除する行も行数・セル数に含めます。空行・空セルも数えます。出力は入力より大きくなりません。上限超過時は旧結果を消し、部分的な結果を出しません。数式の無害化は行いません。表計算ソフトへ貼り付ける前に内容を確認してください。

処理はブラウザー内だけで行います。入力内容の外部送信や実ファイル操作は行いません。機密情報や個人情報は入力しないでください。

関連する手順:必要に応じてセル前後の半角スペースを整理する → このツールで重複行を削除する → 列数を確認する。空白整理により別の行が同じ行になる場合があるため、各工程の結果と制約を確認してください。隣り合う重複だけをまとめる場合はリスト連続重複整理も使えます。