perl去除重复内容的脚本代码(重复行+数组重复字段)
假如有这样的一段序列：
1 2
1 2
2 1
1 3
1 4
1 5
4 1
我们需要得到如下的结果：
1 3
1 5
2 1
4 1
那么，请借助以下的perl脚本来实现。
代码一：
#!/bin/perl
use strict;
use warnings;
my $filename;
my %hash;
my @information;
my $key1;
my $key2;
print "please put in the file like this f:\\\\perl\\\\data.txt\n";
chomp($filename=<STDIN>);
open(IN,"$filename")||die("can not open");
while(<IN>)
{
chomp;
@information=split/\s+/,$_;
if(exists $hash{$information[0]}{$information[1]})
{
next;
}
else
{
$hash{$information[0]}{$information[1]}='A';
}
}
close IN;
open(IN,"$filename")||die("can not open");
while(<IN>)
{
@information=split/\s+/,$_;
if(exists $hash{$information[1]}{$information[0]})
{
delete $hash{$information[0]}{$information[1]}
}
else
{
next;
}
}
close IN;
open(OUT,">f:\\A_B_result.txt")||die("can not open");
foreach $key1 (sort{$a<=>$b} keys %hash)
{
foreach $key2 (sort{$a<=>$b} keys %{$hash{$key1}})
{
print OUT "$key1 $key2\n";
}
}
close OUT;
代码二：
如果有一个文件data有10G大，但是有好多行都是重复的，需要将该文件中重复的行合并为一行，那么我们需要用什么办法来实现
cat data |sort|uniq > new_data #该方法可以实现，但是你需要花上好几个小时。结果才能出来。
下面是一个使用perl脚本来完成此功能的小工具。原理很简单，创建一个hash，每行的内容为键,值由每行出现的次数来填充，脚本如下;
#!/usr/bin/perl
# Author :CaoJiangfeng
# Date:2011-09-28
# Version :1.0
use warnings;
use strict;
my %hash;
my $script = $0; # Get the script name
sub usage
{
printf("Usage:\n");
printf("perl $script <source_file> <dest_file>\n");
}
# If the number of parameters less than 2 ,exit the script
if ( $#ARGV+1 < 2) {
&usage;
exit 0;
}
my $source_file = $ARGV[0]; #File need to remove duplicate rows
my $dest_file = $ARGV[1]; # File after remove duplicates rows
open (FILE,"<$source_file") or die "Cannot open file $!\n";
open (SORTED,">$dest_file") or die "Cannot open file $!\n";
while(defined (my $line = <FILE>))
{
chomp($line);
$hash{$line} += 1;
# print "$line,$hash{$line}\n";
}
foreach my $k (keys %hash) {
print SORTED "$k,$hash{$k}\n";#改行打印出列和该列出现的次数到目标文件
}
close (FILE);
close (SORTED);
代码三：
通过perl脚本，删除数据组中重复的字段
#!/usr/bin/perl
use strict;
my %hash;
my @array = (1..10,5,20,2,3,4,5,5);
#grep 保存符合条件的元素
@array = grep { ++$hash{$_} < 2 } @array;
print join(" ",@array);
print "\n";
相关文章
- 这两天在用Perl编写一些监控脚本，其实写代码也是一件挺有意思的事情，就是挺废时间的。而且，由于语法不太熟，基本想到一个东西都要先Google一下看怎么实现。...2020-06-29
- 下面小编就为大家带来一篇Perl与JS的对比分析(数组、哈希)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧...2020-06-29
- 一、简介 模式指在字符串中寻找的特定序列的字符，由反斜线包含：/def/即模式def。其用法如结合函数split将字符串用某模式分成多个单词：@array = split(/ /, $line);二、匹配...2020-06-29
- Perl时间函数localtime的使用介绍，这里简单的介绍下，更多请查看官方介绍...2020-06-29
- 这篇文章主要介绍了Perl中的特殊内置变量详细介绍,需要的朋友可以参考下...2020-06-29
- 一、列表 列表是包含在括号里的一序列的值，可以为任何数值，也可为空，如：(1, 5.3 , "hello" , 2)，空列表：()。 注：只含有一个数值的列表(如：(43.2) )与该数值本身(即：43.2 )是不同...2020-06-29
- 这篇文章主要介绍了讲Perl中的本地时间与UNIX时间戳间相互转换的方法,主要用到了Perl中的Date::Parse模块,需要的朋友可以参考下...2020-06-29
- 对所有输入文件，如果没有版权信息则加上版权信息，否则什么都不做，并对原文件以.bak结尾备份,需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了Perl学习笔记之CPAN使用介绍,本文讲解了什么是CPAN、CPAN的目录作用介绍、CPAN安装Perl Module的两种方法等内容,需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了Perl中使用MIME::Lite发送邮件实例,本文介绍了使用sendmail方式发送、发送HTML格式邮件、smtp方式发送邮件等内容,需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了Perl AnyEvent中的watcher实例,关于AnyEvent请参阅的更多介绍请参阅文中的相关链接,需要的朋友可以参考下...2020-06-29
- perl获取日期与时间的例子，供大家学习参考...2020-06-29
- 这篇文章主要介绍了Perl中的列表和数组学习笔记,本文讲解了列表、数组--列表的存贮、数组的存取、字符串中的方括号和变量替换、列表范围、数组的输出等内容,需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了使用perl实现拆分数据表（mysql）并迁移数据实例,本文提供了3个脚本,分别用于拆分数据表、迁移数据、插入测试数据,需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了7个perl数组高级操作技巧,本文讲解了数组去重、数组合并、查找最大值、列表归并等内容,需要的朋友可以参考下...2020-06-29
- 写过很多关于Perl编程，今天继续分享一篇利用perl后门实现正向和反向连接的实例代码，需要的朋友可以参考下其中的内容详情...2020-06-29
perl uc,lc,ucfirst,lcfirst大小写转换函数
这篇文章主要介绍了perl 大小写字母转换函数,需要的朋友可以参考下...2020-06-29- 这篇文章主要介绍了Perl内置特殊变量总结,需要的朋友可以参考下...2020-06-29
- perl 文件操作总结，需要的朋友可以参考下...2020-06-29
- 这篇文章主要介绍了Perl学习笔记之文件操作,本文分别给出了打开文件、读取文件、写入文件代码实例,需要的朋友可以参考下...2020-06-29