php cURL 抓取网页 POST数据及其他
使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本,然后分析一下你所抓取的网页,然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据,或是取一个XML文件并把其导入数据库教程,那怕就是简单的获取网页内容,cURL 是一个功能强大的PHP库。本文主要讲述如果使用这个PHP库。
启用 cURL 设置
首先,我们得先要确定我们的PHP是否开启了这个库,你可以通过使用php教程_info()函数来得到这一信息。
<?php phpinfo(); ?> |
如果你可以在网页上看到下面的输出,那么表示cURL库已被开启。
如果你看到的话,那么你需要设置你的PHP并开启这个库。如果你是在Windows平台下,那么非常简单,你需要改一改你的php.ini文件的设置,找到php_curl.dll,并取消前面的分号注释就行了。如下所示:
//取消下在的注释 extension=php_curl.dll |
如果你是在Linux下面,那么,你需要重新编译你的PHP了,编辑时,你需要打开编译参数——在configure命令上加上“–with-curl” 参数。
一个小示例
如果一切就绪,下面是一个小例程:
<?php // 初始化一个 cURL 对象 $curl = curl_init(); // 设置你需要抓取的URL curl_setopt($curl, CURLOPT_URL, 'http://cocre.com'); // 设置header curl_setopt($curl, CURLOPT_HEADER, 1); // 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。 curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); // 运行cURL,请求网页 $data = curl_exec($curl); // 关闭URL请求 curl_close($curl); // 显示获得的数据 var_dump($data); ?> |
如何POST数据
上面是抓取网页的代码,下面则是向某个网页POST数据。假设我们有一个处理表单的网址http://www.example.com/sendSMS.php,其可以接受两个表单域,一个是电话号码,一个是短信内容。
<?php $phoneNumber = '13912345678'; $message = 'This message was generated by curl and php'; $curlPost = 'pNUMBER=' . urlencode($phoneNumber) . '&MESSAGE=' . urlencode($message) . '&SUBMIT=Send'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.example.com/sendSMS.php'); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_POST, 1); curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost); $data = curl_exec();curl_close($ch); ?> |
从上面的程序我们可以看到,使用CURLOPT_POST设置HTTP协议的POST方法,而不是GET方法,然后以CURLOPT_POSTFIELDS设置POST的数据。
关于代理服务器
下面是一个如何使用代理服务器的示例。请注意其中高亮的代码,代码很简单,我就不用多说了。
<?php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1); curl_setopt($ch, CURLOPT_PROXY, 'fakeproxy.com:1080'); curl_setopt($ch, CURLOPT_PROXYUSERPWD, 'user:password'); $data = curl_exec();curl_close($ch); ?> |
关于SSL和Cookie
关于SSL也就是HTTPS协议,你只需要把CURLOPT_URL连接中的http://变成https教程://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。
关于Cookie,你需要了解下面三个参数:
CURLOPT_COOKIE,在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE,Cookie的文件。
HTTP服务器认证
最后,我们来看一看HTTP服务器认证的情况。
<?php $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://www.example.com'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_HTTPAUTH, CURLAUTH_BASIC); curl_setopt(CURLOPT_USERPWD, '[username]:[password]') $data = curl_exec(); curl_close($ch); ?> |
日前发布的PHP 5.3中,最重要的一个新特性就是命名空间的加入。本文介绍了PHP命名空间的一些术语,其解析规则,以及一些高级功能的应用,希望能够帮助读者在项目中真正使用命名空间。
在这里中我们介绍了PHP命名空间的用途和namespace关键字,在这篇文章中我们将介绍一下use命令的使用以及PHP如何解析命名空间的名字的。
为了便于对比,我定义了两个几乎一样的代码块,只有命名空间的名字不同。
|
|
开始之前先要理解几个PHP命名空间相关术语。
◆完全限定名称(Fully-qualified name)
任何PHP代码都可以引用完全限定名称,它是一个以命名空间反斜线开头的标识符,如AppLib1MYCONST,AppLib2MyFunction( )等。
完全限定名称是没有任何歧义的,开头的反斜线和文件路径的作用有点类似,它表示“根”全局空间,如果我们在全局空间中实现了一个不同的MyFunction( ),可以使用MyFunction( )从lib1.php或lib2.php调用它。
完全限定名称对一次性函数调用或对象初始化非常有用,但当你产生了大量的调用时它们就没有实用价值了,在下面的讨论中我们将会看到,PHP提供了其它选项以解除我们为命名空间打字的烦恼。
◆限定名称(Qualified name)
至少有一个命名空间分隔符的标识符,如Lib1MyFunction( )。
◆非限定名称(Unqualified name)
没有命名空间分隔符的标识符,如MyFunction( )。
在相同的命名空间内工作
仔细思考下面的代码:
myapp1.php
|
即使我们同时包括了lib1.php和lib2.php,MYCONST,MyFunction和MyClass标识符只能在lib1.php中引用,这是因为myapp1.php的代码在相同的AppLib1命名空间内。
执行结果:
- AppLib1MYCONST
- AppLib1MyFunction
- AppLib1MyClass::WhoAmI
命名空间导入
可以使用use操作符导入命名空间,如:
myapp2.php
- < ?php
- use AppLib2;
- require_once('lib1.php');
- require_once('lib2.php');
- header('Content-type: text/plain');
- echo Lib2MYCONST . " ";
- echo Lib2MyFunction() . " ";
- echo Lib2MyClass::WhoAmI() . " ";
- ?>
可以定义任意数量的use语句,或使用逗号分隔成独立的命名空间,在这个例子中我们导入了AppLib2命名空间,但我们仍然不能直接引用 MYCONST,MyFunction和MyClass,因为我们的代码还在全局空间中,但如果我们添加了“Lib2”前缀,它们就变成限定名称 了,PHP将会搜索导入的命名空间,直到找到匹配项。
执行结果:
- AppLib2MYCONST
- AppLib2MyFunction
- AppLib2MyClass::WhoAmI
命名空间别名
命名空间别名可能是最有用的构想了,别名允许我们使用较短的名称引用很长的命名空间。
myapp3.php
|
第一个use语句将AppLib1定义为“L”,任何使用“L”的限定名称在编译时都会被翻译成“AppLib1”,因此我们就可以引用LMYCONST和LMyFunction而不是完全限定名称了。
第二个use语句定义了“obj”作为AppLib2命名空间中MyClass类的别名,这种方式只适合于类,不能用于常量和函数,现在我们就可以使用new Obj( )或象上面那样运行静态方法了。
执行结果:
- AppLib1MYCONST
- AppLib1MyFunction
- AppLib1MyClass::WhoAmI
- AppLib2MyClass::WhoAmI
PHP命名解析规则
PHP标识符名称使用下列命名空间规则进行解析,请参考PHP用户手册了解更详细的信息:
1.在编译时调用完全限定函数、类或常量;
2.非限定名称和限定名称根据导入规则进行翻译,例如,如果ABC导入为C,调用CDe( )就会被翻译成ABCDe( );
3.在PHP命名空间内,所有限定名称尚未根据导入规则转换,例如,如果在命名空间AB中调用CDe( ),那么会被翻译成ABCDe( );
4.非限定类名称根据当前的导入规则进行转换,使用全名替换导入的短名称,例如,如果类C在命名空间AB中被导入为X,那么new X( )就会被翻译为new ABC( );
5.在命名空间中非限定函数调用在运行时解析,例如,如果MyFunction( )在命名空间AB中被调用,PHP首先会查找函数ABMyFunction( ),如果没有找到,然后会在全局空间中查找MyFunction( );
6.调用非限定或限定类名在运行时被解析,例如,如果我们在命名空间AB中调用new C( ),PHP将会查找类ABC,如果没有找到,PHP会尝试自动载入ABC。
PHP命名空间高级特性
接下来让我们看一看PHP命名空间的一些高级特性。
__NAMESPACE__常量
__NAMESPACE__是一个PHP字符串,它总是返回当前命名空间的名称,在全局空间中它是一个空字符串。
|
这个值在调试时非常有用,它也可由于动态生成一个完全限定类名,如:
|
namespace关键字
namespace关键字可以用于明确引用一个当前命名空间或子命名空间中的项目,它等价于类中的self命名空间:
|
自动载入命名空间类
PHP 5中最省时省力的特性是自动载入,在全局(非命名空间)PHP代码中,可以写一个标准自动载入函数:
|
在PHP 5.3中,你可以创建一个命名空间类的实例,在这种情况下,完全限定命名空间和类名传递给__autoload函数,例如,$class_name的值可 能是AppLib1MyClass。你可以在相同的文件夹下放置所有的PHP类文件,从字符串中提取命名空间,但那样会导致文件名冲突。
另外,你的类文件层次结构会按照命名空间的结构重新组织,例如,MyClass.php文件可以创建在/classes/App/Lib1文件夹下:
/classes/App/Lib1/MyClass.php
|
在根文件夹下的文件就使用下面的代码了:
myapp.php
|
解释:
1.类AppLib1MyClass的别名是MC;
2. new MC( )在编译时被翻译成new AppLib1MyClass( );
3.字符串AppLib1MyClass被传递给__autoload函数,使用文件路径正斜线替换所有命名空间中的反斜线,然后修改字符串,classesAppLib1MyClass.php文件被自动载入;
function funcUrl($str)//url正则表达试
{
return (preg_match("/^http://[A-Za-z0-9]+.[A-Za-z0-9]+[/=?%-&_~`@[]':+!]*([^<>""])*$/",$str))?true:false;
}
if( $_POST)
{
if( funcUrl( $_POST['url'] ) )
{
echo $_POST['url'];
}
else
{
exit('不是有效url');
}
}
?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
<title>网址 url 正则表达式实例</title>
</head>
<body>
<form id="111cnNet" name="111cnNet" method="post" action="">
<input name="url" type="text" />
<input name="" type="submit" value="提交 "/>
</form>
输入http://down.111cn.net教程
输出http://down.111cn.net
输入 qqq
输出 不是有效url
</body>
</html>
$id = PostGet('cid');
if( !intval( $id ) )
{
exit('aa');
}
else
{
$Db = new Db();
$sql ="Select address from cn_loupan_city where id='$id'";
$query = $Db->query( $sql );
$row = $Db->fetch( $query );
}
这查先把查询过来的值保存到一个数据$row中,再进行赋值,上的是一个mysql查询类,如果new db() $Db->query(),这些都是mysql_query()
是获取表单的数据再用update更新到mysql教程数据库教程
if( $_POST )
{
$cid = PostGet('cid',1);
$address = PostGet('address',1);
$sql = "Update cn_loupan_city set address='$address' where id='$cid'";
$Db = new Db();
if( $Db->query( $sql ))
{
MessAge('修改成功');
}
else
{
MessAge('操作失败,稍后再试!');
}
unset( $Db );
}
<table width="64%" border="0" cellpadding="0" cellspacing="0">
<form name="form1" method="post" action="s.php教程">
<tr>
<td><input type="hidden" name="cid" value="<?=$id?>">
<textarea name="address" cols="60" rows="10" id="address"><?=iconv('GB2312', 'UTF-8', $row['address']); ?></textarea></td>
</tr>
<tr>
<td height="31"><input type="submit" name="Submit" value="保存修改"></td>
</tr>
</form>
</table>
相关文章
- 本文给大家分享C#连接SQL数据库和查询数据功能的操作技巧,本文通过图文并茂的形式给大家介绍的非常详细,需要的朋友参考下吧...2021-05-17
- 最基础的对数据的增加删除修改操作实例,菜鸟们收了吧...2013-09-26
- 这篇文章主要介绍了解决Mybatis 大数据量的批量insert问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-01-09
Antd-vue Table组件添加Click事件,实现点击某行数据教程
这篇文章主要介绍了Antd-vue Table组件添加Click事件,实现点击某行数据教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-17- 这篇文章主要介绍了详解如何清理redis集群的所有数据,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-18
- 这篇文章主要介绍了vue 获取到数据但却渲染不到页面上的解决方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-19
- 这篇文章主要介绍了mybatis-plus 处理大数据插入太慢的解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-12-18
- 在php中解析xml文档用专门的函数domdocument来处理,把json在php中也有相关的处理函数,我们要把数据xml 数据存到一个数据再用json_encode直接换成json数据就OK了。...2016-11-25
- 这篇文章主要介绍了postgresql数据添加两个字段联合唯一的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-04
Vue生命周期activated之返回上一页不重新请求数据操作
这篇文章主要介绍了Vue生命周期activated之返回上一页不重新请求数据操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-26- 当来访者浏览器语言是中文就进入中文版面,国外的用户默认浏览器不是中文的就跳转英文页面。 <?php $lan = substr( $HTTP_ACCEPT_LANGUAGE,0,5); if ($lan == "zh-cn") print("<meta http-equiv='refresh' c...2015-11-08
- 这篇文章主要介绍了c# socket网络编程,server端接收,client端发送数据,大家参考使用吧...2020-06-25
- 这篇文章主要介绍了vue 数据(data)赋值问题的解决方案,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-29
- 腾讯视频怎么放到自己的网页上?这个问题是一个基本的问题,要把腾讯视频放到自己的网页有许多的办法,当然一般情况就是直接使用它们的网页代码了,如果你要下载资源再放到...2016-09-20
- 这篇文章主要介绍了Python3 常用数据标准化方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-24
- 这篇文章主要介绍了解决vue watch数据的方法被调用了两次的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-11-07
- 这篇文章主要介绍了基于JavaScript实现网页倒计时自动跳转代码 的相关资料,需要的朋友可以参考下...2015-12-29
- 这篇文章主要为大家详细介绍了node.js从数据库获取数据的具体代码,nodejs可以获取具体某张数据表信息,感兴趣的朋友可以参考一下...2016-05-09
网页头部声明lang=”zh-cn”、lang=“zh”、lang=“zh-cmn-Hans”区别
我们现在使用的软件都会自动在前面加一个申明了,那么在网页头部声明lang=”zh-cn”、lang=“zh”、lang=“zh-cmn-Hans”区别是什么呢?下面我们就一起来看看吧. 单...2016-09-20- 使用下以两种方法时必须把字段设为”主键(PRIMARY KEY”或”唯一约束(UNIQUE)”。1:使用REPLACE INTO (此种方法是利用替换的方法,有点似类于先删除再插入) 复制代码 代码如下:REPLACE INTO Syntax REPLACE [LOW_PRIO...2013-10-04