php实现的中文分词类完整实例

classSegmentation {

  var$options=array('lowercase'=> TRUE,

  'segment_english'=> FALSE);

  var$dict_name='Unknown'

  var$dict_words=array();

  functionsetLowercase($value) {

    if($value) {

      $this->options['lowercase'] = TRUE;

    }else{

      $this->options['lowercase'] = FALSE;

    }

    returnTRUE;

  }

  functionsetSegmentEnglish($value) {

    if($value) {

      $this->options['segment_english'] = TRUE;

    }else{

      $this->options['segment_english'] = FALSE;

    }

    returnTRUE;

  }

  functionload($dict_file) {

    if(!file_exists($dict_file)) {

      returnFALSE;

    }

    $fp=fopen($dict_file,'r');

    $temp=fgets($fp, 1024);

    if($temp=== FALSE) {

      returnFALSE;

    }else{

      if(strpos($temp,"\t") !== FALSE) {

        list ($dict_type,$dict_name) =explode("\t", trim($temp));

      }else{

        $dict_type= trim($temp);

        $dict_name='Unknown'

      }

      $this->dict_name =$dict_name;

      if($dict_type!=='DICT_WORD_W') {

        returnFALSE;

      }

    }

    while(!feof($fp)) {

      $this->dict_words[rtrim(fgets($fp, 32))] = 1;

    }

    fclose($fp);

    returnTRUE;

  }

  functiongetDictName() {

    return$this->dict_name;

  }

  functionsegmentString($str) {

    if(count($this->dict_words) === 0) {

      returnFALSE;

    }

    $lines=explode("\n",$str);

    return$this->_segmentLines($lines);

  }

  functionsegmentFile($filename) {

    if(count($this->dict_words) === 0) {

      returnFALSE;

    }

    $lines= file($filename);

    return$this->_segmentLines($lines);

  }

  function_segmentLines($lines) {

    $contents_segmented=''

    foreach($linesas$line) {

      $contents_segmented.=$this->_segmentLine(rtrim($line)) ." \n";

    }

    do{

      $contents_segmented=str_replace(' ',' ',$contents_segmented);

    }

    while(strpos($contents_segmented,' ') !== FALSE);

    return$contents_segmented;

  }

  function_segmentLine($str) {

    $str_final=''

    $str_array=array();

    $str_length=strlen($str);

    if($str_length> 0) {

      if(ord($str{$str_length-1}) >= 129) {

        $str.=' '

      }

    }

    for($i=0;$i<$str_length;$i++) {

      if(ord($str{$i}) >= 129) {

        $str_array[] =$str{$i} .$str{$i+1};

        $i++;

      }else{

        $str_tmp=$str{$i};

        for($j=$i+1;$j<$str_length;$j++) {

          if(ord($str{$j}) < 129) {

            $str_tmp.=$str{$j};

          }else{

            break;

          }

        }

        $str_array[] =array($str_tmp);

        $i=$j- 1;

      }

    }

    $pos=count($str_array);

    while($pos> 0) {

      $char=$str_array[$pos-1];

      if(is_array($char)) {

        $str_final_tmp=$char[0];

        if($this->options['segment_english']) {

          $str_final_tmp= preg_replace("/([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f]+)/"," $1 ",$str_final_tmp);

$str_final_tmp= preg_replace("/([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])([\!\"\#\$\%\&\'\(\)\*\+\,\-\.\/\:\;\<\=\>\?\@\[\\\\\]\^\_\`\{\|\}\~\t\f])/"," $1 $2 ",$str_final_tmp);

        }

        if($this->options['lowercase']) {

          $str_final_tmp=strtolower($str_final_tmp);

        }

        $str_final=" $str_final_tmp$str_final";

        $pos--;

      }else{

        $word_found= 0;

        $word_array=array(0 =>'');

        if($pos< 4) {

          $word_temp=$pos+ 1;

        }else{

          $word_temp= 5;

        }

        for($i=1;$i<$word_temp;$i++) {

          $word_array[$i] =$str_array[$pos-$i] .$word_array[$i-1];

        }

        for($i=($word_temp-1);$i>1;$i--) {

          if(array_key_exists($word_array[$i],$this->dict_words)) {

            $word_found=$i;

            break;

          }

        }

        if($word_found) {

          $str_final=" $word_array[$word_found]$str_final";

          $pos=$pos-$word_found;

        }else{

          $str_final=" $char$str_final";

          $pos--;

        }

      }

    }

    return$str_final;

  }

}

?>

header ("Content-type:text/html;charset=UTF-8");

echo$string='花园路888号';

echo'<hr/>加密有效期10秒,密文内容:';

// $string='1111';

$sss=authcode($string,'','',10);

echo$sss;

echo'<hr/>加密后立即解密:...';

echoauthcode($sss);

sleep(6);

echo'<hr/>6秒后解密...';

$aaaa=authcode($sss);

var_dump($aaaa);

sleep(5);

echo'<hr/>再次5秒后解密...';

$aaaa=authcode($sss);

var_dump($aaaa);

/**

 *

 * @param string $string    明文或密文字符串

 * @param string $operation    DECODE表示解密,其它表示加密

 * @param string $key    密钥

 * @param int $expiry    密文有效期,0代码永不过期

 * @return string

 */

functionauthcode($string,$operation='DECODE',$key='',$expiry= 0) {

    // 动态密匙长度，相同的明文会生成不同密文就是依靠动态密匙

    $ckey_length= 4;

    // 密匙

    $key= md5 ($key?$key:$GLOBALS['discuz_auth_key'] );

    // 密匙a会参与加解密

    $keya= md5 (substr($key, 0, 16 ) );

    // 密匙b会用来做数据完整性验证

    $keyb= md5 (substr($key, 16, 16 ) );

    // 密匙c用于变化生成的密文

    $keyc=$ckey_length? ($operation=='DECODE'?substr($string, 0,$ckey_length) :substr( md5 ( microtime () ), -$ckey_length)) :'';

    // 参与运算的密匙

    $cryptkey=$keya. md5 ($keya.$keyc);

    $key_length=strlen($cryptkey);

    // 明文，前10位用来保存时间戳，解密时验证数据有效性，10到26位用来保存$keyb(密匙b)，解密时会通过这个密匙验证数据完整性

    // 如果是解码的话，会从第$ckey_length位开始，因为密文前$ckey_length位保存 动态密匙，以保证解密正确

    $string=$operation=='DECODE'?base64_decode(substr($string,$ckey_length) ) : sprintf ('0d',$expiry?$expiry+ time () : 0 ) .substr( md5 ($string.$keyb), 0, 16 ) .$string;

    $string_length=strlen($string);

    $result='';

    $box= range ( 0, 255 );

    $rndkey=array();

    // 产生密匙簿

    for($i= 0;$i<= 255;$i++) {

        $rndkey[$i] = ord ($cryptkey[$i%$key_length] );

    }

    // 用固定的算法，打乱密匙簿，增加随机性，好像很复杂，实际上对并不会增加密文的强度

    for($j=$i= 0;$i< 256;$i++) {

        $j= ($j+$box[$i] +$rndkey[$i]) % 256;

        $tmp=$box[$i];

        $box[$i] =$box[$j];

        $box[$j] =$tmp;

    }

    // 核心加解密部分

    for($a=$j=$i= 0;$i<$string_length;$i++) {

        $a= ($a+ 1) % 256;

        $j= ($j+$box[$a]) % 256;

        $tmp=$box[$a];

        $box[$a] =$box[$j];

        $box[$j] =$tmp;

        // 从密匙簿得出密匙进行异或，再转成字符

        $result.=chr( ord ($string[$i] ) ^ ($box[($box[$a] +$box[$j]) % 256]) );

    }

    if($operation=='DECODE') {

        // substr($result, 0, 10) == 0 验证数据有效性

        // substr($result, 0, 10) - time() > 0 验证数据有效性

        // substr($result, 10, 16) == substr(md5(substr($result, 26).$keyb), 0,

        // 16) 验证数据完整性

        // 验证数据有效性，请看未加密明文的格式

        if((substr($result, 0, 10 ) == 0 ||substr($result, 0, 10 ) - time () > 0) &&substr($result, 10, 16 ) ==substr( md5 (substr($result, 26 ) .$keyb), 0, 16 )) {

            returnsubstr($result, 26 );

        }else{

            return'';

        }

    }else{

        // 把动态密匙保存在密文里，这也是为什么同样的明文，生产不同密文后能解密的原因

        // 因为加密后的密文可能是一些特殊字符，复制过程可能会丢失，所以用base64编码

        return$keyc.str_replace('=','',base64_encode($result) );

    }

}

if(!function_exists('com_create_guid')) {

 functioncom_create_guid() {

  returnsprintf('%04x%04x-%04x-%04x-%04x-%04x%04x%04x',

    mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff ),

    mt_rand( 0, 0xffff ),

    mt_rand( 0, 0x0fff ) | 0x4000,

    mt_rand( 0, 0x3fff ) | 0x8000,

    mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff ), mt_rand( 0, 0xffff )

  );

 }

}