projects.mako.cc - scuttle/blob - includes/utf8.php

   1 <?php
   2 /**
   3  * UTF8 helper functions
   4  *
   5  * @license    GPL 2 (http://www.gnu.org/licenses/gpl.html)
   6  * @author     Andreas Gohr <andi@splitbrain.org>
   7  */
   8
   9 /**
  10  * URL-Encode a filename to allow unicodecharacters
  11  *
  12  * Slashes are not encoded
  13  *
  14  * When the second parameter is true the string will
  15  * be encoded only if non ASCII characters are detected -
  16  * This makes it safe to run it multiple times on the
  17  * same string (default is true)
  18  *
  19  * @author Andreas Gohr <andi@splitbrain.org>
  20  * @see    urlencode
  21  */
  22 function utf8_encodeFN($file,$safe=true){
  23   if($safe && preg_match('#^[a-zA-Z0-9/_\-.%]+$#',$file)){
  24     return $file;
  25   }
  26   $file = urlencode($file);
  27   $file = str_replace('%2F','/',$file);
  28   return $file;
  29 }
  30
  31 /**
  32  * URL-Decode a filename
  33  *
  34  * This is just a wrapper around urldecode
  35  *
  36  * @author Andreas Gohr <andi@splitbrain.org>
  37  * @see    urldecode
  38  */
  39 function utf8_decodeFN($file){
  40   $file = urldecode($file);
  41   return $file;
  42 }
  43
  44 /**
  45  * Checks if a string contains 7bit ASCII only
  46  *
  47  * @author Andreas Gohr <andi@splitbrain.org>
  48  */
  49 function utf8_isASCII($str){
  50   for($i=0; $i<strlen($str); $i++){
  51     if(ord($str{$i}) >127) return false;
  52   }
  53   return true;
  54 }
  55
  56 /**
  57  * Tries to detect if a string is in Unicode encoding
  58  *
  59  * @author <bmorel@ssi.fr>
  60  * @link   http://www.php.net/manual/en/function.utf8-encode.php
  61  */
  62 function utf8_check($Str) {
  63  for ($i=0; $i<strlen($Str); $i++) {
  64   if (ord($Str[$i]) < 0x80) continue; # 0bbbbbbb
  65   elseif ((ord($Str[$i]) & 0xE0) == 0xC0) $n=1; # 110bbbbb
  66   elseif ((ord($Str[$i]) & 0xF0) == 0xE0) $n=2; # 1110bbbb
  67   elseif ((ord($Str[$i]) & 0xF8) == 0xF0) $n=3; # 11110bbb
  68   elseif ((ord($Str[$i]) & 0xFC) == 0xF8) $n=4; # 111110bb
  69   elseif ((ord($Str[$i]) & 0xFE) == 0xFC) $n=5; # 1111110b
  70   else return false; # Does not match any model
  71   for ($j=0; $j<$n; $j++) { # n bytes matching 10bbbbbb follow ?
  72    if ((++$i == strlen($Str)) || ((ord($Str[$i]) & 0xC0) != 0x80))
  73    return false;
  74   }
  75  }
  76  return true;
  77 }
  78
  79 /**
  80  * This is a unicode aware replacement for strlen()
  81  *
  82  * Uses mb_string extension if available
  83  *
  84  * @author Andreas Gohr <andi@splitbrain.org>
  85  * @see    strlen()
  86  */
  87 function utf8_strlen($string){
  88   if(!defined('UTF8_NOMBSTRING') && function_exists('mb_strlen'))
  89     return mb_strlen($string,'utf-8');
  90
  91   $uni = utf8_to_unicode($string);
  92   return count($uni);
  93 }
  94
  95 /**
  96  * This is a unicode aware replacement for substr()
  97  *
  98  * Uses mb_string extension if available
  99  *
 100  * @author Andreas Gohr <andi@splitbrain.org>
 101  * @see    substr()
 102  */
 103 function utf8_substr($str, $start, $length=null){
 104   if(!defined('UTF8_NOMBSTRING') && function_exists('mb_substr'))
 105     return mb_substr($str,$start,$length,'utf-8');
 106
 107   $uni = utf8_to_unicode($str);
 108   return unicode_to_utf8(array_slice($uni,$start,$length));
 109 }
 110
 111 /**
 112  * This is a unicode aware replacement for strtolower()
 113  *
 114  * Uses mb_string extension if available
 115  *
 116  * @author Andreas Gohr <andi@splitbrain.org>
 117  * @see    strtolower()
 118  * @see    utf8_strtoupper()
 119  */
 120 function utf8_strtolower($string){
 121   if(!defined('UTF8_NOMBSTRING') && function_exists('mb_strtolower'))
 122     return mb_strtolower($string,'utf-8');
 123
 124   global $UTF8_UPPER_TO_LOWER;
 125   $uni = utf8_to_unicode($string);
 126   for ($i=0; $i < count($uni); $i++){
 127     if($UTF8_UPPER_TO_LOWER[$uni[$i]]){
 128       $uni[$i] = $UTF8_UPPER_TO_LOWER[$uni[$i]];
 129     }
 130   }
 131   return unicode_to_utf8($uni);
 132 }
 133
 134 /**
 135  * This is a unicode aware replacement for strtoupper()
 136  *
 137  * Uses mb_string extension if available
 138  *
 139  * @author Andreas Gohr <andi@splitbrain.org>
 140  * @see    strtoupper()
 141  * @see    utf8_strtoupper()
 142  */
 143 function utf8_strtoupper($string){
 144   if(!defined('UTF8_NOMBSTRING') && function_exists('mb_strtolower'))
 145     return mb_strtolower($string,'utf-8');
 146
 147   global $UTF8_LOWER_TO_UPPER;
 148   $uni = utf8_to_unicode($string);
 149   for ($i=0; $i < count($uni); $i++){
 150     if($UTF8_LOWER_TO_UPPER[$uni[$i]]){
 151       $uni[$i] = $UTF8_LOWER_TO_UPPER[$uni[$i]];
 152     }
 153   }
 154   return unicode_to_utf8($uni);
 155 }
 156
 157 /**
 158  * Replace accented UTF-8 characters by unaccented ASCII-7 equivalents
 159  *
 160  * Use the optional parameter to just deaccent lower ($case = -1) or upper ($case = 1)
 161  * letters. Default is to deaccent both cases ($case = 0)
 162  *
 163  * @author Andreas Gohr <andi@splitbrain.org>
 164  */
 165 function utf8_deaccent($string,$case=0){
 166   if($case <= 0){
 167     global $UTF8_LOWER_ACCENTS;
 168     $string = str_replace(array_keys($UTF8_LOWER_ACCENTS),array_values($UTF8_LOWER_ACCENTS),$string);
 169   }
 170   if($case >= 0){
 171     global $UTF8_UPPER_ACCENTS;
 172     $string = str_replace(array_keys($UTF8_UPPER_ACCENTS),array_values($UTF8_UPPER_ACCENTS),$string);
 173   }
 174   return $string;
 175 }
 176
 177 /**
 178  * Removes special characters (nonalphanumeric) from a UTF-8 string
 179  *
 180  * Be sure to specify all specialchars you give in $repl in $keep, too
 181  * or it won't work.
 182  *
 183  * This function adds the controlchars 0x00 to 0x19 to the array of
 184  * stripped chars (they are not included in $UTF8_SPECIAL_CHARS)
 185  *
 186  * @author Andreas Gohr <andi@splitbrain.org>
 187  * @param  string $string The UTF8 string to strip of special chars
 188  * @param  string $repl   Replace special with this string
 189  * @param  string $keep   Special chars to keep (in UTF8)
 190  */
 191 function utf8_stripspecials($string,$repl='',$keep=''){
 192   global $UTF8_SPECIAL_CHARS;
 193   if($keep != ''){
 194     $specials = array_diff($UTF8_SPECIAL_CHARS, utf8_to_unicode($keep));
 195   }else{
 196     $specials = $UTF8_SPECIAL_CHARS;
 197   }
 198
 199   $specials = unicode_to_utf8($specials);
 200   $specials = preg_quote($specials, '/');
 201
 202   return preg_replace('/[\x00-\x19'.$specials.']/u',$repl,$string);
 203 }
 204
 205 /**
 206  * This is an Unicode aware replacement for strpos
 207  *
 208  * Uses mb_string extension if available
 209  *
 210  * @author Scott Michael Reynen <scott@randomchaos.com>
 211  * @author Andreas Gohr <andi@splitbrain.org>
 212  * @link   http://www.randomchaos.com/document.php?source=php_and_unicode
 213  * @see    strpos()
 214  */
 215 function utf8_strpos($haystack, $needle,$offset=0) {
 216   if(!defined('UTF8_NOMBSTRING') && function_exists('mb_strpos'))
 217     return mb_strpos($haystack,$needle,$offset,'utf-8');
 218
 219   $haystack = utf8_to_unicode($haystack);
 220   $needle   = utf8_to_unicode($needle);
 221   $position = $offset;
 222   $found = false;
 223
 224   while( (! $found ) && ( $position < count( $haystack ) ) ) {
 225     if ( $needle[0] == $haystack[$position] ) {
 226       for ($i = 1; $i < count( $needle ); $i++ ) {
 227         if ( $needle[$i] != $haystack[ $position + $i ] ) break;
 228       }
 229       if ( $i == count( $needle ) ) {
 230         $found = true;
 231         $position--;
 232       }
 233     }
 234     $position++;
 235   }
 236   return ( $found == true ) ? $position : false;
 237 }
 238
 239 /**
 240  * This function will any UTF-8 encoded text and return it as
 241  * a list of Unicode values:
 242  *
 243  * @author Scott Michael Reynen <scott@randomchaos.com>
 244  * @link   http://www.randomchaos.com/document.php?source=php_and_unicode
 245  * @see    unicode_to_utf8()
 246  */
 247 function utf8_to_unicode( $str ) {
 248   $unicode = array();
 249   $values = array();
 250   $lookingFor = 1;
 251
 252   for ($i = 0; $i < strlen( $str ); $i++ ) {
 253     $thisValue = ord( $str[ $i ] );
 254     if ( $thisValue < 128 ) $unicode[] = $thisValue;
 255     else {
 256       if ( count( $values ) == 0 ) $lookingFor = ( $thisValue < 224 ) ? 2 : 3;
 257       $values[] = $thisValue;
 258       if ( count( $values ) == $lookingFor ) {
 259   $number = ( $lookingFor == 3 ) ?
 260     ( ( $values[0] % 16 ) * 4096 ) + ( ( $values[1] % 64 ) * 64 ) + ( $values[2] % 64 ):
 261         ( ( $values[0] % 32 ) * 64 ) + ( $values[1] % 64 );
 262   $unicode[] = $number;
 263   $values = array();
 264   $lookingFor = 1;
 265       }
 266     }
 267   }
 268   return $unicode;
 269 }
 270
 271 /**
 272  * This function will convert a Unicode array back to its UTF-8 representation
 273  *
 274  * @author Scott Michael Reynen <scott@randomchaos.com>
 275  * @link   http://www.randomchaos.com/document.php?source=php_and_unicode
 276  * @see    utf8_to_unicode()
 277  */
 278 function unicode_to_utf8( $str ) {
 279   $utf8 = '';
 280   foreach( $str as $unicode ) {
 281     if ( $unicode < 128 ) {
 282       $utf8.= chr( $unicode );
 283     } elseif ( $unicode < 2048 ) {
 284       $utf8.= chr( 192 +  ( ( $unicode - ( $unicode % 64 ) ) / 64 ) );
 285       $utf8.= chr( 128 + ( $unicode % 64 ) );
 286     } else {
 287       $utf8.= chr( 224 + ( ( $unicode - ( $unicode % 4096 ) ) / 4096 ) );
 288       $utf8.= chr( 128 + ( ( ( $unicode % 4096 ) - ( $unicode % 64 ) ) / 64 ) );
 289       $utf8.= chr( 128 + ( $unicode % 64 ) );
 290     }
 291   }
 292   return $utf8;
 293 }
 294
 295 /**
 296  * UTF-8 Case lookup table
 297  *
 298  * This lookuptable defines the upper case letters to their correspponding
 299  * lower case letter in UTF-8
 300  *
 301  * @author Andreas Gohr <andi@splitbrain.org>
 302  */
 303 $UTF8_LOWER_TO_UPPER = array(
 304   0x0061=>0x0041, 0x03C6=>0x03A6, 0x0163=>0x0162, 0x00E5=>0x00C5, 0x0062=>0x0042,
 305   0x013A=>0x0139, 0x00E1=>0x00C1, 0x0142=>0x0141, 0x03CD=>0x038E, 0x0101=>0x0100,
 306   0x0491=>0x0490, 0x03B4=>0x0394, 0x015B=>0x015A, 0x0064=>0x0044, 0x03B3=>0x0393,
 307   0x00F4=>0x00D4, 0x044A=>0x042A, 0x0439=>0x0419, 0x0113=>0x0112, 0x043C=>0x041C,
 308   0x015F=>0x015E, 0x0144=>0x0143, 0x00EE=>0x00CE, 0x045E=>0x040E, 0x044F=>0x042F,
 309   0x03BA=>0x039A, 0x0155=>0x0154, 0x0069=>0x0049, 0x0073=>0x0053, 0x1E1F=>0x1E1E,
 310   0x0135=>0x0134, 0x0447=>0x0427, 0x03C0=>0x03A0, 0x0438=>0x0418, 0x00F3=>0x00D3,
 311   0x0440=>0x0420, 0x0454=>0x0404, 0x0435=>0x0415, 0x0449=>0x0429, 0x014B=>0x014A,
 312   0x0431=>0x0411, 0x0459=>0x0409, 0x1E03=>0x1E02, 0x00F6=>0x00D6, 0x00F9=>0x00D9,
 313   0x006E=>0x004E, 0x0451=>0x0401, 0x03C4=>0x03A4, 0x0443=>0x0423, 0x015D=>0x015C,
 314   0x0453=>0x0403, 0x03C8=>0x03A8, 0x0159=>0x0158, 0x0067=>0x0047, 0x00E4=>0x00C4,
 315   0x03AC=>0x0386, 0x03AE=>0x0389, 0x0167=>0x0166, 0x03BE=>0x039E, 0x0165=>0x0164,
 316   0x0117=>0x0116, 0x0109=>0x0108, 0x0076=>0x0056, 0x00FE=>0x00DE, 0x0157=>0x0156,
 317   0x00FA=>0x00DA, 0x1E61=>0x1E60, 0x1E83=>0x1E82, 0x00E2=>0x00C2, 0x0119=>0x0118,
 318   0x0146=>0x0145, 0x0070=>0x0050, 0x0151=>0x0150, 0x044E=>0x042E, 0x0129=>0x0128,
 319   0x03C7=>0x03A7, 0x013E=>0x013D, 0x0442=>0x0422, 0x007A=>0x005A, 0x0448=>0x0428,
 320   0x03C1=>0x03A1, 0x1E81=>0x1E80, 0x016D=>0x016C, 0x00F5=>0x00D5, 0x0075=>0x0055,
 321   0x0177=>0x0176, 0x00FC=>0x00DC, 0x1E57=>0x1E56, 0x03C3=>0x03A3, 0x043A=>0x041A,
 322   0x006D=>0x004D, 0x016B=>0x016A, 0x0171=>0x0170, 0x0444=>0x0424, 0x00EC=>0x00CC,
 323   0x0169=>0x0168, 0x03BF=>0x039F, 0x006B=>0x004B, 0x00F2=>0x00D2, 0x00E0=>0x00C0,
 324   0x0434=>0x0414, 0x03C9=>0x03A9, 0x1E6B=>0x1E6A, 0x00E3=>0x00C3, 0x044D=>0x042D,
 325   0x0436=>0x0416, 0x01A1=>0x01A0, 0x010D=>0x010C, 0x011D=>0x011C, 0x00F0=>0x00D0,
 326   0x013C=>0x013B, 0x045F=>0x040F, 0x045A=>0x040A, 0x00E8=>0x00C8, 0x03C5=>0x03A5,
 327   0x0066=>0x0046, 0x00FD=>0x00DD, 0x0063=>0x0043, 0x021B=>0x021A, 0x00EA=>0x00CA,
 328   0x03B9=>0x0399, 0x017A=>0x0179, 0x00EF=>0x00CF, 0x01B0=>0x01AF, 0x0065=>0x0045,
 329   0x03BB=>0x039B, 0x03B8=>0x0398, 0x03BC=>0x039C, 0x045C=>0x040C, 0x043F=>0x041F,
 330   0x044C=>0x042C, 0x00FE=>0x00DE, 0x00F0=>0x00D0, 0x1EF3=>0x1EF2, 0x0068=>0x0048,
 331   0x00EB=>0x00CB, 0x0111=>0x0110, 0x0433=>0x0413, 0x012F=>0x012E, 0x00E6=>0x00C6,
 332   0x0078=>0x0058, 0x0161=>0x0160, 0x016F=>0x016E, 0x03B1=>0x0391, 0x0457=>0x0407,
 333   0x0173=>0x0172, 0x00FF=>0x0178, 0x006F=>0x004F, 0x043B=>0x041B, 0x03B5=>0x0395,
 334   0x0445=>0x0425, 0x0121=>0x0120, 0x017E=>0x017D, 0x017C=>0x017B, 0x03B6=>0x0396,
 335   0x03B2=>0x0392, 0x03AD=>0x0388, 0x1E85=>0x1E84, 0x0175=>0x0174, 0x0071=>0x0051,
 336   0x0437=>0x0417, 0x1E0B=>0x1E0A, 0x0148=>0x0147, 0x0105=>0x0104, 0x0458=>0x0408,
 337   0x014D=>0x014C, 0x00ED=>0x00CD, 0x0079=>0x0059, 0x010B=>0x010A, 0x03CE=>0x038F,
 338   0x0072=>0x0052, 0x0430=>0x0410, 0x0455=>0x0405, 0x0452=>0x0402, 0x0127=>0x0126,
 339   0x0137=>0x0136, 0x012B=>0x012A, 0x03AF=>0x038A, 0x044B=>0x042B, 0x006C=>0x004C,
 340   0x03B7=>0x0397, 0x0125=>0x0124, 0x0219=>0x0218, 0x00FB=>0x00DB, 0x011F=>0x011E,
 341   0x043E=>0x041E, 0x1E41=>0x1E40, 0x03BD=>0x039D, 0x0107=>0x0106, 0x03CB=>0x03AB,
 342   0x0446=>0x0426, 0x00FE=>0x00DE, 0x00E7=>0x00C7, 0x03CA=>0x03AA, 0x0441=>0x0421,
 343   0x0432=>0x0412, 0x010F=>0x010E, 0x00F8=>0x00D8, 0x0077=>0x0057, 0x011B=>0x011A,
 344   0x0074=>0x0054, 0x006A=>0x004A, 0x045B=>0x040B, 0x0456=>0x0406, 0x0103=>0x0102,
 345   0x03BB=>0x039B, 0x00F1=>0x00D1, 0x043D=>0x041D, 0x03CC=>0x038C, 0x00E9=>0x00C9,
 346   0x00F0=>0x00D0, 0x0457=>0x0407, 0x0123=>0x0122,
 347 );
 348
 349 /**
 350  * UTF-8 Case lookup table
 351  *
 352  * This lookuptable defines the lower case letters to their correspponding
 353  * upper case letter in UTF-8 (it does so by flipping $UTF8_LOWER_TO_UPPER)
 354  *
 355  * @author Andreas Gohr <andi@splitbrain.org>
 356  */
 357 $UTF8_UPPER_TO_LOWER = @array_flip($UTF8_LOWER_TO_UPPER);
 358
 359 /**
 360  * UTF-8 lookup table for lower case accented letters
 361  *
 362  * This lookuptable defines replacements for accented characters from the ASCII-7
 363  * range. This are lower case letters only.
 364  *
 365  * @author Andreas Gohr <andi@splitbrain.org>
 366  * @see    utf8_deaccent()
 367  */
 368 $UTF8_LOWER_ACCENTS = array(
 369   'Ã ' => 'a', 'Ã´' => 'o', 'Ä\8f' => 'd', 'á¸\9f' => 'f', 'Ã«' => 'e', 'Å¡' => 's', 'Æ¡' => 'o',
 370   'ß' => 'ss', 'ă' => 'a', 'ř' => 'r', 'ț' => 't', 'ň' => 'n', 'ā' => 'a', 'ķ' => 'k',
 371   'ŝ' => 's', 'ỳ' => 'y', 'ņ' => 'n', 'ĺ' => 'l', 'ħ' => 'h', 'ṗ' => 'p', 'ó' => 'o',
 372   'ú' => 'u', 'ě' => 'e', 'é' => 'e', 'ç' => 'c', 'ẁ' => 'w', 'ċ' => 'c', 'õ' => 'o',
 373   'ṡ' => 's', 'ø' => 'o', 'ģ' => 'g', 'ŧ' => 't', 'ș' => 's', 'ė' => 'e', 'ĉ' => 'c',
 374   'ś' => 's', 'î' => 'i', 'ű' => 'u', 'ć' => 'c', 'ę' => 'e', 'ŵ' => 'w', 'ṫ' => 't',
 375   'ū' => 'u', 'č' => 'c', 'ö' => 'oe', 'è' => 'e', 'ŷ' => 'y', 'ą' => 'a', 'ł' => 'l',
 376   'ų' => 'u', 'ů' => 'u', 'ş' => 's', 'ğ' => 'g', 'ļ' => 'l', 'ƒ' => 'f', 'ž' => 'z',
 377   'ẃ' => 'w', 'ḃ' => 'b', 'å' => 'a', 'ì' => 'i', 'ï' => 'i', 'ḋ' => 'd', 'ť' => 't',
 378   'ŗ' => 'r', 'ä' => 'ae', 'í' => 'i', 'ŕ' => 'r', 'ê' => 'e', 'ü' => 'ue', 'ò' => 'o',
 379   'ē' => 'e', 'ñ' => 'n', 'ń' => 'n', 'ĥ' => 'h', 'ĝ' => 'g', 'đ' => 'd', 'ĵ' => 'j',
 380   'ÿ' => 'y', 'ũ' => 'u', 'ŭ' => 'u', 'ư' => 'u', 'ţ' => 't', 'ý' => 'y', 'ő' => 'o',
 381   'â' => 'a', 'ľ' => 'l', 'ẅ' => 'w', 'ż' => 'z', 'ī' => 'i', 'ã' => 'a', 'ġ' => 'g',
 382   'ṁ' => 'm', 'ō' => 'o', 'ĩ' => 'i', 'ù' => 'u', 'į' => 'i', 'ź' => 'z', 'á' => 'a',
 383   'û' => 'u', 'þ' => 'th', 'ð' => 'dh', 'æ' => 'ae', 'µ' => 'u',
 384 );
 385
 386 /**
 387  * UTF-8 lookup table for upper case accented letters
 388  *
 389  * This lookuptable defines replacements for accented characters from the ASCII-7
 390  * range. This are upper case letters only.
 391  *
 392  * @author Andreas Gohr <andi@splitbrain.org>
 393  * @see    utf8_deaccent()
 394  */
 395 $UTF8_UPPER_ACCENTS = array(
 396   'Ã ' => 'A', 'Ã´' => 'O', 'Ä\8f' => 'D', 'á¸\9f' => 'F', 'Ã«' => 'E', 'Å¡' => 'S', 'Æ¡' => 'O',
 397   'ß' => 'Ss', 'ă' => 'A', 'ř' => 'R', 'ț' => 'T', 'ň' => 'N', 'ā' => 'A', 'ķ' => 'K',
 398   'ŝ' => 'S', 'ỳ' => 'Y', 'ņ' => 'N', 'ĺ' => 'L', 'ħ' => 'H', 'ṗ' => 'P', 'ó' => 'O',
 399   'ú' => 'U', 'ě' => 'E', 'é' => 'E', 'ç' => 'C', 'ẁ' => 'W', 'ċ' => 'C', 'õ' => 'O',
 400   'ṡ' => 'S', 'ø' => 'O', 'ģ' => 'G', 'ŧ' => 'T', 'ș' => 'S', 'ė' => 'E', 'ĉ' => 'C',
 401   'ś' => 'S', 'î' => 'I', 'ű' => 'U', 'ć' => 'C', 'ę' => 'E', 'ŵ' => 'W', 'ṫ' => 'T',
 402   'ū' => 'U', 'č' => 'C', 'ö' => 'Oe', 'è' => 'E', 'ŷ' => 'Y', 'ą' => 'A', 'ł' => 'L',
 403   'ų' => 'U', 'ů' => 'U', 'ş' => 'S', 'ğ' => 'G', 'ļ' => 'L', 'ƒ' => 'F', 'ž' => 'Z',
 404   'ẃ' => 'W', 'ḃ' => 'B', 'å' => 'A', 'ì' => 'I', 'ï' => 'I', 'ḋ' => 'D', 'ť' => 'T',
 405   'ŗ' => 'R', 'ä' => 'Ae', 'í' => 'I', 'ŕ' => 'R', 'ê' => 'E', 'ü' => 'Ue', 'ò' => 'O',
 406   'ē' => 'E', 'ñ' => 'N', 'ń' => 'N', 'ĥ' => 'H', 'ĝ' => 'G', 'đ' => 'D', 'ĵ' => 'J',
 407   'ÿ' => 'Y', 'ũ' => 'U', 'ŭ' => 'U', 'ư' => 'U', 'ţ' => 'T', 'ý' => 'Y', 'ő' => 'O',
 408   'â' => 'A', 'ľ' => 'L', 'ẅ' => 'W', 'ż' => 'Z', 'ī' => 'I', 'ã' => 'A', 'ġ' => 'G',
 409   'ṁ' => 'M', 'ō' => 'O', 'ĩ' => 'I', 'ù' => 'U', 'į' => 'I', 'ź' => 'Z', 'á' => 'A',
 410   'û' => 'U', 'Þ' => 'Th', 'Ð' => 'Dh', 'Æ' => 'Ae',
 411 );
 412
 413 /**
 414  * UTF-8 array of common special characters
 415  *
 416  * This array should contain all special characters (not a letter or digit)
 417  * defined in the various local charsets - it's not a complete list of non-alphanum
 418  * characters in UTF-8. It's not perfect but should match most cases of special
 419  * chars.
 420  *
 421  * The controlchars 0x00 to 0x19 are _not_ included in this array. The space 0x20 is!
 422  *
 423  * @author Andreas Gohr <andi@splitbrain.org>
 424  * @see    utf8_stripspecials()
 425  */
 426 $UTF8_SPECIAL_CHARS = array(
 427   0x001a, 0x001b, 0x001c, 0x001d, 0x001e, 0x001f, 0x0020, 0x0021, 0x0022, 0x0023,
 428   0x0024, 0x0025, 0x0026, 0x0027, 0x0028, 0x0029, 0x002a, 0x002b, 0x002c, 0x002d,
 429   0x002e, 0x002f, 0x003a, 0x003b, 0x003c, 0x003d, 0x003e, 0x003f, 0x0040, 0x005b,
 430   0x005c, 0x005d, 0x005e, 0x005f, 0x0060, 0x0142, 0x007b, 0x007c, 0x007d, 0x007e,
 431   0x007f, 0x0080, 0x0081, 0x0082, 0x0083, 0x0084, 0x0085, 0x0086, 0x0087, 0x0088,
 432   0x0089, 0x008a, 0x008b, 0x008c, 0x008d, 0x008e, 0x008f, 0x0090, 0x0091, 0x0092,
 433         0x0093, 0x0094, 0x0095, 0x0096, 0x0097, 0x0098, 0x0099, 0x009a, 0x009b, 0x009c,
 434         0x009d, 0x009e, 0x009f, 0x00a0, 0x00a1, 0x00a2, 0x00a3, 0x00a4, 0x00a5, 0x00a6,
 435         0x00a7, 0x00a8, 0x00a9, 0x00aa, 0x00ab, 0x00ac, 0x00ad, 0x00ae, 0x00af, 0x00b0,
 436         0x00b1, 0x00b2, 0x00b3, 0x00b4, 0x00b5, 0x00b6, 0x00b7, 0x00b8, 0x00b9, 0x00ba,
 437         0x00bb, 0x00bc, 0x00bd, 0x00be, 0x00bf, 0x00d7, 0x00f7, 0x02c7, 0x02d8, 0x02d9,
 438         0x02da, 0x02db, 0x02dc, 0x02dd, 0x0300, 0x0301, 0x0303, 0x0309, 0x0323, 0x0384,
 439         0x0385, 0x0387, 0x03b2, 0x03c6, 0x03d1, 0x03d2, 0x03d5, 0x03d6, 0x05b0, 0x05b1,
 440         0x05b2, 0x05b3, 0x05b4, 0x05b5, 0x05b6, 0x05b7, 0x05b8, 0x05b9, 0x05bb, 0x05bc,
 441         0x05bd, 0x05be, 0x05bf, 0x05c0, 0x05c1, 0x05c2, 0x05c3, 0x05f3, 0x05f4, 0x060c,
 442         0x061b, 0x061f, 0x0640, 0x064b, 0x064c, 0x064d, 0x064e, 0x064f, 0x0650, 0x0651,
 443         0x0652, 0x066a, 0x0e3f, 0x200c, 0x200d, 0x200e, 0x200f, 0x2013, 0x2014, 0x2015,
 444         0x2017, 0x2018, 0x2019, 0x201a, 0x201c, 0x201d, 0x201e, 0x2020, 0x2021, 0x2022,
 445         0x2026, 0x2030, 0x2032, 0x2033, 0x2039, 0x203a, 0x2044, 0x20a7, 0x20aa, 0x20ab,
 446         0x20ac, 0x2116, 0x2118, 0x2122, 0x2126, 0x2135, 0x2190, 0x2191, 0x2192, 0x2193,
 447         0x2194, 0x2195, 0x21b5, 0x21d0, 0x21d1, 0x21d2, 0x21d3, 0x21d4, 0x2200, 0x2202,
 448         0x2203, 0x2205, 0x2206, 0x2207, 0x2208, 0x2209, 0x220b, 0x220f, 0x2211, 0x2212,
 449         0x2215, 0x2217, 0x2219, 0x221a, 0x221d, 0x221e, 0x2220, 0x2227, 0x2228, 0x2229,
 450         0x222a, 0x222b, 0x2234, 0x223c, 0x2245, 0x2248, 0x2260, 0x2261, 0x2264, 0x2265,
 451         0x2282, 0x2283, 0x2284, 0x2286, 0x2287, 0x2295, 0x2297, 0x22a5, 0x22c5, 0x2310,
 452         0x2320, 0x2321, 0x2329, 0x232a, 0x2469, 0x2500, 0x2502, 0x250c, 0x2510, 0x2514,
 453         0x2518, 0x251c, 0x2524, 0x252c, 0x2534, 0x253c, 0x2550, 0x2551, 0x2552, 0x2553,
 454         0x2554, 0x2555, 0x2556, 0x2557, 0x2558, 0x2559, 0x255a, 0x255b, 0x255c, 0x255d,
 455         0x255e, 0x255f, 0x2560, 0x2561, 0x2562, 0x2563, 0x2564, 0x2565, 0x2566, 0x2567,
 456         0x2568, 0x2569, 0x256a, 0x256b, 0x256c, 0x2580, 0x2584, 0x2588, 0x258c, 0x2590,
 457         0x2591, 0x2592, 0x2593, 0x25a0, 0x25b2, 0x25bc, 0x25c6, 0x25ca, 0x25cf, 0x25d7,
 458         0x2605, 0x260e, 0x261b, 0x261e, 0x2660, 0x2663, 0x2665, 0x2666, 0x2701, 0x2702,
 459         0x2703, 0x2704, 0x2706, 0x2707, 0x2708, 0x2709, 0x270c, 0x270d, 0x270e, 0x270f,
 460         0x2710, 0x2711, 0x2712, 0x2713, 0x2714, 0x2715, 0x2716, 0x2717, 0x2718, 0x2719,
 461         0x271a, 0x271b, 0x271c, 0x271d, 0x271e, 0x271f, 0x2720, 0x2721, 0x2722, 0x2723,
 462         0x2724, 0x2725, 0x2726, 0x2727, 0x2729, 0x272a, 0x272b, 0x272c, 0x272d, 0x272e,
 463         0x272f, 0x2730, 0x2731, 0x2732, 0x2733, 0x2734, 0x2735, 0x2736, 0x2737, 0x2738,
 464         0x2739, 0x273a, 0x273b, 0x273c, 0x273d, 0x273e, 0x273f, 0x2740, 0x2741, 0x2742,
 465         0x2743, 0x2744, 0x2745, 0x2746, 0x2747, 0x2748, 0x2749, 0x274a, 0x274b, 0x274d,
 466         0x274f, 0x2750, 0x2751, 0x2752, 0x2756, 0x2758, 0x2759, 0x275a, 0x275b, 0x275c,
 467         0x275d, 0x275e, 0x2761, 0x2762, 0x2763, 0x2764, 0x2765, 0x2766, 0x2767, 0x277f,
 468         0x2789, 0x2793, 0x2794, 0x2798, 0x2799, 0x279a, 0x279b, 0x279c, 0x279d, 0x279e,
 469         0x279f, 0x27a0, 0x27a1, 0x27a2, 0x27a3, 0x27a4, 0x27a5, 0x27a6, 0x27a7, 0x27a8,
 470         0x27a9, 0x27aa, 0x27ab, 0x27ac, 0x27ad, 0x27ae, 0x27af, 0x27b1, 0x27b2, 0x27b3,
 471         0x27b4, 0x27b5, 0x27b6, 0x27b7, 0x27b8, 0x27b9, 0x27ba, 0x27bb, 0x27bc, 0x27bd,
 472         0x27be, 0xf6d9, 0xf6da, 0xf6db, 0xf8d7, 0xf8d8, 0xf8d9, 0xf8da, 0xf8db, 0xf8dc,
 473         0xf8dd, 0xf8de, 0xf8df, 0xf8e0, 0xf8e1, 0xf8e2, 0xf8e3, 0xf8e4, 0xf8e5, 0xf8e6,
 474         0xf8e7, 0xf8e8, 0xf8e9, 0xf8ea, 0xf8eb, 0xf8ec, 0xf8ed, 0xf8ee, 0xf8ef, 0xf8f0,
 475         0xf8f1, 0xf8f2, 0xf8f3, 0xf8f4, 0xf8f5, 0xf8f6, 0xf8f7, 0xf8f8, 0xf8f9, 0xf8fa,
 476         0xf8fb, 0xf8fc, 0xf8fd, 0xf8fe, 0xfe7c, 0xfe7d,
 477 );
 478 ?>