includes inc parser php

includes inc parser php

I’m including a file init.php which defines path constants. So if I include init.php in a file (index.php) and then in another file (layout/header.php). is init.php parsed before being added to these files or is it added to the parent file and then the parent file is parsed as a whole?

EDIT: Why this is important is because init.php defines path variables relative to location of where it is parsed.

3 Answers 3

Actually include and require are identical in all except require will fail with E_ERROR while include will issue a warning. Also both of the statements are only activated when they actually executed inside script. So the following code will always work:

The answer to your question is that index.php will be parsed first and executed. Then when include «init.php» encountered the file init.php is parsed and executed within current scope. The same for layout/header.php — it will be parsed first.

Think of it as being copy-pasted into the file at the position where it was included. Use require_once or include_once if you don’t want your stuff redefined.

If you want to make sure that the init file is only loaded once in a runtime of a request, then use require_once to make sure that it is only parsed once regardless of how many times you call it. Its a good idea to try to load your init file everywhere you need its constants, but use require_once to make sure you don’t parse it more times then needed.

+ поддерживает кучу селекторов
— невысокая скорость работы

+ хорошая документация
+ прост в изучении
— говорят об утечках памяти, т.е. большие файлы парсить не получится
— проблемы со скоростью парсинга

+ высокая скорость работы
— ужасная документация

Перечислил все, что пришло в голову, возможно что-то упустил. Так что лучше выбрать?

+ высокая скорость работы (сравнение с другими парсерами)
+ хорошая дока
+ большое количество поддерживаемых селекторов
+ самое главное — тесты

Чуть посложнее — парсим все ссылки:

Еще сложнее — получить адреса всех ссылок-картинок:

За годы парсинга данных я пришел к простому набору:

Curl + tidy + DOMXpath

Первый вопрос, парсер чего?
И если я правильно понял задачу этого парсера, то зачем вы изобретаете велосипеды?

* cURL для получения контента — php.net/manual/ru/book.curl.php
Или вот еще нашел объектно ориентированную обертку https://github.com/php-curl-class/php-curl-class
* И, собственно, SimpleXML для разбора документа.

Оба компонента «из коробки» поставляются с PHP. Унифицированные, задокументированные и всем известные интерфейсы.

Надежнее всего на PhantomJs, так как это полноценный browser. Быстрее на phpQuery

П.с. О Simple HTML Dom пишут что работает с невалидным html. Не работает. Моей причиной перехода с него на phpQuery как раз это и было

если нужно просто получить текст, самой высокой скоростью обладает DOMDocument phpQuery уступает в скорости примерно в 4 раза (по моим личным тестам), зато имеет кучу селекторов и в итоге для себя я выбрал ее

Simple HTML Dom очень медленный
Nokogiri чисто парсер, замены там нет и по сути тот же DOMDocument который оброс хаками, так что смысла в нем нет, если речь идет о скорости

Так что мой сайт Evo перестал работать на днях – только что получил 500 ошибок. Я получил мой хост, чтобы проверить журналы и нашел это:

Я устал комментировать строку нарушения и удалить весь файл безрезультатно. Кто-нибудь знает, что это значит и как это исправить?

EDIT: код в строке 790:

Похоже, плохой плагин сломал ваш сайт. Отключите все свои плагины и восстановите их по одному, пока он не сломается снова, тогда вы знаете, какой из них является виновником.

Как только вы это сделаете, разместите здесь код плагина, и мы сможем помочь вам отладить его дальше. Вам не нужно будет изменять исходный код MODX.

Проблема, вероятно, будет решена путем упаковки объявления insert_metka() следующим образом:

Это кажется очень простой проблемой. Вы объявляете insert_metka() два раза. Удалите его из одного из указанных файлов. Как только он объявлен в сохраненном файле и, видимо, второй раз вы пытаетесь объявить его с помощью eval()

Cannot redeclare insert_metka() говорит, что вы дважды объявляете функцию (может быть, с вашими оценками).

Вы должны проверить свои включенные файлы.

Чтобы не включать более одного раза, вы можете использовать include_once или requiere_once вместо include и requiere

Итак, что вы можете сделать, это создать класс создания instantiation для class выше, а затем overwrite его.

Источник

Как я html-парсер на php писал, и что из этого вышло. Вводная часть

Сегодня я хочу рассказать, как написать html парсер, а также с какими проблемами я столкнулся, разрабатывая подобный парсер на php. А проблем было много. И в первой части я расскажу о проектировании парсера, и о возникших проблемах, ведь html парсер отличается от парсера привычных всем языков программирования.

Введение

Я старался написать текст этой статьи максимально понятно, чтобы любой, кто даже не знаком с общим устройством парсеров мог понять то, как работает html парсер.

Здесь и далее в статье я буду называть документ, содержащий html просто «Документ».

Dom дерево, находящееся в элементе, будет называться «Подмассив».

Что должен делать парсер?

Давайте сначала определимся, что должен делать парсер, чтобы в будущем отталкиваться от этого при разработке. А именно, парсер должен:

Впрочем, это мелочи. Основного функционала вполне хватит, чтобы поломать голову пару ночей напролет.

Но тут есть проблема, с которой я столкнулся сразу же: Html — это не просто язык, это язык гипертекста. У такого языка свой синтаксис, и обычный парсер не подойдет.

Разделяй и властвуй

Для начала, нужно разделить работу парсера на два этапа:

Для описания первого этапа я нарисовал схему, которая наглядно показывает, как обрабатываются данные на первом этапе:

Источник

includes inc parser php

I’m including a file init.php which defines path constants. So if I include init.php in a file (index.php) and then in another file (layout/header.php). is init.php parsed before being added to these files or is it added to the parent file and then the parent file is parsed as a whole?

EDIT: Why this is important is because init.php defines path variables relative to location of where it is parsed.

3 Answers 3

Actually include and require are identical in all except require will fail with E_ERROR while include will issue a warning. Also both of the statements are only activated when they actually executed inside script. So the following code will always work:

The answer to your question is that index.php will be parsed first and executed. Then when include «init.php» encountered the file init.php is parsed and executed within current scope. The same for layout/header.php — it will be parsed first.

Think of it as being copy-pasted into the file at the position where it was included. Use require_once or include_once if you don’t want your stuff redefined.

If you want to make sure that the init file is only loaded once in a runtime of a request, then use require_once to make sure that it is only parsed once regardless of how many times you call it. Its a good idea to try to load your init file everywhere you need its constants, but use require_once to make sure you don’t parse it more times then needed.

+ поддерживает кучу селекторов
— невысокая скорость работы

+ хорошая документация
+ прост в изучении
— говорят об утечках памяти, т.е. большие файлы парсить не получится
— проблемы со скоростью парсинга

+ высокая скорость работы
— ужасная документация

Перечислил все, что пришло в голову, возможно что-то упустил. Так что лучше выбрать?

+ высокая скорость работы (сравнение с другими парсерами)
+ хорошая дока
+ большое количество поддерживаемых селекторов
+ самое главное — тесты

Чуть посложнее — парсим все ссылки:

Еще сложнее — получить адреса всех ссылок-картинок:

За годы парсинга данных я пришел к простому набору:

Curl + tidy + DOMXpath

Первый вопрос, парсер чего?
И если я правильно понял задачу этого парсера, то зачем вы изобретаете велосипеды?

* cURL для получения контента — php.net/manual/ru/book.curl.php
Или вот еще нашел объектно ориентированную обертку https://github.com/php-curl-class/php-curl-class
* И, собственно, SimpleXML для разбора документа.

Оба компонента «из коробки» поставляются с PHP. Унифицированные, задокументированные и всем известные интерфейсы.

Надежнее всего на PhantomJs, так как это полноценный browser. Быстрее на phpQuery

П.с. О Simple HTML Dom пишут что работает с невалидным html. Не работает. Моей причиной перехода с него на phpQuery как раз это и было

если нужно просто получить текст, самой высокой скоростью обладает DOMDocument phpQuery уступает в скорости примерно в 4 раза (по моим личным тестам), зато имеет кучу селекторов и в итоге для себя я выбрал ее

Simple HTML Dom очень медленный
Nokogiri чисто парсер, замены там нет и по сути тот же DOMDocument который оброс хаками, так что смысла в нем нет, если речь идет о скорости

Так что мой сайт Evo перестал работать на днях – только что получил 500 ошибок. Я получил мой хост, чтобы проверить журналы и нашел это:

Я устал комментировать строку нарушения и удалить весь файл безрезультатно. Кто-нибудь знает, что это значит и как это исправить?

EDIT: код в строке 790:

Похоже, плохой плагин сломал ваш сайт. Отключите все свои плагины и восстановите их по одному, пока он не сломается снова, тогда вы знаете, какой из них является виновником.

Как только вы это сделаете, разместите здесь код плагина, и мы сможем помочь вам отладить его дальше. Вам не нужно будет изменять исходный код MODX.

Проблема, вероятно, будет решена путем упаковки объявления insert_metka() следующим образом:

Это кажется очень простой проблемой. Вы объявляете insert_metka() два раза. Удалите его из одного из указанных файлов. Как только он объявлен в сохраненном файле и, видимо, второй раз вы пытаетесь объявить его с помощью eval()

Cannot redeclare insert_metka() говорит, что вы дважды объявляете функцию (может быть, с вашими оценками).

Вы должны проверить свои включенные файлы.

Чтобы не включать более одного раза, вы можете использовать include_once или requiere_once вместо include и requiere

Итак, что вы можете сделать, это создать класс создания instantiation для class выше, а затем overwrite его.

Источник

Предупреждение безопасности

Удалённые файлы могут быть обработаны на удалённой стороне (в зависимости от расширения файла и того, что удалённый сервер выполняет скрипты PHP или нет), но это всё равно должно производить корректный скрипт PHP, потому что он будет затем обработан уже на локальном сервере. Если файл с удалённого сервера должен быть обработан и только отображён его результат, гораздо эффективно воспользоваться функцией readfile() В противном случае следует соблюдать особую осторожность, чтобы обезопасить удалённый скрипт для получения корректного и желаемого кода.

Смотрите также раздел Удалённые файлы, функции fopen() и file() для дополнительной информации.

Пример #4 Сравнение возвращаемого значения при include

// не сработает, интерпретируется как include((‘vars.php’) == TRUE), то есть include(‘1’)
if (include( ‘vars.php’ ) == TRUE ) <
echo ‘OK’ ;
>

// сработает
if ((include ‘vars.php’ ) == TRUE ) <
echo ‘OK’ ;
>
?>

Пример #5 Выражения include и return

?>

testreturns.php
= include ‘return.php’ ;

$bar = include ‘noreturn.php’ ;

Если во включаемом файле определены функции, они могут быть использованы в главном файле вне зависимости от того, были ли они объявлены до return или после. Если файл включается дважды, PHP выдаст фатальную ошибку, потому что функции уже были определены. Рекомендуется использовать include_once вместо того, чтобы проверять был ли файл уже включён.

Пример #6 Использование буферизации вывода для включения файла PHP в строку

Замечание: Поскольку это языковая конструкция, а не функция, она не может вызываться при помощи переменных функций.

User Contributed Notes 21 notes

If you want to have include files, but do not want them to be accessible directly from the client side, please, please, for the love of keyboard, do not do this:

// check if what is defined and die if not

?>

The reason you should not do this is because there is a better option available. Move the includeFile(s) out of the document root of your project. So if the document root of your project is at «/usr/share/nginx/html», keep the include files in «/usr/share/nginx/src».

# index.php (in document root (/usr/share/nginx/html))

?>

Since user can’t type ‘your.site/../src/includeFile.php’, your includeFile(s) would not be accessible to the user directly.

Before using php’s include, require, include_once or require_once statements, you should learn more about Local File Inclusion (also known as LFI) and Remote File Inclusion (also known as RFI).

As example #3 points out, it is possible to include a php file from a remote server.

The LFI and RFI vulnerabilities occur when you use an input variable in the include statement without proper input validation. Suppose you have an example.php with code:

However, it opens up an RFI vulnerability. To exploit it as an attacker, I would first setup an evil text file with php code on my evil.com domain.

The example.php would download my evil.txt and process the operating system command that I passed in as the command variable. In this case, it is whoami. I ended the path variable with a %00, which is the null character. The original include statement in the example.php would ignore the rest of the line. It should tell me who the web server is running as.

Please use proper input validation if you use variables in an include statement.

dir1/test contains the following text :
This is test in dir1
dir2/test contains the following text:
This is test in dir2
dir1_test contains the following text:
This is dir1_test
dir2_test contains the following text:
This is dir2_test

As a rule of thumb, never include files using relative paths. To do this efficiently, you can define constants as follows:

and so on. This way, the files in your framework will only have to issue statements such as this:

If you’re running scripts from below your main web directory, put a prepend.php file in each subdirectory:

I would like to point out the difference in behavior in IIS/Windows and Apache/Unix (not sure about any others, but I would think that any server under Windows will be have the same as IIS/Windows and any server under Unix will behave the same as Apache/Unix) when it comes to path specified for included files.

Consider the following:
include ‘/Path/To/File.php’ ;
?>

In IIS/Windows, the file is looked for at the root of the virtual host (we’ll say C:\Server\Sites\MySite) since the path began with a forward slash. This behavior works in HTML under all platforms because browsers interpret the / as the root of the server.

However, Unix file/folder structuring is a little different. The / represents the root of the hard drive or current hard drive partition. In other words, it would basically be looking for root:/Path/To/File.php instead of serverRoot:/Path/To/File.php (which we’ll say is /usr/var/www/htdocs). Thusly, an error/warning would be thrown because the path doesn’t exist in the root path.

I just thought I’d mention that. It will definitely save some trouble for those users who work under Windows and transport their applications to an Unix-based server.

A work around would be something like:
= null ;

if ( defined ( ‘__DIR__’ )) <
$currentDirectory = __DIR__ ;
>
else <
$currentDirectory = dirname ( __FILE__ );
>

It’s worth noting that PHP provides an OS-context aware constant called DIRECTORY_SEPARATOR. If you use that instead of slashes in your directory paths your scripts will be correct whether you use *NIX or (shudder) Windows. (In a semi-related way, there is a smart end-of-line character, PHP_EOL)

Sometimes it will be usefull to include a string as a filename

Ideally includes should be kept outside of the web root. That’s not often possible though especially when distributing packaged applications where you don’t know the server environment your application will be running in. In those cases I use the following as the first line.

Be very careful with including files based on user inputed data. For instance, consider this code sample:

file_exists() will return true, your passwd file will be included and since it’s not php code it will be output directly to the browser.

Of course the same vulnerability exists if you are reading a file to display, as in a templating engine.

You absolutely have to sanitize any input string that will be used to access the filesystem, you can’t count on an absolute path or appended file extension to secure it. Better yet, know exactly what options you can accept and accept only those options.

If you are including a file from your own site, do not use a URL however easy or tempting that may be. If all of your PHP processes are tied up with the pages making the request, there are no processes available to serve the include. The original requests will sit there tying up all your resources and eventually time out.

Use file references wherever possible. This caused us a considerable amount of grief (Zend/IIS) before I tracked the problem down.

If you have a problem with «Permission denied» errors (or other permissions problems) when including files, check:

1) That the file you are trying to include has the appropriate «r» (read) permission set, and
2) That all the directories that are ancestors of the included file, but not of the script including the file, have the appropriate «x» (execute/search) permission set.

I would like to emphasize the danger of remote includes. For example:
Suppose, we have a server A with Linux and PHP 4.3.0 or greater installed which has the file index.php with the following code:

Then, we hava a server B, also Linux with PHP installed, that has the file list.php with the following code:

But here’s the trick: if Server B doesn’t have PHP installed, it returns the file list.php to Server A, and Server A executes that file. Now we have a file listing of Server A!
I tried this on three different servers, and it allways worked.
This is only an example, but there have been hacks uploading files to servers etc.

So, allways be extremely carefull with remote includes.

Just about any file type can be ‘included’ or ‘required’. By sending appropriate headers, like in the below example, the client would normally see the output in their browser as an image or other intended mime type.

You can also embed text in the output, like in the example below. But an image is still an image to the client’s machine. The client must open the downloaded file as plain/text to see what you embedded.

( ‘Content-type: image/jpeg’ );
header ( ‘Content-Disposition: inline;’ );

include ‘/some_image.jpg’ ;
echo ‘This file was provided by example@user.com.’ ;

‘Including’ any file made this way will execute those scripts. NEVER ‘include’ anything that you found on the web or that users upload or can alter in any way. Instead, use something a little safer to display the found file, like «echo file_get_contents(‘/some_image.jpg’);»

To Windows coders, if you are upgrading from 5.3 to 5.4 or even 5.5; if you have have coded a path in your require or include you will have to be careful. Your code might not be backward compatible. To be more specific; the code escape for ESC, which is «\e» was introduced in php 5.4.4 + but if you use 5.4.3 you should be fine. For instance:

Test script:
————-
require( «C:\element\scripts\include.php» );
?>

In php 5.3.* to php 5.4.3
—————————-
If you use require(«C:\element\scripts\include.php») it will work fine.

If php 5.4.4 + It will break.
——————————
Warning: require(C:←lement\scripts\include.php): failed to open stream: In
valid argument in C:\element\scripts\include.php on line 20

Fatal error: require(): Failed opening required ‘C:←lement\scripts\include.php

I hope this makes sense and I hope it will someone sometime down the road.
cheers,

// used like
include_all_once ( ‘dir/*.php’ );

?>
A fairly obvious solution. It doesn’t deal with relative file paths though; you still have to do that yourself.

Notice that using @include (instead of include without @) will set the local value of error_reporting to 0 inside the included script.

echo «Own value before: » ;
echo ini_get ( ‘error_reporting’ );
echo «\r\n» ;

echo «include foo.php: » ;
include( ‘foo.php’ );

echo «@include foo.php: » ;
@include( ‘foo.php’ );

While you can return a value from an included file, and receive the value as you would expect, you do not seem to be able to return a reference in any way (except in array, references are always preserved in arrays).

i.e the reference passed to x() is broken on it’s way out of the include()

The only solutions are to set a variable with the reference which the including code can then return itself, or return an array with the reference inside.

Источник