[Comm] длина имени файла в локали utf8 (ext3)

[Comm] длина имени файла в локали utf8 (ext3)

[Andrei Lomov]

У кого локаль utf8 + fs ext3,
проверьте, пожалуйста, как архивируется в konqueror страничка

http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913

Длина имени создаваемого файла около 200 байт.
Теоретически в кодировке utf8 могут быть проблемы с кириллическими именами 
длинее 128 байт на ext3, проверьте

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3) [JT]

[Andrei Lomov]

<отправлено в группы и по почте>

Andrei Lomov wrote:

> http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
> 
> Длина имени создаваемого файла около 200 байт.
> Теоретически в кодировке utf8 могут быть проблемы с кириллическими именами
> длинее 128 байт на ext3, проверьте
> 

Один из поводов не переходить на utf8


-- 
-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3) [JT]

[Alexey Rusakov]

On Sun, 18 Mar 2007 22:15:09 +0600
Andrei Lomov wrote:

> <отправлено в группы и по почте>
> 
> Andrei Lomov wrote:
> 
> > http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
> > 
> > Длина имени создаваемого файла около 200 байт.
> > Теоретически в кодировке utf8 могут быть проблемы с кириллическими
> > именами длинее 128 байт на ext3, проверьте
> > 
> 
> Один из поводов не переходить на utf8
Я бы всё-таки посоветовал не путать имена файлов и заголовки статей. А
ограничение по длине - проблемы ext3, а не utf8.

-- 
  Alexey "Ktirf" Rusakov
  ALT Linux Team

Re: [Comm] длина имени файла в локали utf8 (ext3) [JT]

[Andrei Lomov]

Alexey Rusakov wrote:

> Я бы всё-таки посоветовал не путать имена файлов и заголовки статей. 

При архивировании страницы в konqueror имя файла 
по умолчанию совпадает с заголовком статьи

> А ограничение по длине - проблемы ext3, а не utf8.

В теме прописано

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Vyatcheslav Perevalov]

В сообщении от 18 марта 2007 22:03 Andrei Lomov написал(a):
> У кого локаль utf8 + fs ext3,
> проверьте, пожалуйста, как архивируется в konqueror страничка
>
> http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
>
> Длина имени создаваемого файла около 200 байт.
> Теоретически в кодировке utf8 могут быть проблемы с кириллическими именами
> длинее 128 байт на ext3, проверьте
Сохранилось двумя разными способами как
print.cgi (правая кнопка на странице - копировать в)
print.html (меню адрес - сохранить как)
-- 
Всего хорошего
		/vip

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Владимир Гусев]

>> У кого локаль utf8 + fs ext3,
>> проверьте, пожалуйста, как архивируется в konqueror страничка
>>
>> http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
>>
>> Длина имени создаваемого файла около 200 байт.
>> Теоретически в кодировке utf8 могут быть проблемы с кириллическими  
>> именами
>> длинее 128 байт на ext3, проверьте
> Сохранилось двумя разными способами как
> print.cgi (правая кнопка на странице - копировать в)
> print.html (меню адрес - сохранить как)

В Opera ни в каком виде не сохранилось - ни в виде *.mht ни как html..
локаль utf8 + fs ext3

Сейчас занимаюсь переконвертацией из pdf в djvu с промежуточным  
конвертированием в ps. Файлы ps получаются здоровенные, так если размер  
такого файла превышает 2.1 гб, высвечивается след. сообщение:

[vova@vova pdf]$ pdf2ps Astronomiya_s_binoklem_1903.pdf  
Astronomiya_s_binoklem_1903.ps
Превышен лимит размера файла

при этом:

[vova@vova pdf]$ ls -h -s
итого 2,6G
  [..]
   78M Astronomiya_s_binoklem_1903.pdf
  2,1G Astronomiya_s_binoklem_1903.ps
^^^^^

Немного оффтоп, но касается ограничений ext3.. И как это обходить?

-- 
С уважением, Владимир Гусев

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Sergey Vlasov]

[-- Attachment #1: Type: text/plain, Size: 1501 bytes --]

On Sun, Mar 18, 2007 at 10:38:38PM +0300, Владимир Гусев wrote:
> Сейчас занимаюсь переконвертацией из pdf в djvu с промежуточным  
> конвертированием в ps. Файлы ps получаются здоровенные, так если размер  
> такого файла превышает 2.1 гб, высвечивается след. сообщение:
> 
> [vova@vova pdf]$ pdf2ps Astronomiya_s_binoklem_1903.pdf  
> Astronomiya_s_binoklem_1903.ps
> Превышен лимит размера файла
> 
> при этом:
> 
> [vova@vova pdf]$ ls -h -s
> итого 2,6G
>   [..]
>    78M Astronomiya_s_binoklem_1903.pdf
>   2,1G Astronomiya_s_binoklem_1903.ps
> ^^^^^
> 
> Немного оффтоп, но касается ограничений ext3.. И как это обходить?

Это ограничение не ext3, а pdf2ps (точнее, gs, который фактически
выполняет всю работу).  32-разрядные программы не могут работать с
файлами больше 2 ГБ без принятия специальных мер (например, один из
вариантов - собирать с опцией -D_FILE_OFFSET_BITS=64, но при этом
программа должна быть написана с учётом того, что позиция в файле
может быть 64-разрядным числом, не помещающимся в переменную типа int
или long - т.е., нельзя просто добавить эту опцию без проверки кода на
правильное использование нужных типов).

Можно попробовать такой вариант:

	pdf2ps file.pdf - >file.ps

В этом случае файл будет открывать shell, что позволит обойти
проблему (флаг O_LARGEFILE устанавливается в момент открытия).  Если
по каким-то причинам такой вариант тоже не сработает, можно добавить
промежуточный pipe:

	pdf2ps file.pdf - | cat >file.ps

[-- Attachment #2: Digital signature --]
[-- Type: application/pgp-signature, Size: 189 bytes --]

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Владимир Гусев]

On Sun, 18 Mar 2007 23:33:30 +0300, Sergey Vlasov <vsu@altlinux.ru> wrote:

> On Sun, Mar 18, 2007 at 10:38:38PM +0300, Владимир Гусев wrote:
>> Сейчас занимаюсь переконвертацией из pdf в djvu с промежуточным
>> конвертированием в ps. Файлы ps получаются здоровенные, так если размер
>> такого файла превышает 2.1 гб, высвечивается след. сообщение:
>>
>> [vova@vova pdf]$ pdf2ps Astronomiya_s_binoklem_1903.pdf
>> Astronomiya_s_binoklem_1903.ps
>> Превышен лимит размера файла
>>
>> при этом:
>>
>> [vova@vova pdf]$ ls -h -s
>> итого 2,6G
>>   [..]
>>    78M Astronomiya_s_binoklem_1903.pdf
>>   2,1G Astronomiya_s_binoklem_1903.ps
>> ^^^^^
>>
>> Немного оффтоп, но касается ограничений ext3.. И как это обходить?
>
> Это ограничение не ext3, а pdf2ps (точнее, gs, который фактически
> выполняет всю работу).  32-разрядные программы не могут работать с
> файлами больше 2 ГБ без принятия специальных мер (например, один из
> вариантов - собирать с опцией -D_FILE_OFFSET_BITS=64, но при этом
> программа должна быть написана с учётом того, что позиция в файле
> может быть 64-разрядным числом, не помещающимся в переменную типа int
> или long - т.е., нельзя просто добавить эту опцию без проверки кода на
> правильное использование нужных типов).
>
> Можно попробовать такой вариант:
>
> 	pdf2ps file.pdf - >file.ps
>
> В этом случае файл будет открывать shell, что позволит обойти
> проблему (флаг O_LARGEFILE устанавливается в момент открытия).  Если
> по каким-то причинам такой вариант тоже не сработает, можно добавить
> промежуточный pipe:
>
> 	pdf2ps file.pdf - | cat >file.ps

Огромное спасибо за разъяснения и помощь, помогло. Хорошо бы это в FAQ  
добавить.

-- 
С уважением, Владимир Гусев

Re: [Comm] Работа с файлами > 2 гб [was: длина имени файла в локали utf8 (ext3)]

[Владимир Гусев]

>>> Сейчас занимаюсь переконвертацией из pdf в djvu с промежуточным
>>> конвертированием в ps. Файлы ps получаются здоровенные, так если размер
>>> такого файла превышает 2.1 гб, высвечивается след. сообщение:
>>>
>>> [vova@vova pdf]$ pdf2ps Astronomiya_s_binoklem_1903.pdf
>>> Astronomiya_s_binoklem_1903.ps
>>> Превышен лимит размера файла
>>> [..]
>>> Немного оффтоп, но касается ограничений ext3.. И как это обходить?
>>
>> Это ограничение не ext3, а pdf2ps (точнее, gs, который фактически
>> выполняет всю работу).  32-разрядные программы не могут работать с
>> файлами больше 2 ГБ без принятия специальных мер (например, один из
>> вариантов - собирать с опцией -D_FILE_OFFSET_BITS=64, но при этом
>> программа должна быть написана с учётом того, что позиция в файле
>> может быть 64-разрядным числом, не помещающимся в переменную типа int
>> или long - т.е., нельзя просто добавить эту опцию без проверки кода на
>> правильное использование нужных типов).
>>
>> Можно попробовать такой вариант:
>>
>> 	pdf2ps file.pdf - >file.ps
>>
>> В этом случае файл будет открывать shell, что позволит обойти
>> проблему (флаг O_LARGEFILE устанавливается в момент открытия).  Если
>> по каким-то причинам такой вариант тоже не сработает, можно добавить
>> промежуточный pipe:
>>
>> 	pdf2ps file.pdf - | cat >file.ps
>
> Огромное спасибо за разъяснения и помощь, помогло. Хорошо бы это в FAQ
> добавить.
>

Правда, когда идет процесс обратный (из ps в djvu) получается такое:

vova@vova pdf]$ djvudigital -q --epsf=fit --psrotate=90 --fg-colors=512  
--dpi=300 --threshold=70 --exact-color 1924.ps 1924.djvu
Error: /undefinedfilename in (1924.ps)
Operand stack:

Execution stack:
    %interp_exit   .runexec2   --nostringval--   --nostringval--    
--nostringval--   2   %stopped_push   --nostringval--   --nostringval--    
--nostringval--   false   1   %stopped_push
Dictionary stack:
    --dict:1124/1686(ro)(G)--   --dict:0/20(G)--   --dict:70/200(L)--
Current allocation mode is local
Last OS error: 2
GPL Ghostscript 8.15: Unrecoverable error, exit code 1

Это по той же причине (обработка здоровых файлов) или проблемы с самим  
файлом? Прямая конвертация из pdf в djvu возможна и получается, но нужно  
изменить ориентацию страницы (rotate) и приходится делать проежуточный  
этап с ps..


-- 
С уважением, Владимир Гусев

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Андрей Черепанов]

18 марта 2007, Владимир Черный написал(а):
> 18.03.07, Andrei Lomov <a.lomov@mail.ru> написал(а):
> > У кого локаль utf8 + fs ext3,
> > проверьте, пожалуйста, как архивируется в konqueror страничка
> >
> > http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
> >
> > Длина имени создаваемого файла около 200 байт.
> > Теоретически в кодировке utf8 могут быть проблемы с кириллическими
> > именами длинее 128 байт на ext3, проверьте
>
> У меня предлагает сохранить только как print.html и никак иначе...
Сервис-Архивировать веб-страницу...


-- 
Андрей Черепанов
ALT Linux Solutions
cas@altlinux.ru

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Андрей Черепанов]

19 марта 2007, Владимир Черный написал(а):
> 19.03.07, Андрей Черепанов <cas@altlinux.ru> написал(а):
> > 18 марта 2007, Владимир Черный написал(а):
> > > 18.03.07, Andrei Lomov <a.lomov@mail.ru> написал(а):
> > > > У кого локаль utf8 + fs ext3,
> > > > проверьте, пожалуйста, как архивируется в konqueror страничка
> > > >
> > > > http://www.pravoslavie.ru/cgi-bin/print.cgi?item=2r070314125913
> > > >
> > > > Длина имени создаваемого файла около 200 байт.
> > > > Теоретически в кодировке utf8 могут быть проблемы с кириллическими
> > > > именами длинее 128 байт на ext3, проверьте
> > >
> > > У меня предлагает сохранить только как print.html и никак иначе...
> >
> > Сервис-Архивировать веб-страницу...
>
> Спасибо, конкерором не пользуюсь, просто любопытно было - итог: конкерор
> рапортует об успешном архивировании, но ничего не сохраняется. Если
> название укоротить, тогда все ок.
Сообщил о баге: http://bugs.kde.org/show_bug.cgi?id=143221

-- 
Андрей Черепанов
ALT Linux Solutions
cas@altlinux.ru

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Andrei Lomov]

Андрей Черепанов wrote:

>>
>> Спасибо, конкерором не пользуюсь, просто любопытно было - итог: конкерор
>> рапортует об успешном архивировании, но ничего не сохраняется. Если
>> название укоротить, тогда все ок.
> Сообщил о баге: http://bugs.kde.org/show_bug.cgi?id=143221
 
Однако обычной командой cp вполне можно создать файл с названием в 160 байт:

[andrei@main andrei]$ ls йцукенгшщзхъывапролджэячсмитьбю\
йцукенгшщзхъывапролджэячсмитьбю\ йцукенгшщзхъывапролджэячсмитьбю\
йцукенгшщзхъывапролджэячсмитьбю\ йцукенгшщзхъывапролджэячсмитьбю |wc
      1       5     160

Как это объяснить?

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Mikhail Gusarov]

Twas brillig at 22:45:03 19.03.2007 UTC+06 when Andrei Lomov did gyre and gimble:

 AL> Однако обычной командой cp вполне можно создать файл с названием в 160 байт:
 AL> Как это объяснить?

Байт != символ.

-- 
JID: dottedmag@jabber.dottedmag.net

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Andrei Lomov]

Mikhail Gusarov wrote:

> Байт != символ.

2 символа (utf8)?

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Mikhail Gusarov]

Twas brillig at 22:49:05 19.03.2007 UTC+06 when Andrei Lomov did gyre and gimble:

 >> Байт != символ.
 AL> 2 символа (utf8)?

Символ в UTF-8 занимает от 1 до 6 байтов. Русские буквы - два байта.

-- 
JID: dottedmag@jabber.dottedmag.net

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Andrei Lomov]

<отправлено в группы и по почте>

Andrei Lomov wrote:

> Mikhail Gusarov wrote:
> 
>> Байт != символ.
> 
> 2 символа (utf8)?
Виноват, 2 байта :(
(все, спать пора..)

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3)

[Andrei Lomov]

Andrei Lomov wrote:

> Однако обычной командой cp вполне можно создать файл с названием в 160
> байт:
> 
> [andrei@main andrei]$ ls йцукенгшщзхъывапролджэячсмитьбю\
> йцукенгшщзхъывапролджэячсмитьбю\ йцукенгшщзхъывапролджэячсмитьбю\
> йцукенгшщзхъывапролджэячсмитьбю\ йцукенгшщзхъывапролджэячсмитьбю |wc
>       1       5     160
> 
> Как это объяснить?

Виноват, забыл, что это с koi8-r
Парадокс отменяется

-- 
Всего доброго,
А.Л.

Re: [Comm] длина имени файла в локали utf8 (ext3)[JT]

[Andrei Lomov]

Владимир Черный wrote:

> Спасибо, конкерором не пользуюсь, просто любопытно было - итог: конкерор
> рапортует об успешном архивировании, но ничего не сохраняется. Если
> название укоротить, тогда все ок.

Спасибо,
значит, имеем самый худший вариант ...

-- 
Всего доброго,
А.Л.