String/CSV形式データの読み込み

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
-
|
|
|
|
|
|
|
|
|
|
|
!
 
 
 
 
 
 
 
 
 
 
-
|
|
|
|
|
|
!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
-
|
|
-
|
|
!
 
 
-
|
|
|
|
|
|
-
|
|
|
|
|
-
|
|
|
!
|
-
|
|
|
-
|
-
|
|
!
!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

;###################################################
;	モジュール
#module
;置換
;strin = strrep( _strin, target, replace)
;	_strin	元になる文字列
;	target	置換前文字列（検索する文字列）
;	replace	置換後文字列（置き換える文字列）
;	strin	置換作業後の文字列
#defcfunc strrep str _strin,str target,str replace
    strin = _strin
    position = 0
    repeat
        await 1
        position1 = instr( strin, position, target )
        if position1 = -1 : break
        position += position1     ;検索結果位置
        strin = strmid( strin, 0, position) + replace + strmid( strin, position + strlen(target), strlen(strin) )
        position += strlen( replace )     ;次の検索開始位置
    loop
return strin
 
;２重ダブルクォーテーションをカットする
;strin = cutwqt( _strin )
;	_strin	元になる文字列
;	strin	変換後文字列
;
;例：「"テスト""文字列""テスト"」→「テスト"文字列"テスト」
#defcfunc cutwqt str _strin
    strin = _strin
    if strmid( strin, 0, 1 ) = "\"" {
        strin = strmid( strin, 1, strlen(strin)-2 )
        position = 0
        repeat
            await 1
            position1 = instr( strin, position, "\"" )
                if position1 = -1 : break
            position += position1     ;検索結果位置
            if strmid( strin, position + 1, 1 ) = "\"" : p = 2 : else : p = 1
            strin = strmid( strin, 0, position) + strmid( strin, position+1, strlen(strin) )
            position += p     ;次の検索開始位置
        loop
    }
return strin
#global
 
#module
;CSV形式のセル内書式を通常の書式に変換する
;strin = cell2str( _strin )
;	_strin	元になる文字列
;	strin	変換後文字列
#defcfunc cell2str str _strin
    strin = _strin
    if strlen(strin)!0 {
        strin = _strin
        ;改行コードの置換
        strsrch = "" :    poke strsrch,0,10    ;改行コード
        strin = strrep( strin, strsrch, "\n")
        ;ダブルクォーテーションの置換
        strin = cutwqt( strin )
    }
return strin
 
#global
 
;csvの１行を配列に変換。
;csvstr2 _arrayout, _strin
;	_arrayout	結果を入れる文字列型配列変数
;	_strin		元になる文字列
;	stat		使用した配列の数
;
;_arrayoutは事前に
;	sdim _arrayout, 256, 10
;などとして十分な配列を確保しておいてください。
;
#module
#deffunc csvstr2 array _arrayout, str _strin
    strin = _strin
    cellcnt = 0
    flg = 0            ;ダブルクォーテーションで始まるセルを検出結果
    st = 0            ;使用した配列の数
    fcellend = 0    ;１行読み終わりフラグ
    scln = 0    ;区切り間文字数カウント
 
    repeat
        await 0
        ;区切り検索
        ;１文字目をチェック
        if strmid( strin, cellcnt, 1 ) = "\"" {
            flg = 1        ;ダブルクォーテーションで始まるセルを検出。
            kugiri = "\""
        } else {
            flg = 0
            kugiri = ","
        }
 
        ;文字列抽出
        if flg = 1 {
            ;\"スタートのとき
            ;終わりを探す
            scln = 1    ;区切り文字の次の文字から
            repeat
                await
                k = instr( strin, cellcnt + scln, "\"" )
                if k!-1 {
                    scln += k + 1
                    ;if strmid( strin, cellcnt + scln, 1 ) = "\"" :    ;\"\"はスルー
                    if strmid( strin, cellcnt + scln, 1 ) = ","  : break    ;\",で一区切り
                    if strmid( strin, cellcnt + scln, 2 ) = "\n" : fcellend = 1 : break    ;\"\nで処理終了
                    scln++
                } else {
                    scln = strlen(strin) - cellcnt
                    fcellend = 1
                    break
                }
            loop
        } else {
            ;通常
            getstr stra, strin, cellcnt, ','    ;カンマ、改行、終端のうち一番近い方を探す(1024byteまで。straはダミー)
            scln = strsize
            if stat = ',' {    ;,まで読み出された
                scln--
            } else {    ;終端か\nまで読み出された
                fcellend = 1
                if stat = 13 : scln -= 2    ;\nまで読み出された
            }
        }
        _arrayout.cnt = strmid( strin, cellcnt, scln )    ;区切り間の文字を出力
        cellcnt += scln + strlen(kugiri)    ;次の検索開始位置へ
        if fcellend ! 0 : st = cnt+1 : break
    loop
 
    return st
#global
 
;###################################################
 
;
;	サンプル
;
;サンプルは #if の引数を 0 意外にすると実行できます。
 
;サンプルモジュール使い方の例　その１
#if 0
    ;strrep
    mes "--- strrep ---"
    moji = "こんにちは"
    target = "にちは"
    rep = "ばんは"
    strin = strrep( moji, target, rep)
    mes moji
    mes "置換：" + target + "→" + rep
    mes strin
 
    ;cutwqt
    mes "\n--- cutwqt ---"
    moji = "\"テスト\"\"文字列\"\"テスト\""
    strin = cutwqt( moji )
    mes "２重ダブルクォーテーションをカットする"
    mes moji
    mes strin
 
    ;cell2str
    mes "\n--- cell2str ---"
    moji = "\"mes \"\"ダブル,クォーテーション\"\"　　;こんな感じで\""
    strin = cell2str(moji)
    mes moji
    mes strin
 
    ;csvstr2
    mes "\n--- csvstr2 ---"
    sdim a, 256, 10
    moji = "123,45,678,9,テスト文字列,\"テスト,文字列\""
    csvstr2 a, moji
    r = stat
    mes moji
    repeat r
        mes a(cnt)
    loop
#endif
 
;サンプルモジュール使い方の例　その２
;通常の利用方法では、csvstr2で配列に変換し、次に配列の１つ１つをcell2strで使えるようにすることを想定しています。
#if 0
    sdim a,256,10
 
    ;CSVファイルから１行取り出した場合を模擬したもの。
    moji = "123,\"mes \"\"ダブル,クォーテーション\"\"　　;こんな感じで\",456,789"
    mes moji
    csvstr2 a, moji        ;csvの１行を配列に変換。
    r = stat
    mes "---"
    
    ;１行から取り出したそのまま
    repeat r
        mes "Index(" + cnt + ") : " + a(cnt)
    loop
    
    mes "---"
    
    ;ダブルクォーテーションで囲ってあるものをHSPで通常使う形式に変換
    repeat r
        mes "Index(" + cnt + ") : " + cell2str( a(cnt) )
    loop
    
    stop
 
#endif

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
-
|
|
|
!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
-
|
|
|
|
|
|
|
|
|
-
|
|
!
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
!
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
-
|
|
|
|
|
|
|
|
|
-
|
|
|
-
|
!
|
-
|
|
-
|
!
-
|
|
|
!
|
|
|
-
|
|
|
|
-
|
-
|
-
|
!
!
|
!
 
 
 
 
 
-
|
|
-
|
!
 
 
 
 
 
 
 

#module mod_csv
 
    ;mod_csv 内で使うデータを予め初期化しておく
    ; (この mod_csv モジュールを抜けて直ぐ実行するので呼び出し不要)
 
    #deffunc mod_csv_init
 
        // cell2str 命令内で使用
        sdim strsrch                            ; 置換する改行コードを入れる変数
        poke strsrch, 0, 10                        ; 置換する改行コード設定
        expandsize = 65536                        ; ここの書き換えで変数拡張サイズ変更可
 
    return
 
 
    ;置換機能
    ;
    ;  strin = strrep( _strin, target, replace)
    ;    _strin		: 元になる文字列
    ;    target		: 置換前文字列（検索する文字列）
    ;    replace	: 置換後文字列（置き換える文字列）
    ;    strin		: 置換作業後の文字列
 
    #defcfunc strrep str _strin, str target, str replace,    local bufsize
 
        strin      = _strin                        ; 置換対象変数
        position   = 0                            ; 操作インデックス
        strinlen   = strlen(strin)                ; 操作対象文字列のサイズ
        targetlen  = strlen(target)                ; 検索ワードのサイズ
        replacelen = strlen(replace)            ; 置換ワードのサイズ
        rep        = replace                    ; メモリコピー用に変数に入れる
        difference = replacelen - targetlen        ; 置換前後文字数の差（次の文字長計算に使用）
        bufsize    = strinlen + 1                ; strin 変数のサイズ
 
        repeat
            await
 
            // 置換対象文字列検索
            index = instr( strin, position, target )
            if index = -1    :break
 
            // サイズ不足の時だけ再確保(自分の環境では 1,544,159,176 byte 以上で エラーになった)
            if strinlen + difference > bufsize - 1 {
                // 変数の再確保（mod_csv_init 命令内の expandsize 変数書き換えで拡張サイズ変更可）
                bufsize = ((strinlen + difference) / expandsize + 1) * expandsize
                memexpand strin, bufsize                    ; 変数領域の拡張
            }
 
            // 置換処理（一旦置換文字数分ずらしてから文字を置換）
            position += index                                ; 検索結果位置
            memcpy strin, strin, strinlen - position - targetlen + 1, position + replacelen, position + targetlen
            memcpy strin, rep, replacelen, position
 
            strinlen += difference                            ; 対象文字列のサイズを更新
            position += replacelen                            ; 次の検索開始位置
        loop
 
    return strin
 
 
    ;２重ダブルクォーテーションをカットする
    ;
    ;  strin = cutwqt( _strin )
    ;    _strin		: 元になる文字列
    ;    strin		: 変換後文字列
 
    ; 例 ：「"テスト""文字列""テスト"」→「テスト"文字列"テスト」
 
    #defcfunc cutwqt str _strin
 
        strin = _strin                            ; 操作対象変数
 
        // 先頭が " の時だけ処理をする
        if peek( strin, 0 ) = '\"' {
            // 先頭と終端の " を取り除く
 
            // 先頭の " を取り除く
            strinlen = strlen( strin ) - 1                    ; 操作対象変数の文字列のサイズ（ -1 は先頭の " の分）
            if strinlen <= 0    :return ""                    ; 先頭の " に続く文字が無い時は空の文字列を返す
            memcpy strin, strin, strinlen,, 1                ; 先頭の " を取り除く
            poke strin, strinlen, 0                            ; 文字列の終端を書き込む
 
            // 終端の " を取り除く
            if peek(strin, strinlen - 1) = '\"' {
                strinlen -= 1
                poke strin, strinlen, 0                            ; 文字列の終端を書き込む
            }
 
            // 中間のダブルクォーテーションを処理する（1個独立の " は削除、2個並んでいる "" は１つに）
            position = 0                                    ; 操作インデックス
            repeat
                await
 
                // " を検索
                index = instr( strin, position, "\"" )
                if index = -1    :break
 
                position += index                            ; 検索開始位置の更新
                p = peek( strin, position + 1 ) = '\"'        ; " が２つ並んでいるか
 
                // 見つけた " の次の文字から終端までを左に１バイト分ずらす。
                memcpy strin, strin, strinlen - position + 1, position, position + 1
                strinlen--                                    ; 操作対象変数のサイズを更新
                position += p                                ; 検索開始位置の更新（ " が２つ並んでいた場合２個目の " の処理を飛ばす）
            loop
        }
 
    return strin
 
 
    ;CSV形式のセル内書式を通常の書式に変換する
    ;
    ;  strin = cell2str( _strin )
    ;    _strin			: 元になる文字列
    ;    strin			: 変換後文字列
 
    #defcfunc cell2str str _strin
 
        ; 改行コード＆ダブルクォーテーションの置換
        if strlen(_strin)    :return cutwqt( strrep( _strin, strsrch, "\n") )
 
    return _strin
 
 
    ;csvの１行を配列に変換。
    ;
    ;  csvstr2 _arrayout, _strin
    ;    _arrayout		: 結果を入れる文字列型配列変数
    ;    _strin			: 元になる文字列
    ;    stat			: 使用した配列の数
 
    ; _arrayoutは事前に
    ; sdim _arrayout, 256, 10
    ; などとして十分な配列を確保しておいてください。
 
    /*	[ 変数 scln の値メモ ] */
    ;	　カラムの先頭が " であれば、閉じる " までのサイズが入る（ " を含んだサイズ）。
    ;	　先頭の " は有るが 閉じる " が無い場合、その地点から strin 終端までのサイズが入る。
    ;	　閉じる " はその１バイト先が , か 改行 か 終端 かで判断する。
    ;	　（つまり、閉じる " の１バイト先が , や 改行 や 終端 でなければ区切り文字ではないとみなされる）
    ;	　カラムの先頭が " で無ければ、次の , か 改行 か strin終端 までのサイズが入る（区切り文字を含めない）。
 
    #deffunc csvstr2 array _arrayout, str _strin
 
        strin     = _strin                        ; 操作対象変数
        strinlen  = strlen(strin)                ; 操作対象変数のサイズ
        cellcnt   = 0                            ; 操作インデックス
        scln      = 0                            ; 走査中のカラムの文字数
        st        = 0                            ; 処理した配列要素の数（戻り値に指定）
        fcellend  = 0                            ; 作業完了フラグ。読み終わった。
 
        // １ループで１カラムを処理（１回転毎に配列の１要素に１カラム分の文字列をコピー）
        repeat
            await
 
            // カラムの先頭が " かどうかでコピーする範囲を変える
            if peek( strin, cellcnt ) = '"' {                ; カラムの先頭が "
 
                scln = 1                                    ; 先頭の " の分進める
 
                // １つのカラムの終わりを探す
                repeat
                    await
 
                    k = instr( strin, cellcnt + scln, "\"")    ; 閉じ " を探す
 
                    if k ! -1 {                                ; " が有る
                        // " の次の文字によって処理を変える。
                        scln += k + 1
                        // 次の文字が , ならそこで区切る
                        if peek( strin, cellcnt + scln)  = ',' {
                            break                            ; , までをカラムサイズに
                        }
                        // 次の文字が 改行 ならそこで区切って処理を終える
                        if wpeek( strin, cellcnt + scln) = $0a0d {
                            fcellend = 1                    ; フィニッシュフラグON
                            break
                        } else {                            ; " の１つ先に , も 改行 も無い
                            scln++                            ; " を単なる文字としてカラムのサイズを１つ増やす
                        }
                    } else {                                ; " が無い
                        scln = strinlen - cellcnt            ; カレントインデックスから終端までをカラムサイズに設定
                        fcellend = 1                        ; フィニッシュフラグON
                        break
                    }
 
                loop
 
            } else {                                        ; 先頭が " で無い
 
                // 区切り文字によって処理を分ける
                getstr stra, strin, cellcnt, ','            ; 一番近い カンマ、改行、終端を探す
                scln = strsize                                ; カレントインデックスから一番近い区切り文字までをカラムサイズに設定
                if stat = ',' {                                ; カンマが一番手前に有る
                    scln--                                    ; カンマ分減らす
                } else {                                    ; 改行か終端かgetstrの最大byteまでのどちらか
                    fcellend = 1                            ; フィニッシュフラグON
                    if stat = 13 {                            ; 改行が一番手前に有る
                        scln - 2                            ; 改行分減らす
                    }
                }
 
            }
 
            // 引数で指定した配列変数に、必要な領域をコピー
            memcpy _arrayout(cnt), strin, scln,, cellcnt    ; １カラム分の文字列を切り出す
 
            // 処理の終わりかどうか
            if fcellend {
                st = cnt + 1                                ; 処理したカラムの数
                break                                        ; 処理の終了
            } else {
                cellcnt += scln + (k > -1)                    ; 次の検索開始の為に位置を更新
            }
 
        loop
 
    return st
 
#global
mod_csv_init    ; モジュールに使用する変数の初期化